ea-mt
테이블 (6)
Wikidata 엔티티 자체를 저장하는 테이블 (entity)
- PK (qid) — varchar(64) — 기본 키 — NOT NULL — EA-MT와 Wikidata를 이어주는 최중심 키
- 엔티티 prior 점수 (popularity_score) — float — 같은 surface를 가진 여러 QID 중 더 그럴듯한 후보를 우선시할 수 있음.
label / alias / description을 모두 여기서 관리 (entity_term)
- PK (term_id) — int — 기본 키 — NOT NULL — Auto increament
- term의 언어 (lang_code) — varchar(16) — NOT NULL — 예: en, jp, kr
- 텍스트 종류 (term_type) — varchar(32) — NOT NULL — label(대표명) / alias(대체명) / description(설명)
- 실제 문자열 (term_text) — text — NOT NULL — 예: (label: "豆もやし" / alias: "大豆もやし" / description: "edible sprout from soybean"), 실제 lookup 대상
- 검색용 정규화 문자열 (normalized_text) — text — description에는 굳이 필요 없을 수도 있어서 NULL 허용
- FK (qid) — varchar(64) — 외래 키 → Wikidata 엔티티 자체를 저장하는 테이블.PK — NOT NULL — UNIQUE(qid, lang_code, term_type, term_text)
샘플 자체를 저장하는 메인 테이블 (eamt_example)
- PK (example_id) — int — 기본 키 — NOT NULL — Auto Increament
- 이 샘플이 어느 데이터 분할에 속하는지 (split) — varchar(32) — NOT NULL — 예: train, validation, test
- 원문 언어 코드 (source_locale) — varchar(16) — NOT NULL
- 목표 번역 언어 코드 (target_locale) — varchar(16) — NOT NULL — 예: ja, ko, de
- 번역할 원문 문장 (source_text) — text — NOT NULL — 예: What is the seventh tallest mountain in North America?
- EA-MT 원본 id (dataset_id) — varchar(64) — NOT NULL — unique
샘플과 엔티티를 연결하는 중간 테이블 (example_entity)
- PK (example_entity_id) — int — 기본 키 — NOT NULL — Auto Increament
- train의 entities[] 에서 몇 번째였는지 (entity_order) — int — 예시: 0, 1, 2
- FK (example_id) — int — 외래 키 → 샘플 자체를 저장하는 메인 테이블.PK — NOT NULL
- FK (qid) — varchar(64) — 외래 키 → Wikidata 엔티티 자체를 저장하는 테이블.PK — NOT NULL — UNIQUE(example_id, qid)
엔티티 타입 정보를 담는 테이블 (entity_type)
- PK (entity_type_tag_id) — int — 기본 키 — NOT NULL — Auto Increament
- 타입 이름 (type_text) — varchar(64) — NOT NULL — 예시 : Food, Fictional ,entity , Person
- FK (qid) — varchar(64) — 외래 키 → Wikidata 엔티티 자체를 저장하는 테이블.PK — NOT NULL — EA-MT와 Wikidata를 이어주는 최중심 키
정답 번역문을 저장하는 테이블 (example_reference)
- PK (reference_id) — int — 기본 키 — NOT NULL — Auto Increament
- 정답 번역문 (translation_text) — text — NOT NULL — 예: "豆もやしはアジア料理の一般的な材料ですか?"
- 정답 엔티티가 번역 문장에서 나타난 표면형 (mention_text) — text — 예: "豆もやし"
- reference의 순서 (reference_order) — int — NOT NULL — 예: 0, 1, 2
- FK (example_id) — int — 외래 키 → 샘플 자체를 저장하는 메인 테이블.PK — NOT NULL — UNIQUE(example_id, reference_order)