ea-mt

테이블 (6)

Wikidata 엔티티 자체를 저장하는 테이블 (entity)

  • PK (qid) — varchar(64) — 기본 키 — NOT NULL — EA-MT와 Wikidata를 이어주는 최중심 키
  • 엔티티 prior 점수 (popularity_score) — float — 같은 surface를 가진 여러 QID 중 더 그럴듯한 후보를 우선시할 수 있음.

label / alias / description을 모두 여기서 관리 (entity_term)

  • PK (term_id) — int — 기본 키 — NOT NULL — Auto increament
  • term의 언어 (lang_code) — varchar(16) — NOT NULL — 예: en, jp, kr
  • 텍스트 종류 (term_type) — varchar(32) — NOT NULL — label(대표명) / alias(대체명) / description(설명)
  • 실제 문자열 (term_text) — text — NOT NULL — 예: (label: "豆もやし" / alias: "大豆もやし" / description: "edible sprout from soybean"), 실제 lookup 대상
  • 검색용 정규화 문자열 (normalized_text) — text — description에는 굳이 필요 없을 수도 있어서 NULL 허용
  • FK (qid) — varchar(64) — 외래 키 → Wikidata 엔티티 자체를 저장하는 테이블.PK — NOT NULL — UNIQUE(qid, lang_code, term_type, term_text)

샘플 자체를 저장하는 메인 테이블 (eamt_example)

  • PK (example_id) — int — 기본 키 — NOT NULL — Auto Increament
  • 이 샘플이 어느 데이터 분할에 속하는지 (split) — varchar(32) — NOT NULL — 예: train, validation, test
  • 원문 언어 코드 (source_locale) — varchar(16) — NOT NULL
  • 목표 번역 언어 코드 (target_locale) — varchar(16) — NOT NULL — 예: ja, ko, de
  • 번역할 원문 문장 (source_text) — text — NOT NULL — 예: What is the seventh tallest mountain in North America?
  • EA-MT 원본 id (dataset_id) — varchar(64) — NOT NULL — unique

샘플과 엔티티를 연결하는 중간 테이블 (example_entity)

  • PK (example_entity_id) — int — 기본 키 — NOT NULL — Auto Increament
  • train의 entities[] 에서 몇 번째였는지 (entity_order) — int — 예시: 0, 1, 2
  • FK (example_id) — int — 외래 키 → 샘플 자체를 저장하는 메인 테이블.PK — NOT NULL
  • FK (qid) — varchar(64) — 외래 키 → Wikidata 엔티티 자체를 저장하는 테이블.PK — NOT NULL — UNIQUE(example_id, qid)

엔티티 타입 정보를 담는 테이블 (entity_type)

  • PK (entity_type_tag_id) — int — 기본 키 — NOT NULL — Auto Increament
  • 타입 이름 (type_text) — varchar(64) — NOT NULL — 예시 : Food, Fictional ,entity , Person
  • FK (qid) — varchar(64) — 외래 키 → Wikidata 엔티티 자체를 저장하는 테이블.PK — NOT NULL — EA-MT와 Wikidata를 이어주는 최중심 키

정답 번역문을 저장하는 테이블 (example_reference)

  • PK (reference_id) — int — 기본 키 — NOT NULL — Auto Increament
  • 정답 번역문 (translation_text) — text — NOT NULL — 예: "豆もやしはアジア料理の一般的な材料ですか?"
  • 정답 엔티티가 번역 문장에서 나타난 표면형 (mention_text) — text — 예: "豆もやし"
  • reference의 순서 (reference_order) — int — NOT NULL — 예: 0, 1, 2
  • FK (example_id) — int — 외래 키 → 샘플 자체를 저장하는 메인 테이블.PK — NOT NULL — UNIQUE(example_id, reference_order)