crawl

Tables (7)

aspect_qc_check

  • id — BIGINT — Primary key — NOT NULL — PK
  • labeled_aspect_id — BIGINT — Foreign key → labeled_aspect.id — NOT NULL — 검사된 aspect FK
  • qc_run_id — BIGINT — Foreign key → labeling_run.id — NOT NULL — QC run FK (labeling_run.stage=AUTO_QC 또는 PARSER)
  • verdict — ENUM('PASS', 'FLAG', 'REJECT') — NOT NULL — QC 판정
  • rule_code — VARCHAR(32) — 규칙 코드 (DUP_SPAN_FANOUT/CONSONANT_ONLY/EMPTY_SPAN/SPAN_NOT_IN_BODY/SPAN_MISMATCH)
  • reason — VARCHAR(255) — FLAG/REJECT 사유 (모델 출력 또는 규칙 설명)
  • confidence — DECIMAL(4, 3) — QC 모델 신뢰도
  • detail_json — JSON — 추가 컨텍스트 (집합 규칙 매치 정보 등)
  • created_at — DATETIME(3) — NOT NULL — 레코드 적재 시각

labeled_aspect

  • id — BIGINT — Primary key — NOT NULL — PK
  • labeled_review_id — BIGINT — Foreign key → labeled_review.id — NOT NULL — labeled_review FK
  • aspect_name — VARCHAR(32) — NOT NULL — 가격/디자인/색상 등
  • sentiment_text — MEDIUMTEXT — 매칭 span 텍스트
  • sentiment_word — INT — span 단어 수
  • sentiment_polarity — TINYINT — NOT NULL — -1=부정, 0=중립, 1=긍정
  • confidence — DECIMAL(4, 3) — 모델 신뢰도
  • span_start — INT — 본문 offset 시작 (유니코드 코드포인트)
  • span_end — INT — 본문 offset 끝 (유니코드 코드포인트)
  • origin — ENUM('AUTO', 'QC', 'PARSER', 'HUMAN') — NOT NULL — 생성 주체
  • status — ENUM('ACTIVE', 'REJECTED_QC', 'REJECTED_PARSER', 'SUPERSEDED', 'DELETED_HUMAN') — NOT NULL — 라벨 상태
  • root_aspect_id — BIGINT — Foreign key → labeled_aspect.id — 버전 체인 루트 (NULL = self가 루트)
  • version — INT — NOT NULL — 버전 번호
  • parent_aspect_id — BIGINT — Foreign key → labeled_aspect.id — 직전 버전 FK (NULL = ADD 케이스 — 사람이 새로 추가)
  • dedupe_key — CHAR(64) — NOT NULL — SHA256(aspect_name|sentiment_text)
  • is_current — BOOLEAN — NOT NULL — 현재 살아있는 라벨
  • current_uq — CHAR(64) — is_current=1일 때만 dedupe_key 복사 (앱이 INSERT/UPDATE 시 명시적으로 채움, 아니면 NULL) → UNIQUE(labeled_review_id, current_uq)로 라이브 라벨…
  • correction_reason — VARCHAR(255) — 변경 사유 (label_correction.reason 흡수) — origin이 AUTO 아닐 때 채움
  • corrected_by_email — VARCHAR(255) — 사람 작업자 이메일 (origin=HUMAN일 때)
  • corrected_by_tool — VARCHAR(64) — 자동 도구 (origin=QC/PARSER일 때 qc_runner_v1/parser_v1 등)
  • created_at — DATETIME(3) — NOT NULL — 레코드 적재 시각

labeled_review

  • id — BIGINT — Primary key — NOT NULL — PK
  • review_id — BIGINT — Foreign key → review.id — NOT NULL — review FK
  • run_id — BIGINT — Foreign key → labeling_run.id — NOT NULL — labeling_run FK
  • raw_payload_id — BIGINT — Foreign key → raw_label_payload.id — 원본 수신 payload FK
  • pipeline_stage — ENUM('AUTO_LABELED', 'QC_CHECKED', 'PARSED', 'CORRECTED', 'REVIEWED', 'FINAL') — NOT NULL — 작업 큐 커서
  • revision_no — INT — NOT NULL — 낙관적 잠금 버전
  • syllable — INT — 본문 음절 수
  • word — INT — 본문 단어 수
  • overall_polarity — TINYINT — -1=부정, 0=중립, 1=긍정
  • confidence_avg — DECIMAL(4, 3) — 모델 평균 신뢰도
  • created_at — DATETIME(3) — NOT NULL — 레코드 적재 시각

labeling_run

  • id — BIGINT — Primary key — NOT NULL — PK
  • run_id — VARCHAR(64) — NOT NULL — 실행 ID (예: run_20260522_101957)
  • stage — ENUM('AUTO_LABEL', 'AUTO_QC', 'PARSER', 'LABEL_CORRECTION', 'HUMAN_REVIEW') — NOT NULL — 파이프라인 stage
  • model_domain — VARCHAR(16) — NOT NULL — 도메인 (NAVER_MAP / SMART_STORE)
  • model_id — VARCHAR(128) — NOT NULL — 모델 식별자 (klue-roberta-base-aihub-absa / rule / parser_v1 등)
  • aspect_schema_id — VARCHAR(32) — NOT NULL — 감성 스키마 ID
  • input_run_id — BIGINT — Foreign key → labeling_run.id — 이 stage가 소비한 이전 run (lineage, self FK)
  • config_json — JSON — 토크나이저/threshold/prompt 재현용
  • stats_json — JSON — run 통계 (rejection_rate, mean_confidence 등)
  • status — VARCHAR(16) — NOT NULL — running / done / failed
  • started_at — DATETIME(3) — 실행 시작
  • finished_at — DATETIME(3) — 실행 종료
  • n_reviews — INT — NOT NULL — 라벨된 리뷰 수
  • n_aspects — INT — NOT NULL — 생성된 aspect 수
  • created_at — DATETIME(3) — NOT NULL — 레코드 적재 시각

raw_label_payload

  • id — BIGINT — Primary key — NOT NULL — PK
  • run_id — BIGINT — Foreign key → labeling_run.id — NOT NULL — 수신 run FK (labeling_run.id)
  • natural_key — VARCHAR(80) — NOT NULL — 수신 JSON Index (review.natural_key와 매칭)
  • review_id — BIGINT — Foreign key → review.id — 매칭된 review FK (NULL = ORPHAN: review가 없음)
  • payload — JSON — 수신 원본 JSON 그대로 — 소거 가능 (purged_at 신호). ingest.py와 컬럼명 정합
  • payload_sha256 — CHAR(64) — NOT NULL — 원본 콘텐츠 해시 — 소거 후에도 forensic 식별 가능
  • ingest_status — ENUM('RECEIVED', 'MATCHED', 'PARSED', 'ORPHAN', 'REJECTED') — NOT NULL — ingest 상태머신 (소거 라이프사이클은 purged_at으로 분리 — PURGED enum 안 둠)
  • parse_warnings — JSON — 캐스팅/검증 실패 기록 (SCORE_NOT_INT, SPAN_MISMATCH, …)
  • reject_reason — VARCHAR(255) — 거부 사유 (ingest.py set_payload_status()가 UPDATE로 채움)
  • purged_at — DATETIME(3) — 소거 표식 — NULL=미소거. payload만 NULL로 비우고 행은 영구 보존(크롤링 흔적: run_id/natural_key/sha256 유지)
  • created_at — DATETIME(3) — NOT NULL — 수신 시각

review

  • id — BIGINT — Primary key — NOT NULL — PK
  • natural_key — VARCHAR(80) — 재크롤링 dedupe 키 (=수신 JSON Index, 예: naver_4310620448)
  • subject_id — BIGINT — Foreign key → subject.id — NOT NULL — 대상 FK
  • external_review_id — VARCHAR(64) — NOT NULL — 외부 리뷰 ID
  • body — MEDIUMTEXT — NOT NULL — 리뷰 본문
  • reply_body — MEDIUMTEXT — 사장/셀러 답글
  • voted_keywords — VARCHAR(500) — 투표 키워드
  • themes — VARCHAR(500) — 테마 태그
  • origin_type — VARCHAR(64) — 리뷰 종류 (pipe-sep)
  • visit_timestamp — DATETIME(3) — 방문/구매 시각
  • nickname — VARCHAR(128) — 작성자 닉네임
  • visit_count — INT — 재방문 횟수 (지도 전용)
  • view_count — INT — 조회수 (지도 전용)
  • review_score — TINYINT — 별점 1~5 (스토어 전용)
  • product_option_content — VARCHAR(500) — 구매 옵션 (스토어 전용)
  • image_urls — JSON — 이미지 URL 배열 (스토어 전용)
  • author_url — VARCHAR(512) — 작성자 프로필 URL
  • thumbnail — VARCHAR(512) — 리뷰 썸네일
  • created_at — DATETIME(3) — NOT NULL — 적재 시각

subject

  • id — BIGINT — Primary key — NOT NULL — PK
  • source_code — ENUM('NAVER_PLACE', 'SMART_STORE') — NOT NULL — 출처 (source 테이블 흡수)
  • external_id — VARCHAR(64) — NOT NULL — 외부 대상 ID (지도 placeId / 스토어 productNo)
  • name — VARCHAR(255) — NOT NULL — 매장명/상품명
  • seller_name — VARCHAR(255) — 셀러명 (스토어 전용)
  • url — VARCHAR(500) — 상품 URL (스토어 전용)
  • category_raw — VARCHAR(255) — 원본 카테고리 문자열
  • category_l1_name — VARCHAR(64) — NOT NULL — 대분류 (category 테이블 흡수)
  • category_l2_name — VARCHAR(64) — NOT NULL — 중분류
  • category_l3_name — VARCHAR(64) — NOT NULL — 소분류
  • aspect_schema_id — VARCHAR(32) — NOT NULL — 감성 스키마 ID (FOOD_V1 등)
  • product_category — VARCHAR(128) — 4단계 상품 카테고리 (콘드로이친 등, 스토어 전용)
  • lat — DECIMAL(10, 7) — 위도 (지도 전용)
  • lng — DECIMAL(10, 7) — 경도 (지도 전용)
  • created_at — DATETIME(3) — NOT NULL — 최초 적재
  • updated_at — DATETIME(3) — NOT NULL — 마지막 갱신