crawl
Tables (7)
aspect_qc_check
- id — BIGINT — Primary key — NOT NULL — PK
- labeled_aspect_id — BIGINT — Foreign key → labeled_aspect.id — NOT NULL — 검사된 aspect FK
- qc_run_id — BIGINT — Foreign key → labeling_run.id — NOT NULL — QC run FK (labeling_run.stage=AUTO_QC 또는 PARSER)
- verdict — ENUM('PASS', 'FLAG', 'REJECT') — NOT NULL — QC 판정
- rule_code — VARCHAR(32) — 규칙 코드 (DUP_SPAN_FANOUT/CONSONANT_ONLY/EMPTY_SPAN/SPAN_NOT_IN_BODY/SPAN_MISMATCH)
- reason — VARCHAR(255) — FLAG/REJECT 사유 (모델 출력 또는 규칙 설명)
- confidence — DECIMAL(4, 3) — QC 모델 신뢰도
- detail_json — JSON — 추가 컨텍스트 (집합 규칙 매치 정보 등)
- created_at — DATETIME(3) — NOT NULL — 레코드 적재 시각
labeled_aspect
- id — BIGINT — Primary key — NOT NULL — PK
- labeled_review_id — BIGINT — Foreign key → labeled_review.id — NOT NULL — labeled_review FK
- aspect_name — VARCHAR(32) — NOT NULL — 가격/디자인/색상 등
- sentiment_text — MEDIUMTEXT — 매칭 span 텍스트
- sentiment_word — INT — span 단어 수
- sentiment_polarity — TINYINT — NOT NULL — -1=부정, 0=중립, 1=긍정
- confidence — DECIMAL(4, 3) — 모델 신뢰도
- span_start — INT — 본문 offset 시작 (유니코드 코드포인트)
- span_end — INT — 본문 offset 끝 (유니코드 코드포인트)
- origin — ENUM('AUTO', 'QC', 'PARSER', 'HUMAN') — NOT NULL — 생성 주체
- status — ENUM('ACTIVE', 'REJECTED_QC', 'REJECTED_PARSER', 'SUPERSEDED', 'DELETED_HUMAN') — NOT NULL — 라벨 상태
- root_aspect_id — BIGINT — Foreign key → labeled_aspect.id — 버전 체인 루트 (NULL = self가 루트)
- version — INT — NOT NULL — 버전 번호
- parent_aspect_id — BIGINT — Foreign key → labeled_aspect.id — 직전 버전 FK (NULL = ADD 케이스 — 사람이 새로 추가)
- dedupe_key — CHAR(64) — NOT NULL — SHA256(aspect_name|sentiment_text)
- is_current — BOOLEAN — NOT NULL — 현재 살아있는 라벨
- current_uq — CHAR(64) — is_current=1일 때만 dedupe_key 복사 (앱이 INSERT/UPDATE 시 명시적으로 채움, 아니면 NULL) → UNIQUE(labeled_review_id, current_uq)로 라이브 라벨…
- correction_reason — VARCHAR(255) — 변경 사유 (label_correction.reason 흡수) — origin이 AUTO 아닐 때 채움
- corrected_by_email — VARCHAR(255) — 사람 작업자 이메일 (origin=HUMAN일 때)
- corrected_by_tool — VARCHAR(64) — 자동 도구 (origin=QC/PARSER일 때 qc_runner_v1/parser_v1 등)
- created_at — DATETIME(3) — NOT NULL — 레코드 적재 시각
labeled_review
- id — BIGINT — Primary key — NOT NULL — PK
- review_id — BIGINT — Foreign key → review.id — NOT NULL — review FK
- run_id — BIGINT — Foreign key → labeling_run.id — NOT NULL — labeling_run FK
- raw_payload_id — BIGINT — Foreign key → raw_label_payload.id — 원본 수신 payload FK
- pipeline_stage — ENUM('AUTO_LABELED', 'QC_CHECKED', 'PARSED', 'CORRECTED', 'REVIEWED', 'FINAL') — NOT NULL — 작업 큐 커서
- revision_no — INT — NOT NULL — 낙관적 잠금 버전
- syllable — INT — 본문 음절 수
- word — INT — 본문 단어 수
- overall_polarity — TINYINT — -1=부정, 0=중립, 1=긍정
- confidence_avg — DECIMAL(4, 3) — 모델 평균 신뢰도
- created_at — DATETIME(3) — NOT NULL — 레코드 적재 시각
labeling_run
- id — BIGINT — Primary key — NOT NULL — PK
- run_id — VARCHAR(64) — NOT NULL — 실행 ID (예: run_20260522_101957)
- stage — ENUM('AUTO_LABEL', 'AUTO_QC', 'PARSER', 'LABEL_CORRECTION', 'HUMAN_REVIEW') — NOT NULL — 파이프라인 stage
- model_domain — VARCHAR(16) — NOT NULL — 도메인 (NAVER_MAP / SMART_STORE)
- model_id — VARCHAR(128) — NOT NULL — 모델 식별자 (klue-roberta-base-aihub-absa / rule / parser_v1 등)
- aspect_schema_id — VARCHAR(32) — NOT NULL — 감성 스키마 ID
- input_run_id — BIGINT — Foreign key → labeling_run.id — 이 stage가 소비한 이전 run (lineage, self FK)
- config_json — JSON — 토크나이저/threshold/prompt 재현용
- stats_json — JSON — run 통계 (rejection_rate, mean_confidence 등)
- status — VARCHAR(16) — NOT NULL — running / done / failed
- started_at — DATETIME(3) — 실행 시작
- finished_at — DATETIME(3) — 실행 종료
- n_reviews — INT — NOT NULL — 라벨된 리뷰 수
- n_aspects — INT — NOT NULL — 생성된 aspect 수
- created_at — DATETIME(3) — NOT NULL — 레코드 적재 시각
raw_label_payload
- id — BIGINT — Primary key — NOT NULL — PK
- run_id — BIGINT — Foreign key → labeling_run.id — NOT NULL — 수신 run FK (labeling_run.id)
- natural_key — VARCHAR(80) — NOT NULL — 수신 JSON Index (review.natural_key와 매칭)
- review_id — BIGINT — Foreign key → review.id — 매칭된 review FK (NULL = ORPHAN: review가 없음)
- payload — JSON — 수신 원본 JSON 그대로 — 소거 가능 (purged_at 신호). ingest.py와 컬럼명 정합
- payload_sha256 — CHAR(64) — NOT NULL — 원본 콘텐츠 해시 — 소거 후에도 forensic 식별 가능
- ingest_status — ENUM('RECEIVED', 'MATCHED', 'PARSED', 'ORPHAN', 'REJECTED') — NOT NULL — ingest 상태머신 (소거 라이프사이클은 purged_at으로 분리 — PURGED enum 안 둠)
- parse_warnings — JSON — 캐스팅/검증 실패 기록 (SCORE_NOT_INT, SPAN_MISMATCH, …)
- reject_reason — VARCHAR(255) — 거부 사유 (ingest.py set_payload_status()가 UPDATE로 채움)
- purged_at — DATETIME(3) — 소거 표식 — NULL=미소거. payload만 NULL로 비우고 행은 영구 보존(크롤링 흔적: run_id/natural_key/sha256 유지)
- created_at — DATETIME(3) — NOT NULL — 수신 시각
review
- id — BIGINT — Primary key — NOT NULL — PK
- natural_key — VARCHAR(80) — 재크롤링 dedupe 키 (=수신 JSON Index, 예: naver_4310620448)
- subject_id — BIGINT — Foreign key → subject.id — NOT NULL — 대상 FK
- external_review_id — VARCHAR(64) — NOT NULL — 외부 리뷰 ID
- body — MEDIUMTEXT — NOT NULL — 리뷰 본문
- reply_body — MEDIUMTEXT — 사장/셀러 답글
- voted_keywords — VARCHAR(500) — 투표 키워드
- themes — VARCHAR(500) — 테마 태그
- origin_type — VARCHAR(64) — 리뷰 종류 (pipe-sep)
- visit_timestamp — DATETIME(3) — 방문/구매 시각
- nickname — VARCHAR(128) — 작성자 닉네임
- visit_count — INT — 재방문 횟수 (지도 전용)
- view_count — INT — 조회수 (지도 전용)
- review_score — TINYINT — 별점 1~5 (스토어 전용)
- product_option_content — VARCHAR(500) — 구매 옵션 (스토어 전용)
- image_urls — JSON — 이미지 URL 배열 (스토어 전용)
- author_url — VARCHAR(512) — 작성자 프로필 URL
- thumbnail — VARCHAR(512) — 리뷰 썸네일
- created_at — DATETIME(3) — NOT NULL — 적재 시각
subject
- id — BIGINT — Primary key — NOT NULL — PK
- source_code — ENUM('NAVER_PLACE', 'SMART_STORE') — NOT NULL — 출처 (source 테이블 흡수)
- external_id — VARCHAR(64) — NOT NULL — 외부 대상 ID (지도 placeId / 스토어 productNo)
- name — VARCHAR(255) — NOT NULL — 매장명/상품명
- seller_name — VARCHAR(255) — 셀러명 (스토어 전용)
- url — VARCHAR(500) — 상품 URL (스토어 전용)
- category_raw — VARCHAR(255) — 원본 카테고리 문자열
- category_l1_name — VARCHAR(64) — NOT NULL — 대분류 (category 테이블 흡수)
- category_l2_name — VARCHAR(64) — NOT NULL — 중분류
- category_l3_name — VARCHAR(64) — NOT NULL — 소분류
- aspect_schema_id — VARCHAR(32) — NOT NULL — 감성 스키마 ID (FOOD_V1 등)
- product_category — VARCHAR(128) — 4단계 상품 카테고리 (콘드로이친 등, 스토어 전용)
- lat — DECIMAL(10, 7) — 위도 (지도 전용)
- lng — DECIMAL(10, 7) — 경도 (지도 전용)
- created_at — DATETIME(3) — NOT NULL — 최초 적재
- updated_at — DATETIME(3) — NOT NULL — 마지막 갱신