Smart DataPlatform ERD

테이블 (11)

데이터셋 룰데이터 (공통적용) (dp_dataset_rule)

  • 데이터셋코드 (dataset_code) — int(11) — 외래 키 → 데이터셋마스터.데이터셋코드 — NOT NULL
  • 룰코드 (rule_code) — varchar(50) — 외래 키 → 룰마스터.룰코드 — NOT NULL — rule 코드
  • 룰값 (rule_value)
  • 생성시간 (created_time)
  • 수정시간 (modified_time)

데이터셋 버전 데이터 (dp_dataset_version)

  • 버전코드 (version_code) — 기본 키 — NOT NULL
  • 데이터셋코드 (dataset_code) — int(11) — 외래 키 → 데이터셋마스터.데이터셋코드 — NOT NULL
  • 버전명 (version_name) — yyyy.mm.dd hh:mm:ss 형식의 이름이 자동으로 생성 됨. 사용자들은 이 이름을 보고 버전을 구분함
  • 생성일자 (created_time)
  • 마지막업데이트 일자 (last_update_time)

데이터셋마스터 (dp_dataset)

  • 데이터셋코드 (dataset_code) — int(11) — 기본 키 — NOT NULL
  • 데이터셋이름 (dataset_name) — varchar(30) — 업무명
  • 데이터셋업무설명 (business_desc) — varchar(500) — NOT NULL — 업무설명
  • 거래소등록여부 (apply_yn) — char(1) — NOT NULL
  • 프로파일링여부 (profiling_yn) — char(1) — NOT NULL
  • 데이터 저장여부 (archiving_yn) — char(1) — NOT NULL
  • 생성자(소유자) (createdby) — varchar(50) — 사용자 id가 들어가며, 사용자는 자신의 데이터셋에 관련된 업무만 수행 가능함.
  • 수정자 (modifiedby) — varchar(100) — 변경자
  • 생성시간 (created_time) — timestamp — 생성시간
  • 수정시간 (modified_time) — timestamp — 변경시간
  • 캐릭터셋 (characterset) — varchar(20) — NOT NULL
  • 날짜포맷 (date_format)
  • 시간포맷 (time_format)
  • null로 간주할문자 (char_as_null)
  • 카테고리코드 (category_code) — 외래 키 → 카테고리마스터.카테고리코드 — 카테고리마스터에서 해당 카테고리에 대해 항상 최하위 코드를 저장 함
  • 커넥터코드 (conn_code) — 외래 키 → 커넥터마스터.커넥터코드 — NOT NULL

로그데이터 (dp_dataset_log)

  • 로그시퀀스 (log_seq) — 기본 키 — NOT NULL
  • 버전코드 (version_code) — 외래 키 → 데이터셋 버전 데이터.버전코드 — NOT NULL
  • 데이터셋코드 (dataset_code) — int(11) — 외래 키 → 데이터셋 버전 데이터.데이터셋코드 — NOT NULL
  • 시작시간 (start_time)
  • 종료시간 (end_time)
  • 상태 (status)
  • 로드타입 (load_type) — 최초로드인지, prep을 통한 로드인지 구분
  • 룰타입 (rule_type) — 룰 타입( dataset, field ) 을 정의
  • 룰값 (rule_values) — 해당 버전의 데이터셋&필드 레벨의 룰설정 데이터를 json형식으로 해당 컬럼에 저장
  • 정상로드건수 (load_cnt)
  • 필터링된 로드 건수 (filtered_cnt)
  • 생성시간 (created_time)

룰마스터 (dp_rule_definition)

  • 룰코드 (rule_code) — varchar(50) — 기본 키 — NOT NULL — rule 코드
  • 룰타입 (rule_type) — dataset, field 타입으로 룰 정의
  • 룰설명 (description) — varchar(300) — property description
  • 디폴트값 (default_value) — varchar(20) — default value
  • 수정가능여부 (editable) — tinyint(1)
  • 필드타입 (field_type) — varchar(20) — STRING, LOCAL_DATE, INTEGER, LONG, DOUBLE 타입별로 룰정보를 관리
  • 생성시간 (created_time) — timestamp — 생성시간
  • 수정시간 (modified_time) — timestamp — 수정일자

카테고리마스터 (dp_category)

  • 카테고리코드 (category_code) — 기본 키 — NOT NULL
  • 카테고리이름 (category_name)
  • 상위카테고리코드 (p_category_code)
  • 상위카테고리이름 (p_category_name)
  • 생성시간 (created_time)
  • 수정시간 (modified_time)

커넥터마스터 (dp_conn)

  • 커넥터코드 (conn_code) — 기본 키 — NOT NULL
  • 커넥터타입 (conn_type)
  • 커넥터명 (conn_name)
  • 커넥터설명 (conn_desc)
  • 커넥션URL (conn_url) — api, ftp의 경우 : 해당 url file의 경우 : 파일 path
  • 커넥션파라미터 (conn_param) — json 형태로 저장하여 다수의 파라미터도 저장되도록 함 file : 파일필드 구분자, 레코드 구분자, 헤더존재여부, 파일타입, 파일경로 등을 json으로 정의
  • 생성시간 (created_time)
  • 수정시간 (modified_time)
  • 생성자 (createdby) — varchar(50)

태그데이터 (dp_dataset_tag)

  • 태그 (tag) — 기본 키 — NOT NULL
  • 데이터셋코드 (dataset_code) — int(11) — 외래 키 → 데이터셋마스터.데이터셋코드 — NOT NULL
  • 생성시간 (create_time) — timestamp

필드 룰데이터 (필드별 적용) (dp_field_rule)

  • 데이터셋코드 (dataset_code) — int(11) — 외래 키 → 필드마스터.데이터셋코드 — NOT NULL
  • 필드인덱스 (field_idx) — int(20) — 외래 키 → 필드마스터.필드인덱스 — NOT NULL — 필드인덱스
  • 룰코드 (rule_code) — varchar(50) — 외래 키 → 룰마스터.룰코드 — NOT NULL — rule 코드
  • 필드타입 (field_type) — varchar(20) — STRING, LOCAL_DATE, INTEGER, LONG, DOUBLE 타입별로 룰정보를 관리
  • 룰값 (rule_value) — varchar(20) — 설정 값
  • 생성시간 (created_time) — timestamp
  • 수정시간 (modified_time) — timestamp

필드마스터 (dp_dataset_field)

  • 필드인덱스 (field_idx) — int(20) — 기본 키 — NOT NULL — 필드인덱스
  • 데이터셋코드 (dataset_code) — int(11) — 외래 키 → 데이터셋마스터.데이터셋코드 — NOT NULL
  • 필드코드 (field_code) — varchar(50) — 필드명
  • 필드명 (field_name) — varchar(50) — 업무명
  • 필드설명 (field_desc) — varchar(200) — 업무상세설명
  • 필드타입 (field_type) — varchar(20) — 필드타입
  • 생성시간 (created_time) — timestamp — 생성시간
  • 수정시간 (modified_time) — timestamp

필드별통계데이터 (dp_field_stat)

  • 데이터셋코드 (dataset_code) — int(11) — 외래 키 → 필드마스터.데이터셋코드 — NOT NULL
  • 필드인덱스 (field_idx) — int(20) — 외래 키 → 필드마스터.필드인덱스 — NOT NULL — 필드인덱스
  • 최대값 (col_max) — varchar(200) — 최대값
  • 최소값 (col_min) — varchar(200) — 최소값
  • 건수 (col_count) — int(20) — 총 건수
  • null건수 (col_null_cnt) — int(20) — null 개수
  • distinct 건수 (col_cardinality) — int(20) — 컬럼별 distinct count
  • 생성시간 (create_time) — timestamp — 생성시간