Smart DataPlatform ERD
테이블 (11)
데이터셋 룰데이터 (공통적용) (dp_dataset_rule)
- 데이터셋코드 (dataset_code) — int(11) — 외래 키 → 데이터셋마스터.데이터셋코드 — NOT NULL
- 룰코드 (rule_code) — varchar(50) — 외래 키 → 룰마스터.룰코드 — NOT NULL — rule 코드
- 룰값 (rule_value)
- 생성시간 (created_time)
- 수정시간 (modified_time)
데이터셋 버전 데이터 (dp_dataset_version)
- 버전코드 (version_code) — 기본 키 — NOT NULL
- 데이터셋코드 (dataset_code) — int(11) — 외래 키 → 데이터셋마스터.데이터셋코드 — NOT NULL
- 버전명 (version_name) — yyyy.mm.dd hh:mm:ss 형식의 이름이 자동으로 생성 됨. 사용자들은 이 이름을 보고 버전을 구분함
- 생성일자 (created_time)
- 마지막업데이트 일자 (last_update_time)
데이터셋마스터 (dp_dataset)
- 데이터셋코드 (dataset_code) — int(11) — 기본 키 — NOT NULL
- 데이터셋이름 (dataset_name) — varchar(30) — 업무명
- 데이터셋업무설명 (business_desc) — varchar(500) — NOT NULL — 업무설명
- 거래소등록여부 (apply_yn) — char(1) — NOT NULL
- 프로파일링여부 (profiling_yn) — char(1) — NOT NULL
- 데이터 저장여부 (archiving_yn) — char(1) — NOT NULL
- 생성자(소유자) (createdby) — varchar(50) — 사용자 id가 들어가며, 사용자는 자신의 데이터셋에 관련된 업무만 수행 가능함.
- 수정자 (modifiedby) — varchar(100) — 변경자
- 생성시간 (created_time) — timestamp — 생성시간
- 수정시간 (modified_time) — timestamp — 변경시간
- 캐릭터셋 (characterset) — varchar(20) — NOT NULL
- 날짜포맷 (date_format)
- 시간포맷 (time_format)
- null로 간주할문자 (char_as_null)
- 카테고리코드 (category_code) — 외래 키 → 카테고리마스터.카테고리코드 — 카테고리마스터에서 해당 카테고리에 대해 항상 최하위 코드를 저장 함
- 커넥터코드 (conn_code) — 외래 키 → 커넥터마스터.커넥터코드 — NOT NULL
로그데이터 (dp_dataset_log)
- 로그시퀀스 (log_seq) — 기본 키 — NOT NULL
- 버전코드 (version_code) — 외래 키 → 데이터셋 버전 데이터.버전코드 — NOT NULL
- 데이터셋코드 (dataset_code) — int(11) — 외래 키 → 데이터셋 버전 데이터.데이터셋코드 — NOT NULL
- 시작시간 (start_time)
- 종료시간 (end_time)
- 상태 (status)
- 로드타입 (load_type) — 최초로드인지, prep을 통한 로드인지 구분
- 룰타입 (rule_type) — 룰 타입( dataset, field ) 을 정의
- 룰값 (rule_values) — 해당 버전의 데이터셋&필드 레벨의 룰설정 데이터를 json형식으로 해당 컬럼에 저장
- 정상로드건수 (load_cnt)
- 필터링된 로드 건수 (filtered_cnt)
- 생성시간 (created_time)
룰마스터 (dp_rule_definition)
- 룰코드 (rule_code) — varchar(50) — 기본 키 — NOT NULL — rule 코드
- 룰타입 (rule_type) — dataset, field 타입으로 룰 정의
- 룰설명 (description) — varchar(300) — property description
- 디폴트값 (default_value) — varchar(20) — default value
- 수정가능여부 (editable) — tinyint(1)
- 필드타입 (field_type) — varchar(20) — STRING, LOCAL_DATE, INTEGER, LONG, DOUBLE 타입별로 룰정보를 관리
- 생성시간 (created_time) — timestamp — 생성시간
- 수정시간 (modified_time) — timestamp — 수정일자
카테고리마스터 (dp_category)
- 카테고리코드 (category_code) — 기본 키 — NOT NULL
- 카테고리이름 (category_name)
- 상위카테고리코드 (p_category_code)
- 상위카테고리이름 (p_category_name)
- 생성시간 (created_time)
- 수정시간 (modified_time)
커넥터마스터 (dp_conn)
- 커넥터코드 (conn_code) — 기본 키 — NOT NULL
- 커넥터타입 (conn_type)
- 커넥터명 (conn_name)
- 커넥터설명 (conn_desc)
- 커넥션URL (conn_url) — api, ftp의 경우 : 해당 url file의 경우 : 파일 path
- 커넥션파라미터 (conn_param) — json 형태로 저장하여 다수의 파라미터도 저장되도록 함 file : 파일필드 구분자, 레코드 구분자, 헤더존재여부, 파일타입, 파일경로 등을 json으로 정의
- 생성시간 (created_time)
- 수정시간 (modified_time)
- 생성자 (createdby) — varchar(50)
태그데이터 (dp_dataset_tag)
- 태그 (tag) — 기본 키 — NOT NULL
- 데이터셋코드 (dataset_code) — int(11) — 외래 키 → 데이터셋마스터.데이터셋코드 — NOT NULL
- 생성시간 (create_time) — timestamp
필드 룰데이터 (필드별 적용) (dp_field_rule)
- 데이터셋코드 (dataset_code) — int(11) — 외래 키 → 필드마스터.데이터셋코드 — NOT NULL
- 필드인덱스 (field_idx) — int(20) — 외래 키 → 필드마스터.필드인덱스 — NOT NULL — 필드인덱스
- 룰코드 (rule_code) — varchar(50) — 외래 키 → 룰마스터.룰코드 — NOT NULL — rule 코드
- 필드타입 (field_type) — varchar(20) — STRING, LOCAL_DATE, INTEGER, LONG, DOUBLE 타입별로 룰정보를 관리
- 룰값 (rule_value) — varchar(20) — 설정 값
- 생성시간 (created_time) — timestamp
- 수정시간 (modified_time) — timestamp
필드마스터 (dp_dataset_field)
- 필드인덱스 (field_idx) — int(20) — 기본 키 — NOT NULL — 필드인덱스
- 데이터셋코드 (dataset_code) — int(11) — 외래 키 → 데이터셋마스터.데이터셋코드 — NOT NULL
- 필드코드 (field_code) — varchar(50) — 필드명
- 필드명 (field_name) — varchar(50) — 업무명
- 필드설명 (field_desc) — varchar(200) — 업무상세설명
- 필드타입 (field_type) — varchar(20) — 필드타입
- 생성시간 (created_time) — timestamp — 생성시간
- 수정시간 (modified_time) — timestamp
필드별통계데이터 (dp_field_stat)
- 데이터셋코드 (dataset_code) — int(11) — 외래 키 → 필드마스터.데이터셋코드 — NOT NULL
- 필드인덱스 (field_idx) — int(20) — 외래 키 → 필드마스터.필드인덱스 — NOT NULL — 필드인덱스
- 최대값 (col_max) — varchar(200) — 최대값
- 최소값 (col_min) — varchar(200) — 최소값
- 건수 (col_count) — int(20) — 총 건수
- null건수 (col_null_cnt) — int(20) — null 개수
- distinct 건수 (col_cardinality) — int(20) — 컬럼별 distinct count
- 생성시간 (create_time) — timestamp — 생성시간