gravy_학습데이터
테이블 (22)
AskTobi 프롬프트에 의해 생성된 ranking table (chosen: 자연스런 자소서, reject: asktobi 생성 자소서) (asktobi_ranking_table)
- question (자기소개서 생성을 위한 질문) — text
- profile (채용 기업 정보를 포함한 유저 프로필) — text
- prompts (자기소개서 생성을 위한 AskTobi 프롬프트) — Jsonb
- gpt_cv_letter (AskTobi프롬프트를 사용하여 openai에 의해 생성된 자기소개서) — text
- seq_len (자기소개서 길이 제한 조건) — text
- nl_cv_letter (AskTobi 자기소개서를 자연스럽게 바꾼 자기소개서) — text
- created (Field6) — timestamp
- rejected (AskTobi 자기소개서(gpt_cv_letter)) — text
- chosen (자연스럽게 바뀐 자기소개서(nl_cv_letter)) — text
- mode (train / eval) — text
AskTobi 프롬프트에 의해 생성된 검증용 ranking table (chosen: 자연스런 자소서, reject: asktobi 생성 자소서) (asktobi_ranking_table_1)
- question (자기소개서 생성을 위한 질문) — text
- profile (채용 기업 정보를 포함한 유저 프로필) — text
- prompts (자기소개서 생성을 위한 AskTobi 프롬프트) — Jsonb
- gpt_cv_letter (AskTobi프롬프트를 사용하여 openai에 의해 생성된 자기소개서) — text
- seq_len (자기소개서 길이 제한 조건) — text
- nl_cv_letter (AskTobi 자기소개서를 자연스럽게 바꾼 자기소개서) — text
- created (Field6) — timestamp
AskTobi에 의해 생성된 자기소개서 검증용 테이블 (asktobi_cv_letter_2)
- question (자기소개서 생성을 위한 질문) — text
- profile (채용 기업 정보 포함한 유저 프로필) — text
- prompts (question과 profile을 조합한 AskTobi 프롬프트) — jsonb
- response ("promtps" 에 의해 생성된 AskTobi 자기소개서) — text
- seq_len (답변의 min, max 조건) — text
- created (생성 일시) — time stamp
AskTobi에 의해 생성된 자기소개서 테이블 (asktobi_cv_letter)
- question (자기소개서 생성을 위한 질문) — text
- profile (채용 기업 정보 포함한 유저 프로필) — text
- prompts (question과 profile을 조합한 AskTobi 프롬프트) — jsonb
- response ("promtps" 에 의해 생성된 AskTobi 자기소개서) — text
- seq_len (답변의 min, max 조건) — text
- created (생성 일시) — time stamp
AskTobi에 의해 생성된 자기소개서 테이블 (asktobi_cv_letter_1)
- question (자기소개서 생성을 위한 질문) — text
- profile (채용 기업 정보 포함한 유저 프로필) — text
- prompts (question과 profile을 조합한 AskTobi 프롬프트) — jsonb
- response ("promtps" 에 의해 생성된 AskTobi 자기소개서) — text
- seq_len (답변의 min, max 조건) — text
- created (생성 일시) — time stamp
- content (AskTobi 프롬프트와 생성된 자기소개서를 합한 training을 위한 프롬프트) — jsonb
- model (train / eval) — text
AskTobi에 의해 생성된 자기소개서를 자연스럽게 바꾸기 위한 검증용 테이블 (asktobi_to_nl_2)
- question (자기소개서 생성을 위한 질문) — text
- prompts (Asktobi 에 의해 생성된 자소서를 좀더 자연스런 언어로 바꾸기 위한 프롬프트) — jsonb
- gpt_cv_letter (Asktobi 에 의해 생성된 자기소개서) — text
- nl_cv_letter (위 "prompts"에 의해 변환된 자기소개서) — text
- created (생성 일시) — time stamp
AskTobi에 의해 생성된 자기소개서를 자연스럽게 바꾸기 위한 테이블 (asktobi_to_nl)
- question (자기소개서 생성을 위한 질문) — text
- prompts (Asktobi 에 의해 생성된 자소서를 좀더 자연스런 언어로 바꾸기 위한 프롬프트) — jsonb
- gpt_cv_letter (Asktobi 에 의해 생성된 자기소개서) — text
- nl_cv_letter (위 "prompts"에 의해 변환된 자기소개서) — text
- created (생성 일시) — time stamp
AskTobi에 의해 생성된 자기소개서를 자연스럽게 바꾸기 위한 테이블 (asktobi_to_nl_1)
- question (자기소개서 생성을 위한 질문) — text
- prompts (Asktobi 에 의해 생성된 자소서를 좀더 자연스런 언어로 바꾸기 위한 프롬프트) — jsonb
- gpt_cv_letter (Asktobi 에 의해 생성된 자기소개서) — text
- nl_cv_letter (위 "prompts"에 의해 변환된 자기소개서) — text
- created (생성 일시) — time stamp
- content (위 "prompt" 와 변환된 자기소개서를 합한 training을 위한 프롬프트) — jsonb
- model (train / eval) — text
Instruction dataset에 대한 평가하기 위한 테이블 (sft_reward_table)
- id — text
- message (Dataset의 quality를 체크하기 위한 프롬프트) — jsonb
- response (위 프롬프트에 대한 답변) — jsonb
- content (위 message와 response를 합하여서 학습용으로 사용) — jsonb
- score (response에서 점수만 파싱해서 나온 값) — text
- model (사용된 모델) — text
- mode (train / eval) — text
- src (response의 출처, gpt) — text
culture (vision) 검증용 테이블, 사용 불가 (culture_vision_table_1)
- culture (selected vision keyword 및 업종에 따라 생성된 culture deck) — text
- selected_vision (16가지 비전 중 4-6개 선택) — text
- not_selected_vision (위에서 선택된 것 제외하고 나머지 랜덤하게 5개 선택) — text
- vision (selected vision중 한개 선택) — text
- answer (A 또는 B, vision과 culture가 관련 있으면 A, 없으면 B) — text
- pred (모델의 예측값) — text
- content (모델에 들어가는 입력값 [{"from":"user"}]) — jsonb
- created (Field9) — timestamp
gpt3.5 version에 의해 생성된 자기소개서 테이블 (gpt_resume_table)
- question (자기소개서 생성을 위한 질문) — text
- content (아래 "prompts"에 의해 생성된 유저 프로필 및 채용 기업 정보) — text
- prompts (위 "question"에 맞는 유저 프로필 및 채용 기업 정보를 생성하기 위한 프롬프트) — jsonb
- created (Field)
huggingface에서 가져온 인간 선호도 table (maywell_ko_Ultrafeedback_binarized)
- prompt (사용자가 물어보는 질문) — text
- chosen (위 질문에 대해 선호도가 높은 답변) — text
- rejected (위 질문에 대해 선호도가 낮은 답변) — text
- mode (train / eval) — text
huggingface에서 가져온 Instruction dataset에 대한 평가하기 위한 테이블 (squarelike_OpenOrca-gugugo-ko)
- question (user가 모델에 보내는 instruction) — text
- id — text
- response (user의 instruction에 대한 모델의 응답) — text
- system_prompt (시스템 프롬프트) — text
- mode (train / eval) — text
reward model 또는 DPO training을 위해 사용되는 테이블 (ranking_table)
- id — serial4
- prompt (모델 입력 프롬프트 (system + user)) — jsonb
- chosen (위 프롬프트에 대한 선호되는 답변) — jsonb
- rejected (위 프롬프트에 대한 비선호되는 답변) — jsonb
- topics (not used) — varchar
- keywords (not used1) — _varchar
- score (not used2) — int4
- minhash (not used3) — _varchar
- selected (not used4) — bool
- mode (train / eval) — varchar
- sbert_model (not used5) — varchar
- src (origin table name) — varchar
- created (생성 일시) — date
user profile (profiles)
- question (자기소개서 생성을 위한 질문) — text
- content (아래 "prompts"에 의해 생성된 유저 프로필 및 채용 기업 정보) — text
- prompts (위 "question"에 맞는 유저 프로필 및 채용 기업 정보를 생성하기 위한 프롬프트) — jsonb
- created (Field)
vision text와 label이 달린 테이블, 사용 불가 (culture_vision_table)
- culture (selected vision keyword 및 업종에 따라 생성된 culture deck) — text
- selected_vision (16가지 비전 중 4-6개 선택) — text
- not_selected_vision (위에서 선택된 것 제외하고 나머지 랜덤하게 5개 선택) — text
- vision (selected vision중 한개 선택) — text
- answer (A 또는 B, vision과 culture가 관련 있으면 A, 없으면 B) — text
- pred (모델의 예측값) — text
- content (모델에 들어가는 입력값 [{"from":"user"}]) — jsonb
- mode (train / eval) — text
- created (Field9) — timestamp
모델 SFT training을 위한 테이블 (alignment_table)
- id — serial4
- content (모델 입력으로 들어가는 prompt (ex system, user, assistant로 구성)) — jsonb
- topics (not used) — varchar
- keywords (not used1) — _varchar
- score (not used2) — int4
- minhash (not used3) — _varcahr
- selected (not used4) — bool
- mode (train / eval) — varchar
- sbert_model (not used5) — varchar
- src (origin table name) — varchar
- created (생성 일시) — date
자체 모델 및 openai에 의해 생성된 자기소개서 (resumes_compare)
- id — serial4
- profile (채용 기업 정보 포함한 유저 프로필) — text
- question (자기소개서 생성을 위한 질문) — text
- min_words (자기소개서 최소 글자수) — int8
- max_words (자기소개서 최대 글자수) — int8
- model_name (사용된 실제 모델 이름, custom모델일 경우 모델의 경로) — text
- response ("promtps" 에 의해 생성된 AskTobi 자기소개서(자체모델 또는 openai)) — text
- prompt (question과 profile을 조합한 AskTobi 프롬프트) — jsonb
- created (Field)
잡코리아 질문과 답변간의 관련성을 평가하기 위해 각각 gpt와 eeve에 물어본 다음, gpt는 chosen으로 eeve는 reject로 선택 (relevance_resume_table)
- id — int8
- custom_id (openai batch mode로 돌릴 시 사용된 id, 학습 등에서는 전혀 사용되지 않음) — text
- prompt (잡코리아 질문과 답변의 적절성을 평가하기 위한 프롬프트) — jsonb
- chosen (선호되는 답변(gpt에 의해 생성된 것)) — jsonb
- rejected (선호되지 않는 답변(eeve에 의해 생성된 것)) — jsonb
- question (잡코리아 자소서 질문) — text
- answer (잡코리아 자소서 답변) — text
- gpt_eval (잡코리아 질문과 답변간의 적절성에 대한 gpt의 평가) — text
- gpt_score (잡코리아 질문과 답변간의 적절성에 대한 gpt의 평가 중 점수만 파싱) — float8
- eeve_eval (잡코리아 질문과 답변간의 적절성에 대한 eeve의 평가) — text
- eeve_score (잡코리아 질문과 답변간의 적절성에 대한 eeve의 평가 중 점수만 파싱) — flloat8
- mode (train / eval) — text
잡코리아에서 가져온 질문 답변 테이블 (jobkorea_resume_table)
- id (Field)
- company_name (Field2)
- career_period (Field3)
- hiring_status (Field4)
- grade (Field5)
- user_info (Field6)
- question (Field7)
- answer (Field8)
- company_url (Field9)
- created_at (Field10)
- deductive (Field11)
- page (Field12)
- original (Field13)
- active (Field14)
- mode (train / eval)
프로필 외 기업 비전, 뉴스를 반영한 자기소개서 테이블 (resume_with_vision_1)
- id — int8
- profile (채용 기업 정보를 제외한 유저 프로필) — text
- jd (채용 기업 정보) — text
- vision (기업의 비전, 미션) — text
- news (기업 관련 뉴스) — text
- theme (자기소개서 생성을 위한 질문) — text
- model_type (openai 또는 자체 모델 중 하나) — text
- model_name (사용된 실제 모델(ex gpt-4o)) — text
- min_words (자기소개서 최소 글자수) — int8
- max_words (자기소개서 최대 글자수) — int8
- response (아래 프롬프트에 의해, 유저 정보, 채용 기업 정보, 기업의 비전, 뉴스 등을 반영해서 생성된 자기소개서) — text
- prompt (위 "profile", "jd", "vision", "new"를 반영한 자기소개서를 생성하기 위한 프롬프트) — jsonb
- created (Field)
- content (위 "prompt" 와 생성된 자기소개서를 합한 training을 위한 프롬프트) — jsonb
- model (train / eval) — text
프로필 외 기업 비전, 뉴스를 반영한 자기소개서 테이블 (resume_with_vision)
- id — int8
- profile (채용 기업 정보를 제외한 유저 프로필) — text
- jd (채용 기업 정보) — text
- vision (기업의 비전, 미션) — text
- news (기업 관련 뉴스) — text
- theme (자기소개서 생성을 위한 질문) — text
- model_type (openai 또는 자체 모델 중 하나) — text
- model_name (사용된 실제 모델(ex gpt-4o)) — text
- min_words (자기소개서 최소 글자수) — int8
- max_words (자기소개서 최대 글자수) — int8
- response (아래 프롬프트에 의해, 유저 정보, 채용 기업 정보, 기업의 비전, 뉴스 등을 반영해서 생성된 자기소개서) — text
- prompt (위 "profile", "jd", "vision", "new"를 반영한 자기소개서를 생성하기 위한 프롬프트) — jsonb
- created (Field)