gravy_학습데이터

테이블 (22)

AskTobi 프롬프트에 의해 생성된 ranking table (chosen: 자연스런 자소서, reject: asktobi 생성 자소서) (asktobi_ranking_table)

  • question (자기소개서 생성을 위한 질문) — text
  • profile (채용 기업 정보를 포함한 유저 프로필) — text
  • prompts (자기소개서 생성을 위한 AskTobi 프롬프트) — Jsonb
  • gpt_cv_letter (AskTobi프롬프트를 사용하여 openai에 의해 생성된 자기소개서) — text
  • seq_len (자기소개서 길이 제한 조건) — text
  • nl_cv_letter (AskTobi 자기소개서를 자연스럽게 바꾼 자기소개서) — text
  • created (Field6) — timestamp
  • rejected (AskTobi 자기소개서(gpt_cv_letter)) — text
  • chosen (자연스럽게 바뀐 자기소개서(nl_cv_letter)) — text
  • mode (train / eval) — text

AskTobi 프롬프트에 의해 생성된 검증용 ranking table (chosen: 자연스런 자소서, reject: asktobi 생성 자소서) (asktobi_ranking_table_1)

  • question (자기소개서 생성을 위한 질문) — text
  • profile (채용 기업 정보를 포함한 유저 프로필) — text
  • prompts (자기소개서 생성을 위한 AskTobi 프롬프트) — Jsonb
  • gpt_cv_letter (AskTobi프롬프트를 사용하여 openai에 의해 생성된 자기소개서) — text
  • seq_len (자기소개서 길이 제한 조건) — text
  • nl_cv_letter (AskTobi 자기소개서를 자연스럽게 바꾼 자기소개서) — text
  • created (Field6) — timestamp

AskTobi에 의해 생성된 자기소개서 검증용 테이블 (asktobi_cv_letter_2)

  • question (자기소개서 생성을 위한 질문) — text
  • profile (채용 기업 정보 포함한 유저 프로필) — text
  • prompts (question과 profile을 조합한 AskTobi 프롬프트) — jsonb
  • response ("promtps" 에 의해 생성된 AskTobi 자기소개서) — text
  • seq_len (답변의 min, max 조건) — text
  • created (생성 일시) — time stamp

AskTobi에 의해 생성된 자기소개서 테이블 (asktobi_cv_letter)

  • question (자기소개서 생성을 위한 질문) — text
  • profile (채용 기업 정보 포함한 유저 프로필) — text
  • prompts (question과 profile을 조합한 AskTobi 프롬프트) — jsonb
  • response ("promtps" 에 의해 생성된 AskTobi 자기소개서) — text
  • seq_len (답변의 min, max 조건) — text
  • created (생성 일시) — time stamp

AskTobi에 의해 생성된 자기소개서 테이블 (asktobi_cv_letter_1)

  • question (자기소개서 생성을 위한 질문) — text
  • profile (채용 기업 정보 포함한 유저 프로필) — text
  • prompts (question과 profile을 조합한 AskTobi 프롬프트) — jsonb
  • response ("promtps" 에 의해 생성된 AskTobi 자기소개서) — text
  • seq_len (답변의 min, max 조건) — text
  • created (생성 일시) — time stamp
  • content (AskTobi 프롬프트와 생성된 자기소개서를 합한 training을 위한 프롬프트) — jsonb
  • model (train / eval) — text

AskTobi에 의해 생성된 자기소개서를 자연스럽게 바꾸기 위한 검증용 테이블 (asktobi_to_nl_2)

  • question (자기소개서 생성을 위한 질문) — text
  • prompts (Asktobi 에 의해 생성된 자소서를 좀더 자연스런 언어로 바꾸기 위한 프롬프트) — jsonb
  • gpt_cv_letter (Asktobi 에 의해 생성된 자기소개서) — text
  • nl_cv_letter (위 "prompts"에 의해 변환된 자기소개서) — text
  • created (생성 일시) — time stamp

AskTobi에 의해 생성된 자기소개서를 자연스럽게 바꾸기 위한 테이블 (asktobi_to_nl)

  • question (자기소개서 생성을 위한 질문) — text
  • prompts (Asktobi 에 의해 생성된 자소서를 좀더 자연스런 언어로 바꾸기 위한 프롬프트) — jsonb
  • gpt_cv_letter (Asktobi 에 의해 생성된 자기소개서) — text
  • nl_cv_letter (위 "prompts"에 의해 변환된 자기소개서) — text
  • created (생성 일시) — time stamp

AskTobi에 의해 생성된 자기소개서를 자연스럽게 바꾸기 위한 테이블 (asktobi_to_nl_1)

  • question (자기소개서 생성을 위한 질문) — text
  • prompts (Asktobi 에 의해 생성된 자소서를 좀더 자연스런 언어로 바꾸기 위한 프롬프트) — jsonb
  • gpt_cv_letter (Asktobi 에 의해 생성된 자기소개서) — text
  • nl_cv_letter (위 "prompts"에 의해 변환된 자기소개서) — text
  • created (생성 일시) — time stamp
  • content (위 "prompt" 와 변환된 자기소개서를 합한 training을 위한 프롬프트) — jsonb
  • model (train / eval) — text

Instruction dataset에 대한 평가하기 위한 테이블 (sft_reward_table)

  • id — text
  • message (Dataset의 quality를 체크하기 위한 프롬프트) — jsonb
  • response (위 프롬프트에 대한 답변) — jsonb
  • content (위 message와 response를 합하여서 학습용으로 사용) — jsonb
  • score (response에서 점수만 파싱해서 나온 값) — text
  • model (사용된 모델) — text
  • mode (train / eval) — text
  • src (response의 출처, gpt) — text

culture (vision) 검증용 테이블, 사용 불가 (culture_vision_table_1)

  • culture (selected vision keyword 및 업종에 따라 생성된 culture deck) — text
  • selected_vision (16가지 비전 중 4-6개 선택) — text
  • not_selected_vision (위에서 선택된 것 제외하고 나머지 랜덤하게 5개 선택) — text
  • vision (selected vision중 한개 선택) — text
  • answer (A 또는 B, vision과 culture가 관련 있으면 A, 없으면 B) — text
  • pred (모델의 예측값) — text
  • content (모델에 들어가는 입력값 [{"from":"user"}]) — jsonb
  • created (Field9) — timestamp

gpt3.5 version에 의해 생성된 자기소개서 테이블 (gpt_resume_table)

  • question (자기소개서 생성을 위한 질문) — text
  • content (아래 "prompts"에 의해 생성된 유저 프로필 및 채용 기업 정보) — text
  • prompts (위 "question"에 맞는 유저 프로필 및 채용 기업 정보를 생성하기 위한 프롬프트) — jsonb
  • created (Field)

huggingface에서 가져온 인간 선호도 table (maywell_ko_Ultrafeedback_binarized)

  • prompt (사용자가 물어보는 질문) — text
  • chosen (위 질문에 대해 선호도가 높은 답변) — text
  • rejected (위 질문에 대해 선호도가 낮은 답변) — text
  • mode (train / eval) — text

huggingface에서 가져온 Instruction dataset에 대한 평가하기 위한 테이블 (squarelike_OpenOrca-gugugo-ko)

  • question (user가 모델에 보내는 instruction) — text
  • id — text
  • response (user의 instruction에 대한 모델의 응답) — text
  • system_prompt (시스템 프롬프트) — text
  • mode (train / eval) — text

reward model 또는 DPO training을 위해 사용되는 테이블 (ranking_table)

  • id — serial4
  • prompt (모델 입력 프롬프트 (system + user)) — jsonb
  • chosen (위 프롬프트에 대한 선호되는 답변) — jsonb
  • rejected (위 프롬프트에 대한 비선호되는 답변) — jsonb
  • topics (not used) — varchar
  • keywords (not used1) — _varchar
  • score (not used2) — int4
  • minhash (not used3) — _varchar
  • selected (not used4) — bool
  • mode (train / eval) — varchar
  • sbert_model (not used5) — varchar
  • src (origin table name) — varchar
  • created (생성 일시) — date

user profile (profiles)

  • question (자기소개서 생성을 위한 질문) — text
  • content (아래 "prompts"에 의해 생성된 유저 프로필 및 채용 기업 정보) — text
  • prompts (위 "question"에 맞는 유저 프로필 및 채용 기업 정보를 생성하기 위한 프롬프트) — jsonb
  • created (Field)

vision text와 label이 달린 테이블, 사용 불가 (culture_vision_table)

  • culture (selected vision keyword 및 업종에 따라 생성된 culture deck) — text
  • selected_vision (16가지 비전 중 4-6개 선택) — text
  • not_selected_vision (위에서 선택된 것 제외하고 나머지 랜덤하게 5개 선택) — text
  • vision (selected vision중 한개 선택) — text
  • answer (A 또는 B, vision과 culture가 관련 있으면 A, 없으면 B) — text
  • pred (모델의 예측값) — text
  • content (모델에 들어가는 입력값 [{"from":"user"}]) — jsonb
  • mode (train / eval) — text
  • created (Field9) — timestamp

모델 SFT training을 위한 테이블 (alignment_table)

  • id — serial4
  • content (모델 입력으로 들어가는 prompt (ex system, user, assistant로 구성)) — jsonb
  • topics (not used) — varchar
  • keywords (not used1) — _varchar
  • score (not used2) — int4
  • minhash (not used3) — _varcahr
  • selected (not used4) — bool
  • mode (train / eval) — varchar
  • sbert_model (not used5) — varchar
  • src (origin table name) — varchar
  • created (생성 일시) — date

자체 모델 및 openai에 의해 생성된 자기소개서 (resumes_compare)

  • id — serial4
  • profile (채용 기업 정보 포함한 유저 프로필) — text
  • question (자기소개서 생성을 위한 질문) — text
  • min_words (자기소개서 최소 글자수) — int8
  • max_words (자기소개서 최대 글자수) — int8
  • model_name (사용된 실제 모델 이름, custom모델일 경우 모델의 경로) — text
  • response ("promtps" 에 의해 생성된 AskTobi 자기소개서(자체모델 또는 openai)) — text
  • prompt (question과 profile을 조합한 AskTobi 프롬프트) — jsonb
  • created (Field)

잡코리아 질문과 답변간의 관련성을 평가하기 위해 각각 gpt와 eeve에 물어본 다음, gpt는 chosen으로 eeve는 reject로 선택 (relevance_resume_table)

  • id — int8
  • custom_id (openai batch mode로 돌릴 시 사용된 id, 학습 등에서는 전혀 사용되지 않음) — text
  • prompt (잡코리아 질문과 답변의 적절성을 평가하기 위한 프롬프트) — jsonb
  • chosen (선호되는 답변(gpt에 의해 생성된 것)) — jsonb
  • rejected (선호되지 않는 답변(eeve에 의해 생성된 것)) — jsonb
  • question (잡코리아 자소서 질문) — text
  • answer (잡코리아 자소서 답변) — text
  • gpt_eval (잡코리아 질문과 답변간의 적절성에 대한 gpt의 평가) — text
  • gpt_score (잡코리아 질문과 답변간의 적절성에 대한 gpt의 평가 중 점수만 파싱) — float8
  • eeve_eval (잡코리아 질문과 답변간의 적절성에 대한 eeve의 평가) — text
  • eeve_score (잡코리아 질문과 답변간의 적절성에 대한 eeve의 평가 중 점수만 파싱) — flloat8
  • mode (train / eval) — text

잡코리아에서 가져온 질문 답변 테이블 (jobkorea_resume_table)

  • id (Field)
  • company_name (Field2)
  • career_period (Field3)
  • hiring_status (Field4)
  • grade (Field5)
  • user_info (Field6)
  • question (Field7)
  • answer (Field8)
  • company_url (Field9)
  • created_at (Field10)
  • deductive (Field11)
  • page (Field12)
  • original (Field13)
  • active (Field14)
  • mode (train / eval)

프로필 외 기업 비전, 뉴스를 반영한 자기소개서 테이블 (resume_with_vision_1)

  • id — int8
  • profile (채용 기업 정보를 제외한 유저 프로필) — text
  • jd (채용 기업 정보) — text
  • vision (기업의 비전, 미션) — text
  • news (기업 관련 뉴스) — text
  • theme (자기소개서 생성을 위한 질문) — text
  • model_type (openai 또는 자체 모델 중 하나) — text
  • model_name (사용된 실제 모델(ex gpt-4o)) — text
  • min_words (자기소개서 최소 글자수) — int8
  • max_words (자기소개서 최대 글자수) — int8
  • response (아래 프롬프트에 의해, 유저 정보, 채용 기업 정보, 기업의 비전, 뉴스 등을 반영해서 생성된 자기소개서) — text
  • prompt (위 "profile", "jd", "vision", "new"를 반영한 자기소개서를 생성하기 위한 프롬프트) — jsonb
  • created (Field)
  • content (위 "prompt" 와 생성된 자기소개서를 합한 training을 위한 프롬프트) — jsonb
  • model (train / eval) — text

프로필 외 기업 비전, 뉴스를 반영한 자기소개서 테이블 (resume_with_vision)

  • id — int8
  • profile (채용 기업 정보를 제외한 유저 프로필) — text
  • jd (채용 기업 정보) — text
  • vision (기업의 비전, 미션) — text
  • news (기업 관련 뉴스) — text
  • theme (자기소개서 생성을 위한 질문) — text
  • model_type (openai 또는 자체 모델 중 하나) — text
  • model_name (사용된 실제 모델(ex gpt-4o)) — text
  • min_words (자기소개서 최소 글자수) — int8
  • max_words (자기소개서 최대 글자수) — int8
  • response (아래 프롬프트에 의해, 유저 정보, 채용 기업 정보, 기업의 비전, 뉴스 등을 반영해서 생성된 자기소개서) — text
  • prompt (위 "profile", "jd", "vision", "new"를 반영한 자기소개서를 생성하기 위한 프롬프트) — jsonb
  • created (Field)