학습을 시켰는데 제대로된 답을 안해줘서 문의 드립니다

[ksb12345]

train_polyglot5.8b_singleA100.sh 파일에서 데이터셋만 바꿔서(형식은 같고 내용만 다름) 학습을 진행하였는데 질답을15개정도 돌렸을때는 그래도 어느정도 비슷하게 혹은 완전히 학습한 데이터를 답해주는데 100개 이상 돌렸을 경우에는 중간 중간 제대로된 답변을 못해주고 있습니다. 혹시 질문 답변 길이가 너무 길면 학습을 제대로 못하는건가요?

[Beomi]

데이터셋을 모르는 상황에서는 정확한 원인을 추론하기 어렵습니다.
데이터 예시와 데이터 특성(길이 등)을 함께 적어주셔보시겠어요?

[ksb12345]

{"text":"### 질문: 명의변경 신청시 구비서류는 무엇인가요? \n\n### 답변: 명의변경 신청 시 필요한 서류로는 매도자(현계약자)와 매수자(신계약자)의 주민등록등본과 인감증명서, 분양계약서 원본, 부동산매도용인감증명서, 그리고 거래당사자간의 권리이전계약서 사본 또는 부동산거래신고필증사본 과 개인정보제공및이용동의서, 대출 실행된 토지에 대한 대출금완제 증명서류나 은행에서 발급한 승계확인서도 추가로 제출해야 합니다.<|endoftext|>"}

json파일의 형식은 이런식으로 작성하였습니다. 질문을 했을때 학습한 데이터가 그대로 나오는 경우도 있고 답변이 질문을 그대로 표시 해줄 때도 있고 아니면 학습한 데이터가 아니고 전혀 다른 대답을 해줄때도 있습니다.

[Beomi]

만약 똑같이 나오길 원하면 학습 epochs를 더 늘려주거나, 혹은 lr을 높여보시는 것도 방법입니다.

그리고 생성시 temperature를 0.5 이하로 줄여보세요.

[ksb12345]

답변 감사합니다. 혹시 학습한 모델을 사용 할때 질문을 한번에 여러개(15개 이상) 하게 되면 답변이 이상해질까요?