Microsoft의 새로운 파레토 최적 자가 감독 프레임워크는 언어 모델을 자동으로 수정하여 GPT SOTA 기록을 향상시킵니다.
대규모 언어 모델(LLM)의 활용은 자연어 처리 및 이해 영역에서 주목할 만한 역량을 입증했습니다. 그럼에도 불구하고, 특히 뛰어난 정밀도와 신뢰성이 요구되는 실제 환경에서
“파레토 최적 자가 감독을 통한 대규모 언어 모델의 자동 보정 및 오류 수정,
이라는 제목의 최근 논문에서 팀은 이 문제를 여러 단계를 포괄하는 보다 포괄적인 언어 모델 워크플로우의 사례로 간주하고 있습니다. 특정 프롬프트 구성과 함께 입력 텍스트가 주어지면 언어 모델은 처음에 서면 응답을 생성합니다. 이 응답은 이후 연산자를 통해 대상 출력 도메인에 투영되는 동시에 생성된 텍스트 상태의 명확성 또는 불확실성을 결정하기 위한 대안 선택도 통합됩니다. 모델이 생성된 결과를 굳게 믿었지만 부정확한 것으로 판명되는 경우에도 환각의 문제는 여전히 지속됩니다.
LLM 보정의 목표는 자기 지도 학습을 활용하여 해당 추정 함수를 도출함으로써 환각 가능성에 대한 추정 함수를 생성하는 것입니다. 이 접근 방식을 사용하면 실측 데이터가 없어 접근이 불가능했던 라벨링되지 않은 훈련 데이터에 액세스할 수 있습니다.
동적 자체 평가 및 동적 자체 감독, 폴라 점수를 활용하여 오류를 수정하고 LLM의 응답 정확도를 향상시킵니다.
실험적 조사에서는 까다로운 자연어 처리 데이터 세트인 CDR, ChemProt, SemEval 및 SMS에 대해 파레토 최적 학습을 활용했습니다. 우리가 제안한 프레임워크는 대규모 언어 모델의 오류를 정확하게 추정하는 데 주목할 만한 능력을 보여줬으며, 사람이 주석을 단 추가 훈련 데이터로 보완했을 때 GPT-3와 GPT-4의 성능을 크게 향상시켰습니다.