Microsoft 연구원, 레이블이 지정된 학습 데이터를 사용하지 않고 파레토 최적 자가 감독을 사용하여 LLM 교정을 위한 새로운 프레임워크 제안

최근의 발전으로 인해 대규모 언어 모델(LLM)의 기능이 크게 향상되었으며, 특히 잠재력이 큰 생성적으로 학습된 변환기(GPT) 모델이 등장하면서 그 기능이 크게 향상되었습니다. 이는 GPT-3에서 GPT-4로의 발전과 문제 해결 능력과 자연어 이해 능력 모두에서 괄목할 만한 개선을 보인 PaLM 및 LLaMA와 같은 대체 LLM의 출현으로 입증되었습니다. 또한 이러한 모델은 다양한 산업 분야에서 다양한 애플리케이션을 위한 데이터를 생성하는 데 널리 활용되고 있습니다. 그러나 생물학 및 의료 분야와 같이 매우 높은 수준의 정확성과 신뢰성이 요구되는 영역에서 LLM을 사용할 경우 환각 문제가 큰 장애물이 됩니다.

현재 환각을 정확하게 감지하고 강화 학습을 통해 사람의 입력을 통합하는 대규모 언어 모델(LLM)의 출력의 신뢰 수준을 평가하는 체계적인 기술이 부족하다는 점이 문제점으로 지적되고 있습니다. 이러한 생성형 LLM이 제공하는 내재적 신뢰도 점수는 의도한 목적에 부합하지 않거나 잘못 정렬될 수 있습니다. 휴리스틱 접근 방식이 존재하지만, 여러 응답을 생성하고 하위 집합을 선택하는 등 LLM 자체의 동작으로 인해 계산 비용이 많이 들고 편향될 수 있습니다. 일반적으로 LLM 응답의 신뢰성을 평가하는 데는 두 가지 전략이 있습니다. 하나는 다양한 방법으로 LLM에게 여러 응답을 생성하도록 유도한 다음 이를 활용하여 응답의 신뢰도를 결정하는 것입니다.

튜링 테스트 중에 응답을 생성하는 동안 생각의 일관성과 일관성을 향상시킬 수 있는 두 가지 방법은 자기 일관성 및 연쇄적 사고 프롬프트로 알려져 있습니다. 이러한 접근 방식은 수치 분석이 덜 필요하며 신뢰 수준을 추정하는 데 사용되는 모델에 존재하는 편향의 영향을 받기 쉽습니다. 그러나 이러한 기법의 효과를 평가하는 확립된 방법은 현재 없지만, 생성된 결과의 품질에 상당한 영향을 미칠 수 있습니다. 또 다른 접근 방식은 인간 검토자를 고용하여 답변을 확인하거나 이전에 레이블이 지정된 예시가 포함된 방대한 데이터 세트에 의존하여 평가 모델을 훈련하는 등 외부 정보 소스를 활용하는 것입니다. 기존의 지도 학습 방법과 관련된 중요한 과제는 광범위한 수동 주석이 필요하기 때문에

이 연구에서 Microsoft의 연구원들은 파레토 최적 학습을 사용하여 언어 모델과 지도 소스 모두의 데이터를 결합하는 다용도 프레임워크를 제시합니다. 이 접근 방식은 프로그래밍 감독에 대한 이전 작업과 파레토 최적화에 대한 광범위한 문헌에서 영감을 얻었습니다.두 가지 기본 원칙이 방법론에 영향을 미칩니다. 첫째, LLM이 자체적으로 평가하는 데서 발생하는 편견을 피하려면 독립적인 외부 감독 소스를 통합하는 것이 필수적입니다. 둘째, LLM의 불완전한 출력과 외부 소스의 추가 노이즈를 모두 사용하여 모델을 학습시키면 결과적으로 “노이즈가 있는” 레이블이 암시적 레이블 평활화를 효과적으로 수행하여 모델의 정확한 예측 능력을 향상시킬 수 있습니다.

제안된 파레토 최적 자가 감독 프레임워크는 머신 러닝의 품질과 효율성을 모두 통합할 수 있는 유용한 수단을 제공합니다. 이 방법은 라벨이 없는 데이터만 필요하므로 데이터에 주석을 다는 데 비용이 많이 드는 영역에서 매력적인 옵션이 될 수 있습니다. 저자들은 파레토 최적 자가 감독을 통해 대규모 언어 모델을 보정하는 새로운 접근 방식을 소개하며, 이것이 이 기고문의 핵심입니다. 대규모 언어 모델 오류와 관련된 위험을 평가하기 위해 파레토 최적 학습 평가 위험(POLAR) 점수를 사용할 것을 제안합니다. 이들은 네 가지 다양한 자연어 처리 작업에 대한 실험을 통해 폴라 점수가 골드 라벨을 사용하여 평가한 대규모 언어 모델의 오류율과 밀접한 상관관계가 있음을 입증했습니다. 또한 동적 프롬프트 전략을 통합하면

논문 을 확인하세요. 최신 AI 연구 소식, 멋진 AI 프로젝트 등을 공유하는 25k+ ML 서브레딧, Discord 채널, 트위터, 이메일 뉴스레터에 가입하는 것을 잊지 마세요. 위의 글과 관련하여 궁금한 점이 있거나 누락된 내용이 있으면 언제든지 Asif@All Things IT @AI

추천 도구로 이메일을 보내주시기 바랍니다:

다양한 인공지능 도구를 살펴볼 수 있는 AI 도구 클럽에 대한 다음 설명을 참고하시기 바랍니다.“존경하는 여러분, 여러분의 탐구와 활용을 기다리는 최첨단 인공지능 기술의 보고인 AI 도구 클럽을 소개하게 되어 매우 기쁘게 생각합니다. 다양한 옵션을 자유롭게 선택할 수 있는 이 컬렉션은 소중한 고객들의 다양한 요구와 필요를 충족시킬 것을 약속합니다.

스토리버드가 최근 몇 가지 주목할 만한 기능을 도입했다는 소식을 전해 들었습니다. 이 혁신적인 플랫폼은 사용자가 특정 주제나 테마를 입력해 일러스트 내러티브를 만들 수 있으며, 웹사이트를 통해 액세스할 수 있습니다. 잠시 시간을 내어 디지털 콘텐츠 제작의 세계에서 이 흥미로운 발전을 살펴볼 것을 적극 권장합니다.