AI의 환각 극복: 대규모 멀티모달 모델에서 사실 증강 RLHF가 시각-언어 정렬을 최적화하는 방법
이미지-텍스트 쌍을 활용한 추가 사전 학습을 통합하거나 특수한 시각적 명령어 튜닝 데이터 세트를 사용하여 개선함으로써 대규모 언어 모델은 다중 모달리티의 영역을 탐구하여 강력한 대규모 다중 모달 모델을 구현할 수 있습니다. 그럼에도 불구하고 LMM을 구축하는 데는 어려움이 따르는데, 특히 멀티모달 데이터의 양과 품질이 텍스트 전용 데이터 세트의 그것과 차이가 있기 때문입니다. 예를 들어, 사전 학습된 시각 인코더와 지침에 맞게 조정된 언어 모델에서 시작된 LLaVA 모델을 생각해 보겠습니다. 이 모델은 1800개 작업에 걸쳐 1억 개 이상의 샘플을 사용하는 텍스트 전용 모델에 비해 훨씬 적은 수의 인스턴스로 학습되었음에도 불구하고
개만을 사용하여 학습되었습니다. LLaVA-RLHF는 UC 버클리, 카네기 멜론 대학교, 일리노이 대학교 어바나 샴페인, 위스콘신 대학교 매디슨, 매사추세츠 대학교 애머스트, Microsoft Research 및 MIT-IBM Watson AI Lab 등 다양한 기관의 연구원들이 개발한 고급 멀티모달 정렬 모델입니다. 이 모델은 인간 피드백을 통한 강화 학습(RLHF)이라는 새로운 접근 방식을 통해 시각적 명령어 튜닝 데이터를 통합하여 기존 언어 모델(LMM)의 한계를 해결합니다. RLHF는 텍스트 기반 AI 에이전트를 사용자 피드백에 맞게 조정하는 데 효과적인 것으로 입증되었으며, 이 모델은 이 방법론을 적용하여 LMM의 멀티모달 조정을 향상시킵니다.
이 접근 방식은 시각 기반 대화에 대한 10,000개의 인간 선호도를 수집하는 데 약 3000달러로 추정되는 적당한 주석 비용으로 멀티모달 정렬을 향상시킬 수 있는 잠재력을 가지고 있습니다. 우리가 아는 한, 이것은 멀티모달 정렬을 위해 인간 피드백을 통한 강화 학습(RLHF)을 성공적으로 적용한 최초의 사례입니다. 보상 모델에서 높은 점수를 받는다고 해서 항상 사람의 평가가 개선되는 것은 아니지만, 이는 현재 RLHF 프레임워크 내에서 여전히 문제로 남아 있습니다. 이전 연구에서는 인센티브 조작을 완화하기 위해 ‘새로운’ 인적 피드백을 반복적으로 수집할 것을 권장했지만, 이 방법은 일반적으로 리소스 집약적이며 기존의 인적 선호 정보를 충분히 활용하지 못합니다. 제안된 솔루션은 보다 효율적인
그림 1을 참조하면 언어 모델 멀티태스킹(LMM) 학습의 감독 미세 조정(SFT) 단계에서 환각의 가능성을 강조하는 시각적 표현과 SFT 모델에서 비롯된 보상 모델 내의 제한된 용량 문제를 사실 증강 강화 학습(RLHF)이 해결하는 방식이 제시되어 있습니다.
보상 모델의 전반적인 기능을 개선하기 위해 연구진은 더 높은 해상도와 더 큰 언어 모델을 자랑하는 고급 시각 인코더를 활용합니다. 또한 이미지 캡션이나 객관식 진실과 같은 추가 정보를 통합하여 보상 신호를 수정하는 그림 1에 표시된 사실적 증강 강화 학습(FLAVORH) 알고리즘을 도입합니다. 또한 과학자들은 사람이 주석을 단 고품질의 멀티모달 데이터를 학습 프로세스에 통합하여 감독 미세 조정 단계에서 대규모 멀티모달 모델(LMM)의 성능을 향상시킵니다. 특히 Flickr30k와 다른 두 가지 데이터 세트인 VQA-v2 및 A-OKVQA를 서로 다른
실제 애플리케이션 내에서 대규모 언어 모델(LLM)의 다중 모드 정렬을 정확하게 평가하기 위해 저자는 프로세스 중 환각 사례를 처벌하는 것이 중요하다는 점을 강조합니다. 이 목표를 달성하기 위해 COCO 표준에서 인정하는 12가지 주요 객체 범주를 모두 포괄하고 8가지 작업 유형을 통합하는 MMHAL-BENCH라는 포괄적인 벤치마크를 설정했습니다. 연구진은 조사를 수행하면서 제안된 벤치마크가 특히 환각에 대응하기 위해 고안된 조치를 고려할 때 인간의 판단과 밀접하게 일치한다는 사실을 발견했습니다. 또한, 인간의 피드백을 통한 강화 학습(RLHF)을 사용하여 훈련된 최초의 LLM인 LLaVA-RLHF는 연구팀이 수행한 실험 테스트에서 놀라운 성능을 보여주었습니다. 구체적으로
논문 및 프로젝트 을 확인하세요. 이 연구에 대한 모든 크레딧은 이 프로젝트의 연구원들에게 있습니다. 또한, 최신 AI 연구 소식, 멋진 AI 프로젝트 등을 공유하는 31k\\+ ML 서브 레딧, 40k\\+ 페이스북 커뮤니티, 디스코드 채널, 이메일 뉴스레터에 가입하는 것을 잊지 마세요.
저희의 노력을 높이 평가해 주시는 분들께 뉴스레터 구독을 권해드리며, 뉴스레터는 저희의 최신 노력에 대한 정보를 얻고 진행 상황에 대한 최신 소식을 접할 수 있는 좋은 기회입니다.
인공지능 분야의 최첨단 기술과 혁신에 대한 포괄적인 업데이트와 인사이트를 제공하는 YouTube 채널을 구독하여 인공지능 연구의 최신 발전상을 경험하세요.