메타 AI 연구원, 지식 집약적 작업을 위해 향상된 검색 기능으로 언어 모델을 개조하는 새로운 인공 지능 접근 방식인 RA-DIT를 소개합니다.
광범위한 사전 학습과 관련된 과도한 계산 비용을 최소화하면서 흔하지 않은 지식을 처리하는 데 있어 대규모 언어 모델의 단점을 극복하기 위해 연구원들은 검색 증강 이중 명령어 튜닝(RA-DIT)이라는 새로운 접근 방식을 개발했습니다. 이 혁신적인 기법은 모든 언어 모델이 효과적인 검색 능력을 갖출 수 있도록 경량 미세 조정 전략을 사용합니다. 두 개의 뚜렷한 미세 조정 단계로 구성된 RA-DIT는 검색된 데이터에 대한 언어 모델의 활용도를 개선하고 검색 엔진의 콘텐츠 관련성을 향상시킴으로써 주목할 만한 성능 향상을 보여줍니다. 따라서 RA-DIT는 언어 모델에 검색 기능을 보강할 수 있는 고무적인 전망을 제시합니다.
RA-DIT는 GPT-3와 같은 대규모 언어 모델을 효과적인 검색 능력으로 강화하는 민첩한 2단계 미세 조정 접근 방식을 제시합니다. 이 방법을 통해 이러한 모델은 검색된 데이터를 최적으로 활용하는 동시에 모델이 선호하는 관련 정보를 제공하는 검색 도구의 정확도를 향상시킬 수 있습니다. 연구 결과에 따르면 RA-DIT는 지식 중심의 제로 및 소수 샷 학습 과제에서 현재의 최신 방법을 능가하며, LLM 내에서 외부 정보 소스를 통합하여 성능 수준을 높일 수 있는 탁월한 역량을 보여줍니다.
추론 과정에서 검색된 데이터에 대한 LLM의 사용을 개선하고, 검색기 시스템을 최적화하여 LLM이 선호하는 보다 맥락에 적합한 결과를 생성합니다. 제안된 전략은 방대한 말뭉치를 통해 학습된 LLAMA 모델에 의존하며, 초기화로 DRAGON 모델에 기반한 이중 인코더 기반 리트리버 설계를 통합합니다. 또한, 이 방법은 병렬 인컨텍스트 검색 향상을 채택하여 보다 효율적인 LLM 예측 계산을 용이하게 합니다.
제안된 접근 방식은 검색 증강 언어 모델의 혁신적인 사용을 통해 지식 기반 제로 샷 및 소수 샷 학습 작업에 대한 새로운 표준을 수립하여 인상적인 결과를 보여줍니다. 특히 광범위한 외부 리소스가 필요한 복잡한 환경에 직면했을 때 현재의 최첨단 방법을 능가하는 성능을 보여줌으로써 RALM 기능을 향상시키는 데 있어 최소한의 미세 조정 기법의 잠재력을 강조합니다.
RA-DIT는 고급 지식 기반 제로 샷 및 소수 샷 학습 평가에서 탁월한 성능을 입증하여 0샷 범주에서 현재 최첨단 상황 내 검색 증강 언어 모델(RALM)에 비해 \+8.9%의 인상적인 개선을 달성하고 모든 5샷 시나리오에서 일관되게 \+1.4%의 이득을 얻었습니다.특히 선도적인 모델인 RA-DIT 65B는 습득한 지식과 상황 이해의 적용이 필요한 복잡한 작업에서 뛰어난 숙련도를 보여줍니다. 다른 모델과 달리 RA-DIT는 완전한 파라메트릭 지식을 유지하고 강력한 추론 능력을 유지하여 표준화된 상식 추론 벤치마크 8개 중 7개에서 가장 진보된 LLAMA 변형을 능가합니다
요약하면, 이 방법은 검색 기능을 통합하여 사전 학습된 언어 모델의 성능을 향상시키는 기술인 RA-DIT를 제시합니다. RA-DIT는 지식 의존적 벤치마크에서 단 몇 번의 평가만으로 탁월한 결과를 보여주며, 조정되지 않은 문맥 내 검색 증강 언어 모델을 능가하고 철저하게 훈련된 접근 방식과 비슷한 효율성을 보여줍니다. 지식 적용과 문맥 인식이 요구되는 작업의 성능을 크게 향상시킵니다. RA-DIT 모델은 특히 광범위한 외부 리소스를 다룰 때 검색 강화 언어 모델에 대한 경량 인스트럭션 미세 조정의 잠재력을 검증하면서 기존 모델보다 우월한 성능을 달성했습니다.
논문 을 확인하세요. 이 연구에 대한 모든 크레딧은 이 프로젝트의 연구진에게 있습니다. 또한 최신 AI 연구 소식, 멋진 AI 프로젝트 등을 공유하는 31k\\+ ML 서브 레딧, 40k\\+ 페이스북 커뮤니티, 디스코드 채널, 이메일 뉴스레터에 가입하는 것을 잊지 마세요.
저희의 탁월한 서비스에 대한 감사의 표시로 존경받는 뉴스레터 구독을 신청해 주시기 바랍니다.
이 분야의 최첨단 개발에 대한 업데이트와 인사이트를 제공하는 YouTube 채널을 구독하여 인공 지능 연구의 최신 발전을 경험하세요.