DRAGIN: 대규모 언어 모델에서 동적 검색 증강을 위한 새로운 머신 러닝 프레임워크, 기존 방법보다 뛰어난 성능 제공

동적 검색 증강 생성(RAG) 프레임워크는 외부 데이터에 액세스할 시점을 식별하고 생성 프로세스 중에 통합할 적절한 자료를 선택함으로써 LLM의 기능을 향상시키고자 합니다. 현재의 전략은 종종 고정된 가이드라인을 사용하여 정보 복구 시기를 결정하고 복구 대상을 최근에 생성된 문장이나 토큰으로 제한하는데, 이는 포괄적인 맥락을 포괄하지 못할 수 있습니다. 이러한 접근 방식을 구현하면 중요하지 않은 세부 정보가 포함되고 정당한 이유 없이 과도한 계산 비용이 발생할 위험이 있습니다. 이러한 제약을 극복하면서 검색에 가장 적합한 시기를 결정하고 타깃 조회를 공식화하는 최적의 전략은 LLM 산출을 강화하는 데 있어 가장 중요합니다.

RIND는 모델 불확실성과 토큰 중요도 모두를 기반으로 정밀한 검색을 수행하며, QFS는 자체 주의 메커니즘을 활용하여 컨텍스트의 필수 요소를 포착하는 효과적인 쿼리를 구성합니다. 여러 복잡한 데이터 세트에 대한 광범위한 테스트를 통해 DRAGIN은 추가 교육이나 정교한 프롬프트 구성 없이도 현재의 최신 기술을 훨씬 능가하는 것으로 입증되었습니다.

단일 라운드 검색 증강 접근 방식은 초기 입력 쿼리를 통해 얻은 외부 소스 지식을 통합하여 대규모 언어 모델(LLM)을 개선하는 것으로 나타났습니다. 최근 연구에서는 이 전략에 대해 심도 있는 연구가 진행되었으며, LLM을 활용하여 검색 모델에 대한 학습 데이터를 생성하는 REPLUG와 검색에 대한 자체 요구 사항을 평가하는 UniWeb과 같은 주목할 만한 사례도 포함되어 있습니다. 하지만 상당한 외부 지식이 필요한 복잡한 작업의 경우 여러 차례의 검색이 필요합니다. RETRO와 IC-RALM과 같은 기존 기술은 미리 정해진 간격으로 검색을 시작하지만, FLARE는 텍스트 내에서 발견되는 불확실한 토큰에 대응하여 검색을 활성화함으로써 검색을 위한 동적 트리거를 식별하는 실시간 정보 요구 감지(RIND)와 LLM의 주의 메커니즘 분석을 통해 쿼리를 공식화하는 자기 주의 기반 쿼리 공식화(QFS) 기능을 강화하는 새로운 솔루션을 제시합니다. RIND는 토큰의 불확실성, 의미론적 중요도, 컨텍스트에 미치는 영향을 평가하여 추가 정보가 필요한 시점을 감지합니다. 그런 다음 QFS는 현재 컨텍스트와의 관련성에 따라 토큰의 우선순위를 정합니다. 검색 후 프레임워크는 식별된 토큰으로 시작하도록 응답을 잘라내고, 미리 정의된 프롬프트 템플릿을 사용하여 검색된 데이터를 병합하고, 요약을 생성합니다.이러한 반복 절차를 통해 LLM은 관련 외부 정보를 효과적으로 흡수하여 전반적인 품질과 정확도를 향상시킵니다.

DRAGIN은 여러 데이터 세트에서 여러 기준 기술과 비교했을 때 놀라운 성능을 보여 대규모 언어 모델(LLM)을 개선하는 탁월한 능력을 보여주었습니다. 운영 효율성을 철저히 조사한 결과, 특정 제어 대안에 비해 검색 작업이 더 적게 필요한 것으로 나타나 비용 효율적이라는 점이 강조되었습니다. 또한 심층적인 타이밍 분석 결과, DRAGIN은 현재 요구 사항을 고려하여 최적의 검색 인스턴스를 효과적으로 결정함으로써 LLM의 관련 쿼리에 적합한 순간을 고안하는 데 탁월한 역량을 발휘하는 것으로 나타났습니다. DRAGIN이 요청을 구성하는 데 사용한 프레임워크가 다른 최신 프레임워크를 능가하여

에서 원하는 정보를 캡슐화하는 토큰을 정확히 찾아내는 능력을 보여주었다는 점은 주목할 만합니다. 요약하면, DRAGIN은 지식 집약적 작업을 위해 대규모 언어 모델(LLM) 내에서 사용되는 동적 RAG 방법과 관련된 단점을 해결하는 혁신적인 솔루션입니다. RIND를 통해 검색 활성화 타이밍을 개선하고 QFS를 통해 쿼리 공식화 정확도를 개선함으로써 DRAGIN은 기존 접근 방식에 비해 뛰어난 성능을 발휘합니다. 트랜스포머 기반 LLM에 내재된 자기 주의 메커니즘에 의존하고 있지만, DRAGIN은 그 효능을 입증했습니다. 앞으로의 연구 노력은 자기 주의 메커니즘의 접근성과 관련된 문제를 극복하는 데 초점을 맞출 것입니다. DRAGIN은 검색 증강을 위해 LLM 출력을 잘라내고 맞춤형 프롬프트 템플릿을 사용해 검색된 데이터를 통합함으로써 외부 소스를 활용합니다.

백서를 확인하세요. 이 연구에 대한 모든 저작권은 이 프로젝트의 연구진에게 있습니다. 또한 트위터를 팔로우하는 것도 잊지 마세요. 텔레그램 채널, 디스코드 채널, 링크드인 그룹에 가입하세요.

저희의 노력에 감사하는 분들께는 뉴스레터 구독을 통해 저희의 최신 노력과 업데이트에 대한 정보를 얻을 수 있는 좋은 기회이니 많은 구독을 부탁드립니다.

현재 39,000명 이상의 회원을 자랑하는 Reddit의 방대한 머신러닝 커뮤니티의 일원이 될 수 있는 기회를 놓치지 마세요.

Google, NVIDIA, Meta, 스탠포드 대학교, 매사추세츠 공과대학, Microsoft 등 최고의 기관에서 존경받는 전문가들이 열심히 읽고 있는 빠르게 확장 중인 AI 연구 뉴스레터를 구독하세요.