UniLLMRec: 추천 연쇄를 통해 다단계 추천 작업을 실행하는 엔드투엔드 LLM 중심 추천 프레임워크

추천 시스템은 과거 정보를 활용하여 사용자 선호도를 예측하는 것을 목표로 합니다. 일반적으로 각 구성 요소에 상당한 양의 학습 데이터가 필요한 순차적 파이프라인으로 구축되기 때문에 새로운 도메인으로 확장하기가 매우 어렵습니다. 다행히도 최근 대규모 언어 모델(LLM)의 발전, 특히 ChatGPT와 Claude는 뛰어난 다목적 능력을 발휘하여 단일 모델로 다양한 컨텍스트에서 다양한 추천 작업을 처리할 수 있게 되었습니다. 그럼에도 불구하고 입력 길이의 제약으로 인해 방대한 항목 카탈로그를 자연어 형식으로 LLM에 제시하는 데는 한 가지 중요한 장애물이 남아 있습니다.

이전 연구에서는 자연어 생성의 관점에서 권장 사항을 탐색했습니다. 여기에는 LoRA 및 P-튜닝과 같은 예시와 함께 매개변수 효율적 미세 조정(PEFT)과 같은 기술을 사용하여 다양한 추천 시나리오에 맞게 사전 학습된 LLM을 개선하는 작업이 수반됩니다. 그러나 이러한 방법에는 몇 가지 한계가 있어 그 효과를 저해합니다. 첫째, 이러한 방법들은 자원이 풍부하다고 홍보되지만 실제로는 상당한 양의 학습 데이터가 필요하며, 이는 비용이 많이 들고 획득하는 데 상당한 시간이 걸립니다. 둘째, 이러한 모델은 강력한 언어 능력을 갖추고 있음에도 불구하고 이를 충분히 활용하지 못하는 경우가 많습니다. 마지막으로, 현재의 전략은 방대한 품목 카탈로그를 자연어 형식으로 표현하는 데 적절하지 않습니다.

UniLLMRec은 홍콩 시립대학교와 화웨이 노아의 방주 연구소의 연구원들이 제안한 새로운 프레임워크로, 단일 대규모 언어 모델(LLM)을 사용하여 통합된 엔드투엔드 추천 시스템 내에서 항목 리콜, 순위 지정 및 순위 재지정을 달성할 수 있습니다. 이 접근 방식의 가장 큰 장점은 LLM에 내장된 제로 샷 학습 기능을 활용하므로 명시적인 훈련이나 튜닝 프로세스가 필요하지 않다는 점입니다. 따라서 UniLLMRec은 기존 접근 방식보다 효율적이고 리소스를 절약할 수 있는 대안으로 다양한 추천 시나리오에서 개선되고 확장 가능한 구현을 가능하게 합니다.

방대한 항목 카탈로그 관리의 어려움을 해결하기 위해 연구원들은 새로운 트리 기반 리콜 방법을 고안했습니다. 카테고리, 하위 카테고리, 키워드와 같은 의미적 특성에 따라 항목을 구조화함으로써 계층적 조직이 생성되어 방대한 인벤토리를 간편하게 탐색할 수 있습니다. 트리 디자인은 컬렉션 내의 모든 항목을 검토할 필요 없이 특정 잎사귀에만 집중하여 효과적으로 검색할 수 있도록 해줍니다. 따라서 이 기술은 데이터베이스의 모든 항목을 스캔해야 하는 기존의 접근 방식에 비해 상당한 개선 효과를 제공합니다.현재의 LLM 기반 시스템은 주로 추천 수준에서의 랭킹에 집중하는 반면, UniLLMRec은 리콜, 랭킹, 재랭킹 등 여러 단계를 하나로 결합한 포괄적인 솔루션으로 주목받고 있습니다

UniLLMRec의 결과는 다음과 같이 요약할 수 있습니다:

비지도 학습 기반 추천 모델인 UniLLMRec은 명시적인 학습 데이터 없이도 놀라운 결과를 보여주었습니다. 특히, GPT-3.5 및 GPT-4 아키텍처를 적용한 UniLLMRec은 기존에 추천 작업에 사용되던 지도 방식과 비슷하거나 더 나은 성능을 달성했습니다. 특히, UniLLMRec(GPT-4)은 정확도 측면에서 이전 버전(GPT-3.5)을 능가하며, 복잡한 프로젝트 구조를 처리하고 포괄적인 추천을 제공할 수 있는 향상된 의미 이해 및 언어 처리 능력을 보여줍니다. 반면, UniLLMRec(GPT-3.5)은 까다로운 아마존 데이터 세트에 적용했을 때 불균형한 항목 트리와 항목 제목의 정보 부족으로 인해

본 연구에서는 검색, 랭킹, 재랭크 등 여러 단계의 추천 작업을 순차적으로 처리할 수 있는 엔드투엔드 LLM 중심 추천 시스템인 UniLLMRec을 소개합니다. 방대한 항목 컬렉션을 효율적으로 관리하기 위해 항목 트리라는 계층적 트리 형식으로 구성하는 새로운 접근 방식을 고안했습니다. 이 구조는 사용자 선호도에 따라 검색의 효율성을 유지하면서 새로운 항목을 통합하기 위해 동적으로 수정할 수 있습니다. 항목 트리 계층 구조를 활용하여 UniLLMRec은 타겟 검색 작업을 수행함으로써 잠재적인 선택 목록을 크게 좁힙니다. 실험 결과, 제안한 방법이 성능 면에서 기존 추천 시스템보다 뛰어난 것으로 나타났습니다.

논문 을 확인하세요. 이 연구에 대한 모든 크레딧은 이 프로젝트의 연구진에게 있습니다. 또한 트위터를 팔로우하는 것도 잊지 마세요. 텔레그램 채널, 디스코드 채널, 링크드인 그룹에 가입하세요.

저희의 노력에 감사하는 분들께는 여러분의 관심을 불러일으킬 만한 최신 노력과 업데이트에 대한 정보를 얻을 수 있는 훌륭한 플랫폼인 뉴스레터 구독을 진심으로 권해드립니다.

현재 39,000명 이상의 회원을 보유한 Reddit의 광범위한 머신러닝 커뮤니티의 일원이 될 수 있는 기회를 놓치지 마세요.

구글, 엔비디아, 메타, 스탠포드 대학교, 매사추세츠 공과대학(MIT), 마이크로소프트 등 인공지능 분야의 권위 있는 기관의 주요 연구자들이 구독하는 빠르게 성장하는 뉴스레터를 구독하세요.