글래스고 대학교 연구진, 저지연 정보 검색을 위한 AI 기반 솔루션으로 얕은 교차 인코더 제안

급속한 기술 발전이 특징인 현대 사회에서는 필요와 욕구를 즉각적으로 충족시키고자 하는 욕구가 끊임없이 존재합니다. 오늘날 사람들은 지식, 상품 또는 서비스를 찾을 때 자신의 문의가 신속하고 정확하게 해결되기를 기대합니다. 하지만 오늘날의 검색 엔진은 이러한 요구에 신속하고 정확하게 부응하기란 쉽지 않은 일입니다.

기존의 정보 검색 시스템은 정확도가 높아지면 계산 비용과 지연 시간이 증가하는 내재적 딜레마에 직면해 있습니다. 이러한 지연은 사용자 경험, 수익성, 전력 소비에 해로울 수 있습니다. 연구자들은 통합된 프레임워크 내에서 효율성과 자원 효율성을 모두 갖춘 최적의 성능을 달성하기 위한 방법을 지속적으로 모색하고 있습니다.

글래스고 대학교 소속 학자 그룹이 수행한 선구적인 연구에서, 이들의 혁신적인 방법론은 뛰어난 정밀도를 유지하면서 신속한 정보 검색을 제공하는 소형 고효율 트랜스포머 모델을 사용하는 것으로 밝혀졌습니다. 검색 경험의 본질을 재정의할 최첨단 인공 지능 기술인 얕은 교차 인코더를 소개합니다.

쉘로우 크로스 인코더 아키텍처는 레이어 수가 적고 연산 요구량이 낮은 트랜스포머 모델에서 영감을 얻었습니다. 상당한 처리 능력이 필요할 수 있는 BERT나 T5와 같은 리소스 집약적인 모델과 달리, 얕은 크로스 인코더는 여러 문서 소스의 관련성을 동시에 평가할 수 있어 빠른 응답 시간이 필수적인 상황에서 효율성을 최적화할 수 있다는 장점이 있습니다.

소규모 신경망 아키텍처의 훈련과 관련된 문제를 극복하는 것은 혁신적인 솔루션이 필요한 복잡한 작업입니다. 기존의 방법으로는 과신과 불안정한 성능과 같은 문제가 발생할 수 있어 최적의 결과를 얻기가 어렵습니다. 이러한 문제에 대응하기 위해 연구진은 일반화된 이진 교차 엔트로피(gBCE)라는 새로운 접근법을 개발했습니다. 이 방법은 과신 문제를 해결하는 동시에 훈련 과정 전반에서 안정성과 정확성을 높입니다.

2단계 분류 문제에는 실제 목표는 알려진 값으로 고정하면서 원시 변수와 해당 기울기 모두에 대한 대리 손실을 최적화하는 것이 포함됩니다. 이는 제약 조건의 비차별성뿐만 아니라 여러 계층의 신경망을 통해 기울기를 효율적으로 계산해야 하기 때문에 최적화 알고리즘에 어려움을 줍니다.이 연구에서는 인접한 반복의 정보를 활용하고 노이즈가 많은 기울기의 영향을 효과적으로 완화함으로써 이러한 문제를 해결하기 위해 확률적 기울기 하강에 기반한 새로운 방법을 제안합니다. 실험 결과, 수렴 속도와 정확도 측면에서 기존 방법보다 크게 개선된 것으로 나타나 이 접근 방식이 담즙 레벨 분류 문제를 해결할 수 있는 유력한 후보로 떠오르고 있습니다.

저희 팀은 엄격한 일련의 종합적인 실험을 통해 2개 레이어로 구성된 TinyBERT, 4개 레이어로 구성된 MiniBERT, 4개 레이어로 구성된 SmallBERT를 포함한 다양한 얕은 크로스 인코더 아키텍처를 검토했습니다. 이러한 구성은 평가를 위해 MonoBERT-Large 및 MonoT5-Base와 같은 보다 광범위한 벤치마크와 비교되었습니다. 그 결과는 정말 놀라웠습니다.

다른 모델에 비해 크기가 작다는 점에서 TREC DL 2019 데이터세트에서 TinyBERT-gBCE 모델의 인상적인 성능은 주목할 만합니다. 특히 이 작은 모델은 25밀리초라는 엄격한 지연 시간 제한 내에서 작동하면서 0.652의 NDCG@10 점수를 달성했습니다. 이에 비해 훨씬 더 큰 MonoBERT-Large 모델은 동일한 제약 조건에서 0.431의 NDCG@10 점수에 불과했습니다. 따라서 TinyBERT-gBCE 모델이 51%라는 상당한 차이로 상대 모델을 능가했음을 알 수 있습니다.

얕은 크로스 인코더는 단순한 속도와 정밀도를 뛰어넘는 수많은 장점을 가지고 있습니다. 전력 소비 및 예산 고려 사항과 관련하여 주목할 만한 이점을 제공합니다. 최소한의 스토리지 요구 사항으로 강력한 서버 시설부터 리소스가 부족한 엣지 장치에 이르기까지 다양한 장비에서 작동할 수 있으므로 맞춤형 하드웨어 지원이 필요하지 않습니다.

고급 데스크톱 컴퓨터든 초라한 핸드헬드 디바이스든 상관없이 놀라운 속도와 흔들림 없는 정밀도로 검색이 실행되는 현실을 상상해 보세요. 전 세계 수많은 사람들의 검색 환경을 재편할 수 있는 혁신적인 기술인 숄로우 크로스 인코더의 잠재력은 바로 여기에 있습니다.

이 혁신적인 기술의 발전 궤적이 진행됨에 따라 속도와 정밀도 중 하나를 위해 다른 하나를 희생하는 구시대적인 패러다임은 낡은 개념이 될 것입니다. 이러한 혁신의 선봉에는 끊김 없고 정확한 정보 검색을 공상적인 개념이 아닌 실현 가능한 열망으로 만든 얕은 크로스 인코더가 있습니다.

백서를 확인하세요. 이 연구에 대한 모든 저작권은 이 프로젝트의 연구진에게 있습니다. 또한 트위터를 팔로우하는 것도 잊지 마세요.텔레그램 채널, 디스코드 채널, 링크드인 그룹에 가입하세요.

최신 노력과 업데이트에 대한 정보를 얻을 수 있는 훌륭한 플랫폼인 뉴스레터를 구독해 주시기 바랍니다.

39,000명 이상의 인상적인 회원 수를 자랑하는 Reddit의 번창하는 머신러닝 커뮤니티의 일원이 될 수 있는 기회를 놓치지 마세요.

구글, 엔비디아, 메타, 스탠포드 대학교, 매사추세츠 공과대학(MIT), 마이크로소프트 등 저명한 기관의 업계 전문가들이 구독자로 빠르게 확대되고 있는 인공 지능 연구 뉴스레터에 가입하세요.