Google AI, 패치스코프를 소개합니다: 숨겨진 표현에 대한 자연어 설명을 제공하도록 LLM을 학습시키는 머신 러닝 접근 방식, 패치스코프 출시

Google의 인공 지능은 자동 회귀 트랜스포머 아키텍처를 활용하는 대규모 언어 모델(LLM)의 기본 메커니즘을 이해하고 분석하는 데 어려움을 해결하기 위해 패치스코프라는 새로운 도구를 도입했습니다. 이러한 모델이 상당한 진전을 이루었음에도 불구하고 명확성과 신뢰성 측면에서는 여전히 단점이 남아 있습니다. 이러한 결정의 근거는 여전히 불분명하며, 그 기능에 대한 통찰력을 높이기 위한 도구와 방법론의 필요성이 강조되고 있습니다.

대규모 언어 모델(LLM)을 해명하기 위한 현재의 접근 방식은 종종 이러한 모델의 숨겨진 묘사에 대해 보다 간단하고 관련성 있는 설명을 제공해야 할 수 있는 복잡한 전략을 필요로 합니다. 패치스코프라고 하는 제안된 접근 방식은 LLM 자체를 사용하여 암시적 표현에 대한 자연어 설명을 생성함으로써 이러한 단점을 해결하기 위한 것입니다. 이전의 전술과 달리 패치스코프는 기존의 해석 가능성 기술을 광범위하게 통합하고 증폭하여 LLM이 데이터를 처리하고 예측 결과를 도출하는 방식에 대한 통찰력을 제공합니다. 패치스코프는 이해하기 쉬운 설명을 제공함으로써 LLM 행위에 대한 개방성과 통제력을 강화하여 신뢰성에 대한 이해를 돕고 우려를 해소합니다.

패치스코프는 대상 입력에 숨겨진 LLM 표현을 도입하고, 이후 이러한 증강된 입력을 처리하여 모델이 내부적으로 데이터를 해석하는 방식에 대한 이해하기 쉬운 설명을 생성합니다. 예를 들어, 패치스코프는 공동 참조 해상도와 관련하여 특정 상황에서 LLM이 ‘it’과 같은 대명사를 파악하는 방식을 공개합니다. 패치스코프는 모델 아키텍처의 여러 수준에 위치한 모호한 표현을 조사함으로써 시스템이 수행하는 점진적인 개발 및 추론 과정을 조명합니다. 실험 결과는 후속 토큰 예측, 사실 선택, 실체 규명, 실수 정정 등 다양한 과제에 걸쳐 패치스코프의 효율성을 확인시켜 줍니다. 이러한 결과는 패치스코프의 적응성과 전문성을 증명합니다.

요약하면, 패치스코프는 대규모 언어 모델(LLM)의 복잡성을 이해하는 데 있어 괄목할 만한 진전을 보여줬습니다. 패치스코프는 이러한 모델의 언어적 기능을 활용하여 암시적 표현에 대한 명확한 통찰력을 제공함으로써 LLM 수행에 대한 명확성과 통제력을 강화합니다. 다양한 해석 가능성 문제에 걸쳐 패치스코프가 보여주는 적응성과 잠재력은 LLM의 신뢰성 및 투명성과 관련된 문제를 완화하는 능력과 결합되어 LLM과 공동 작업을 하는 학자와 전문가 모두에게 매력적인 리소스가 될 수 있습니다.

논문 및 블로그 를 확인하세요. 이 연구에 대한 모든 저작권은 이 프로젝트의 연구진에게 있습니다. 또한 트위터를 팔로우하는 것도 잊지 마세요. 텔레그램 채널, 디스코드 채널, 링크드인 그룹에 가입하세요.

저희의 노력에 감사하는 분들께는 뉴스레터 구독을 통해 최신 소식을 접하고 관심사에 맞는 독점 콘텐츠를 받아볼 수 있는 좋은 기회이므로 진심으로 초대합니다.

머신러닝 서브 레딧에서 4만 명이 넘는 회원으로 구성된 방대한 커뮤니티의 일원이 될 수 있는 기회를 놓치지 마세요.

인공지능 협업을 통해 150만 명에 달하는 방대한 잠재 고객에게 다가갈 기회를 고려하고 있나요? 기꺼이 이러한 파트너십을 진행하겠습니다.

Google, NVIDIA, Meta, 스탠포드 대학교, 매사추세츠 공과대학(MIT), Microsoft 등 저명한 기관의 전문가들이 구독하는 빠르게 확장되고 있는 AI 연구 뉴스레터를 구독하세요.