자연에 대한 새로운 언어 모델의 혁신: 오랜 수학 난제를 해결한 FunSearch

대규모 언어 모델(LLM)은 정량적 추론과 인간 언어의 이해 등 다양한 영역에서 인상적인 능력을 입증해 왔습니다. 그럼에도 불구하고 이러한 모델은 개방형 문제를 해결하는 데 어려움을 겪는 경우가 많아 정보를 조작하거나 현재 벤치마크와 동등한 수준의 결과를 얻지 못하는 경우가 많습니다.

구글 딥마인드와 위스콘신-매디슨 대학교, 리옹 대학교는 최근 발표한 ‘대규모 언어 모델을 사용한 프로그램 검색의 수학적 발견’이라는 논문에서 FunSearch라는 혁신적인 방법을 소개했습니다. 이 접근 방식은 오랜 문제를 해결할 뿐만 아니라 새로운 알고리즘 기법을 발견함으로써 진화 과정을 안내하는 데 있어 대규모 언어 모델(LLM)의 사용을 혁신적으로 개선합니다.

FunSearch는 이전에 학습된 대규모 언어 모델을 평가자와 원활하게 통합하여 혁신과 확인 간의 공생 관계를 구축합니다. 이러한 주기적인 절차를 통해 초기에는 최적이 아닌 프로그램을 점진적으로 개선하여 결과적으로 새로운 인사이트를 발견할 수 있습니다.

FunSearch는 평가 함수, 최소한의 초기 프로그램 구현, 그리고 선택적으로 골격을 입력으로 받습니다. 데이터베이스의 요소를 사용해 쿼리를 구성하고, 점수가 높은 요소를 우선순위로 지정합니다. 이 쿼리는 새 프로그램 생성을 위해 기존 언어 모델에 제출됩니다. 올바른 평가를 받은 쿼리는 데이터베이스에 저장되어 모델의 전반적인 효율성을 높이는 자체 개선 메커니즘을 생성합니다. 절차의 어느 단계에서든 사용자는 지금까지 생성된 최고 성능의 프로그램에 액세스할 수 있습니다.

펀서치의 효과에 기여하는 핵심 요소는 여러 가지 필수 구성 요소로 이루어져 있습니다. 우선, 그룹은 최고 성과를 거둔 소프트웨어 애플리케이션을 프롬프트에 통합하여 LLM이 과거의 성과를 활용할 수 있도록 합니다. 또한 프로그램 템플릿을 활용하여 표준화된 코드와 기존 아키텍처 세부 사항을 유지하면서 중추적인 프로그램 추론을 제어하는 부분만 점진적으로 개선하는 방식으로 절차를 시작합니다.

펀서치는 오랜 기간 동안 다양한 분야의 수학자들을 혼란스럽게 했던 악명 높은 캡 세트 문제를 효과적으로 해결했습니다. 이 문제는 한때 테렌스 타오와 같은 저명한 수학자들 사이에서 개인적으로 가장 좋아하는 문제로 여겨지기도 했습니다.또한, 우리의 접근 방식은 성능 면에서 기존 계산 솔루션을 능가하며, 확장 가능한 특성과 현재의 한계를 뛰어넘을 수 있는 잠재력을 강조합니다.

요약하자면, 펀서치는 LLM 기반 최적화에 대한 기존의 한계를 뛰어넘는 혁신적인 접근 방식인 동시에 수학적 연구 영역에서 상당한 진전을 이룬 것입니다. 이전에 해결되지 않았던 문제를 해결하고 현재 계산 능력의 성능을 뛰어넘는 것은 과학적 진보에 대한 큰 가능성을 반영합니다.

논문 대규모 언어 모델을 사용한 프로그램 검색을 통한 수학적 발견 Nature .