Contents

LLM이 엄격하게 검증할 수 있는 수학적 증명을 생성할 수 있을까요? 린도조를 만나보세요: 린 증명 도우미에서 대규모 언어 모델을 위한 도구 키트, 벤치마크, 모델을 통해 형식 정리를 증명할 수 있는 오픈 소스 AI 놀이터입니다.

Contents

인공 지능과 기계 학습은 급속한 발전으로 인해 현재 인기 있는 연구 분야입니다. 인공지능의 첨단 기술 개발은 인간과 기계의 상호작용 방식에 변화를 가져왔습니다. 인간 지능의 추론 능력은 인공지능의 근본적인 측면입니다. 연역적 추론 과정을 자동화하기 위한 수많은 방법, 즉 자동화된 정리 증명(ATP)이 연구되어 왔습니다. 그러나 이 접근 방식은 방대한 검색 공간으로 인해 어려움이 있습니다. 그 결과, 인간 전문가가 증명 도우미라고 하는 전문 소프트웨어 도구와 협력하여 논리적 논증을 구축하는 대화형 정리 증명(ITP)이라는 대안적 패러다임이 등장했습니다.

대규모 언어 모델(LLM)의 활용은 코드 생성에 있어 탁월한 숙련도를 보였지만, 정확성과 상상력에서 결함이 있어 정리를 효과적으로 증명하는 데 방해가 되는 경향이 있습니다. 캘리포니아 공과대학교(Caltech), NVIDIA, 매사추세츠 공과대학교(MIT), 캘리포니아대학교 산타바바라 캠퍼스(UCSB), 텍사스대학교 오스틴 캠퍼스(UT 오스틴)의 다분야 전문가 그룹은 정리 증명에서 LLM의 기능을 활용하여 이러한 제약을 피하도록 설계된 오픈 소스 툴킷인 LeanDojo를 고안해냈습니다. 린도조는 수학자들이 널리 사용하는 린 증명 도우미를 기반으로 하며, 린과

작업을 위한 다양한 도구와 리소스를 제공합니다. 데이터 추출 과정에는 원래 린 코드에서 쉽게 알 수 없는 증명 트리와 중간 증명 상태로부터 학습 데이터를 수집하는 작업이 포함됩니다. LeanDojo는 모델과 Lean 간의 커뮤니케이션을 용이하게 하도록 설계되어 모델이 증명 상태를 보고, 증명 작업이나 전술을 실행하고, Lean으로부터 피드백을 받을 수 있도록 합니다. 오픈 소스 린 플레이그라운드는 툴킷, 데이터, 모델, 벤치마크 등 다양한 구성 요소로 이루어져 있으며, 이를 통해 프로그래밍된 방식으로 증명 환경과 상호 작용하고 린에서 데이터를 추출할 수 있습니다.

린도조는 증명 개발 중 적절한 전제를 선택하는 데 필수적인 요소인 증명 내 가정에 매우 구체적인 레이블을 제공합니다. 린도조의 데이터 추출 기능을 활용하여 종합적인 수학 데이터베이스에서 전제를 소싱하기 위한 검색 기능을 통합한 머신러닝 기반의 초기 증명 도우미인 리프로버가 탄생했습니다. 상당한 컴퓨팅 리소스를 필요로 하는 독점적인 데이터 세트에 의존하는 이전의 방법과 달리, ReProver는 보다 접근하기 쉽고 경제적으로 고안되었습니다. 훨씬 적은 처리 능력을 요구하며 매주 하나의 그래픽 처리 장치(GPU)만으로도 훈련할 수 있습니다.

리프로버의 검색 메커니즘에 린도조의 분석 기능을 활용함으로써 사용 가능한 근거를 식별하고 잠재적 문제의 구체적인 사례를 생성할 수 있었습니다. 결과적으로 공연자의 실력이 향상되고 복구 프로세스가 더욱 효율적이 되었습니다. 평가와 추가 조사를 용이하게 하기 위해 그룹은 린의 수학 저장소에서 추출한 96,962개의 정리와 이를 뒷받침하는 논증으로 구성된 새로운 벤치마크 데이터 세트를 만들었습니다. 이 벤치마크 데이터 세트는 검증자가 학습 중에 사용되지 않은 새로운 전제를 기반으로 명제를 일반화해야 하는 까다로운 데이터 파티션을 제시합니다. 실험 결과, 이 벤치마크 데이터 세트를 훈련에 사용할 때 ReProver는 비검색 기준선 및 GPT-4와 비교했을 때

요약하면, 정리 증명에 LLM을 적용하기 위한 이 오픈 소스 솔루션은 미래에 실행 가능한 옵션으로 보입니다. 공개적으로 사용 가능한 도구 세트, 데이터 세트, 모델 및 벤치마크 테스트를 제공함으로써 이전에는 이 분야의 제한 요소였던 독점 소프트웨어, 기밀 데이터 및 높은 계산 리소스로 인한 장애물을 극복할 수 있습니다.

논문, 깃허브 링크 , 프로젝트 페이지 를 확인하세요. 최신 AI 연구 소식, 멋진 AI 프로젝트 등을 공유하는 25k+ ML 서브 레딧, Discord 채널, 이메일 뉴스레터에 가입하는 것도 잊지 마세요. 위의 글과 관련하여 궁금한 점이 있거나 저희가 놓친 부분이 있다면 언제든지 Asif@All Things AI

추천 도구로 이메일을 보내주세요:

AI 도구 클럽에서 100개가 넘는 광범위한 인공지능 도구 컬렉션을 확인하세요.

StoryBird.ai에 최근 놀라운 기능이 추가되어 사용자가 주어진 프롬프트를 입력하면 그림으로 된 내러티브를 만들 수 있습니다. 이 혁신에 관심이 있으시다면 제공된 링크(후원을 받고 있음)를 클릭해 주세요.