딥마인드 프레임워크는 LLM의 추론에 혁신을 제공합니다.
대규모 언어 모델(LLM)의 추론 능력을 향상시키는 획기적인 접근 방식이 구글 딥마인드 및 서던 캘리포니아 대학교 의 연구자들에 의해 공개되었습니다.
이번 주에 arXiV 및 Hugging Face 에 발표된 이들의 새로운 ‘SELF-DISCOVER’ 프롬프트 프레임워크는 기존 기술을 뛰어넘는 중요한 도약으로, OpenAI의 GPT-4 및 Google의 PaLM 2 과 같은 주요 모델의 성능을 잠재적으로 혁신할 수 있는 잠재력을 보여줍니다.
제안된 방법은 복잡한 추론 작업을 처리하는 데 있어 상당한 진전을 보여줍니다. 연쇄 사고망(CoT)과 같은 기존 기법과 비교할 때 최대 32%라는 놀라운 성능 향상으로 주목할 만한 진전을 보여줍니다. 이 혁신적인 전략은 복잡한 상황을 효과적으로 처리하기 위해 작업별 추론 프레임워크를 식별하고 활용하는 언어 모델 자율 추론자(LLMAR)에 중점을 두고 있습니다.
이 프레임워크는 일관된 추론을 공식화하기 위해 비판적 사고와 점진적 검토를 포함한 다양한 원자적 추론 구성 요소를 식별하고 사용할 수 있게 해줍니다.
제안된 방법은 인간의 문제 해결 기법을 모방하는 2단계 접근 방식을 사용합니다. 첫 번째 단계에서는 반복적인 추상화 및 구체화 과정을 통해 관련 구성 요소와 그 관계를 식별합니다. 두 번째 단계에서는 이 정보를 기반으로 그래픽 모델을 구축하여 구성 요소 간의 종속성을 파악하고 최적화를 위한 후보 솔루션을 생성합니다.
1단계에서는 고유한 추론 구성 요소와 관련 예제 작업을 활용하여 할당된 작업의 요구 사항에 부합하는 통합 추론 프레임워크가 구축됩니다. 이후 디코딩 과정에서 언어 모델은 최적의 결과를 생성하기 위해 이 자체 결정 구조를 준수합니다.
자기 발견 방법의 성능은 빅벤치 하드, 사고력, 수학을 포함한 다양한 추론 테스트에서 우수한 것으로 관찰되었습니다. GPT-4를 사용한 결과, 이 방법은 이러한 과제에서 각각 81%, 85%, 73%의 정확도를 달성하여 연쇄적 사고와 계획 및 해결 접근법과 같은 기존 전략보다 더 높은 결과를 얻었습니다.
이 연구의 결과는 단순한 성능 향상을 넘어 그 파급력이 더 넓은 범위에 걸쳐 있습니다.
제안된 프레임워크는 향상된 추론 능력의 개발을 통해 LLM의 잠재력을 크게 발전시켜 점점 더 복잡한 문제를 해결하고 인공 일반 지능의 상태로 나아갈 수 있게 해줍니다. 또한, 연구진은 인간의 사고 과정과의 호환성을 반영하여 전이 학습 실험에서 이러한 추론 구조의 광범위한 관련성을 입증했습니다.
셀프 디스커버 프롬프트 모델과 같은 혁신적인 접근 방식의 등장은 언어 모델의 지속적인 진화를 강조하는 동시에 AI의 확장 가능성에 대한 통찰력 있는 관점을 제공하는 역할을 합니다.
또한 영국이 인공 지능 채용 노력 측면에서 미국을 능가하는 것으로 보인다는 점에 주목할 가치가 있습니다.