트루파운드리, 모듈형 및 생산 준비 애플리케이션 구축을 위한 오픈 소스 RAG 프레임워크 '코그니타' 출시

Alicia Brunner included in Ai Shorts Applications Artificial Intelligence Editors Pick New Releases Open Source Projects Rag Staff Technology

2024-04-18 454 words 3 minutes

Contents

인공 지능 분야는 빠르게 발전하고 있으며, 프로토타입을 생산 단계로 전환하는 것은 상당히 어려울 수 있습니다. 하지만 트루파운드리는 최근 새로운 오픈 소스 프레임워크인 코그니타 을 도입하여 RAG(Retriever-Augmented Generation) 기술을 활용하여 AI 애플리케이션 배포를 위한 강력하고 확장 가능한 솔루션을 제공함으로써 전환 과정을 간소화했습니다.

생산으로의 원활한 전환

인공지능의 영역에서는 초기 아이디어를 개념화하는 플랫폼으로서는 훌륭하지만 실제 생산 시나리오에 통합하는 데 있어서는 효율성이 부족한 주피터 노트북과 같은 실험적인 환경에서 시작되는 경우가 많습니다. 그럼에도 불구하고 코그니타는 랭체인과 라마인덱스가 구축한 기반을 바탕으로 이 문제를 극복하고자 합니다. 코그니타는 AI 애플리케이션 개발을 위해 체계적이고 복합적인 방법론을 채택함으로써 정보 관리에서 모델 배포에 이르기까지 RAG의 각 측면이 모듈식 API 중심의 적응 가능한 청사진을 따르도록 보장하여 프로세스를 간소화합니다.

핵심 구성 요소 및 사용자 지정

Cognita 복잡한 AI 시스템을 프로덕션에 배포하는 작업을 간소화합니다. 이 프레임워크는 다양한 핵심 기능을 처리합니다:

청킹 및 임베딩 작업을 통한 데이터 변환 및 저장 자동화로 예약 업데이트 및 이벤트 중심 처리가 가능합니다. 쿼리 서비스는 FastAPI와 같은 프레임워크를 활용하여 여러 개의 동시 쿼리 처리 요청을 처리할 수 있는 확장 가능한 시스템을 구축합니다. 노트북 기반 모델 처리를 강력한 서비스 지향적 접근 방식으로 전환함으로써 애플리케이션 프로그래밍 인터페이스(API)를 통해 모델에 쉽게 액세스할 수 있습니다. 또한 벡터 데이터베이스의 확장성과 신뢰성을 향상하려면 로컬 또는 디스크 기반 시스템에서 클라우드 호환 구현으로 전환해야 합니다.

사용자 인터페이스 및 접근성

코그니타의 주목할 만한 특징 중 하나는 사용자 인터페이스에 있으며, 기술 전문가와 비전문가 모두 다양한 RAG 설정을 즉시 테스트할 수 있습니다. 이 기능은 문서 업로드를 지원하고 대화형 Q&A 세션을 용이하게 하여 개발자와 최종 사용자 모두에게 실용적인 도구로 입증되었습니다.

확장성 및 통합

코그니타는 MixedBread AI에서 제공하는 오픈 소스 임베딩 및 리랭크 도구와 Ollama 같은 진보적인 언어 모델을 지원하여 지속적인 개발을 가능하게 하는 적응형 프레임워크를 대표합니다.또한 일괄 문서 처리를 통해 전산 부담을 최소화하면서 증분 색인을 용이하게 하고, 색인된 자료의 추적성을 유지하여 중복을 방지하며, 기존 인프라와 손쉽게 조화를 이룹니다.

주요 내용:

Cognita는 강력한 프로덕션 환경 내에서 RAG(순위 적응형 욕심) 시스템을 효율적으로 구현하고 실행할 수 있도록 설계된 혁신적인 오픈 소스 플랫폼입니다. 다목적 API 중심 설계로 확장성과 유연성을 보장하며, 사용자 인터페이스는 기술 및 비기술 사용자 모두의 사용 편의성을 향상시킵니다. 또한 이 최첨단 솔루션은 유사성 검색, 쿼리 분해, 문서 재순위 지정, 연속 색인 등 포괄적인 고급 기능을 지원합니다. 전례 없는 접근성과 확장성을 제공하는 트루파운드리의 코그니타는 대규모 AI 기술 배포를 대중화하는 데 있어 중요한 이정표가 될 것입니다.

저희의 노력에 감사하는 분들께는 흥미롭고 가치 있다고 생각되는 최신 노력과 업데이트에 대한 정보를 제공하는 훌륭한 플랫폼인 뉴스레터 구독을 진심으로 권해드립니다.

4만 명이 넘는 회원을 자랑하는 Reddit의 광범위한 머신러닝 커뮤니티의 일원이 될 수 있는 기회를 놓치지 마세요.

콘텐츠 파트너십을 원하시면 이 양식을 작성해 주세요….

구글, 엔비디아, 메타, 스탠포드 대학교, 매사추세츠 공과대학(MIT), 마이크로소프트 등 저명한 기관의 주요 전문가들 사이에서 빠르게 인기를 얻고 있는 인공 지능 연구 뉴스레터를 구독하세요.