인텔과 다른 기업들이 엔터프라이즈를 위한 개방형 제너레이티브 AI 툴을 구축하기 위해 노력합니다.

스프레드시트에서 보고서 작성과 수식 생성을 자동화할 수 있는 AI와 같이 비즈니스 분야에 특화된 생성형 인공 지능이 상호 운용성을 달성할 수 있을까요? 수많은 오픈 소스 이니셔티브를 육성하고 보존하는 데 전념하는 비영리 단체인 Linux Foundation은 Cloudera 및 Intel을 포함한 다양한 단체와 협력하여 이 문제를 해결하고자 합니다.

Linux 재단은 오늘 개방형, 다중 제공자 및 구성 가능한(즉, 모듈식) 생성형 AI 시스템 개발을 촉진하기 위한 프로젝트인 엔터프라이즈 AI용 오픈 플랫폼(OPEA)을 출시했다고 발표했습니다. AI 및 데이터 관련 플랫폼 이니셔티브에 초점을 맞추고 있는 Linux 재단의 LFAI 및 데이터 조직이 총괄하는 OPEA의 목표는 “생태계 전반에서 최고의 오픈 소스 혁신을 활용하는” “강화된” “확장 가능한” 생성 AI 시스템의 출시를 위한 길을 닦는 것이라고 LFAI 및 데이터의 이브라힘 하다드 전무이사는 보도자료를 통해 밝혔습니다.

기술 발전의 최첨단에 있는 OPEA는 기술 스택을 선도하는 포괄적이고 상호 운용 가능한 프레임워크를 구축함으로써 인공지능의 획기적인 발전을 위한 길을 열어갈 것이라고 하다드의 말처럼 밝혔습니다. 이 벤처는 공정하고 공평한 거버넌스 시스템을 유지하면서 AI와 데이터 영역에서 오픈소스 창의성과 협력을 촉진하기 위한 Facebook의 노력을 보여줍니다.

리눅스 재단의 샌드박스 프로젝트의 회원인 OPEA에는 Cloudera와 Intel 외에도 인텔, IBM이 소유한 Red Hat, Hugging Face, Domino Data Lab, MariaDB, VMware와 같은 저명한 기업들도 회원으로 가입되어 있습니다.

하다드는 Microsoft와 OpenMined의 협업으로 몇 가지 혁신적인 개발이 이루어질 수 있다고 말합니다. 예를 들어, 인공지능 도구 체인 및 컴파일러에 최적화된 지원 시스템을 만들어 다양한 하드웨어 플랫폼에서 인공지능 작업이 효율적으로 작동할 수 있도록 할 수 있습니다. 또한 검색 증강 생성(RAG)을 위한 이기종 파이프라인도 이 파트너십의 또 다른 잠재적 초점 분야입니다.

주석이 달린 그래프 생성(RAG)은 기존 학습 데이터의 한계를 넘어 확장할 수 있는 능력 덕분에 엔터프라이즈급 생성형 인공 지능 시스템 애플리케이션에서 상당한 주목을 받고 있습니다. 기존의 생성형 AI 모델은 일반적으로 반응과 행동을 학습된 정보로 제한하지만, RAG는 독점 기업 데이터, 공개 데이터베이스 또는 이들의 조합을 포함할 수 있는 외부 소스를 통합하여 모델의 지식 기반을 확장할 수 있습니다.RAG 모델은 응답을 생성하거나 작업을 수행하기 전에 이러한 추가 리소스를 참조하여 지침을 얻습니다.

RAG 모델을 설명하는 다이어그램.

인텔은 자체 보도 자료에서 몇 가지 자세한 내용을 제공했습니다.)

기업들은 구성 부품 간에 보편적으로 인정되는 표준이 없기 때문에 유연하고 호환 가능하며 쉽게 사용할 수 있는 솔루션을 선택하고 구현하여 시장에 빠르게 진입할 수 있는 능력을 저해하는 RAG 구현에 종종 어려움을 겪고 있습니다. 이 문제를 완화하기 위해 OPEA는 업계 이해관계자들과 긴밀히 협력하여 아키텍처 프레임워크, 청사진, 샘플 구현과 같은 구성 요소에 대한 가이드라인을 수립함으로써 RAG 생태계 전반의 통일성과 호환성을 높이기 위해 최선을 다하고 있습니다.

평가는 OPEA가 다루는 필수적인 측면입니다.

GitHub 리포지토리 에서 OPEA는 성능, 기능, 신뢰성 및 “엔터프라이즈급” 준비성의 네 가지 축에 따라 생성형 AI 시스템을 등급화하는 루브릭을 제안합니다. OPEA가 정의하는 성능은 실제 사용 사례의 “블랙박스” 벤치마크와 관련이 있습니다. 기능은 시스템의 상호 운용성, 배포 선택 및 사용 편의성에 대한 평가입니다. 신뢰성은 ‘견고성’과 품질을 보장하는 AI 모델의 능력을 살펴봅니다. 그리고 엔터프라이즈 준비성은 주요 문제 없이 시스템을 가동하고 실행하기 위한 요구 사항에 중점을 둡니다.

인텔의 오픈 소스 전략 책임자 Rachel Roumeliotis는 OPEA가 오픈 소스 커뮤니티와 협력하여 루브릭에 기반한 테스트를 제공하고 요청 시 제너레이티브 AI 배포의 평가 및 등급을 제공할 것이라고 말합니다.

현재 OPEA의 진행 중인 이니셔티브는 다소 불확실하지만, 하다드는 메타의 성장 중인 라마 시리즈 및 데이터브릭스의 DBRX와 유사한 오픈 소스 모델을 발전시킬 가능성을 시사했습니다. 실제로 인텔은 이미 OPEA 리포지토리 내에서 제온 6 및 가우디 2 아키텍처에 특별히 맞춤화된 생성형 AI 기반 챗봇, 문서 요약기, 코드 생성기를 위한 참조 구현을 제공한 바 있습니다.

이제 OPEA의 회원들은 엔터프라이즈 제너레이티브 AI를 위한 툴을 구축하는 데 매우 적극적으로 투자하고 있으며, 그 자체로도 큰 관심을 갖고 있습니다. 클라우데라는 최근 파트너십 을 시작하여 클라우드에서 ‘AI 에코시스템’을 구축하기 위해 노력하고 있습니다. 도미노는 비즈니스용 제너레이티브 AI 구축 및 감사를 위한 앱 제품군 을 제공합니다. 그리고 엔터프라이즈 AI의 인프라 측면을 지향하는 VMWare는 지난 8월 199만9733개의 새로운 “프라이빗 AI” 컴퓨팅 제품을 출시했습니다.

각자의 시장 지위와 독점적 이해관계에도 불구하고 상호 운용 가능한 인공 지능 도구를 개발하기 위해 공동으로 협력할 수 있을까요?

다양한 고객 요구사항, 리소스, 재정적 제약을 수용하기 위해 여러 공급업체를 활용하면 분명 이점이 있습니다. 그러나 과거의 경험에 따르면 단일 공급업체에 고착화되어 바람직하지 않은 결과를 초래할 수 있는 가능성이 있는 것으로 나타났습니다. 이런 상황이 발생한다면 안타까운 일이 아닐 수 없습니다.