OctoAI, 기업이 프라이빗 AI 모델을 커스터마이징하고 배포할 수 있는 OctoStack 출시

Leonard Strauss included in Ai Tech Stack Artificial Intelligence Data Infrastructure Enterprise Enterprise Ai Gen Ai Tech Stack Enterprise Octoai Octoai Octostack Octostack On-Premise Ai Ai Category-/Business & Industrial Gen Ai Generative Ai On-Premise Infrastructure On-Premises Infrastructure

2024-04-03 685 words 4 minutes

Contents

시애틀에 본사를 둔 OctoAI 는 기업에서 프라이빗 생성 AI 모델을 배포할 수 있도록 설계된 OctoStack 라는 새로운 제품을 출시했습니다. 기업은 이 “턴키 생산 플랫폼"을 가상 프라이빗 클라우드 또는 온프레미스에서 사용할 수 있으며 고도로 최적화된 추론, 모델 사용자 지정 및 자산 관리에 액세스할 수 있습니다. 이를 통해 OctoAI는 기업이 원하는 방식으로 차세대 AI 애플리케이션을 구축하고 실행할 수 있는 자유를 제공하고자 합니다.

고객이 지속 가능하고 미래 지향적인 인공 지능 시스템을 개발하기 위해서는 단순히 예산 친화적인 클라우드 컴퓨팅 리소스를 제공하는 것 이상으로 나아가야 한다고 OpenAI의 CEO인 Luis Ceze는 주장합니다. 하드웨어 호환성, 배포 절차, 조정, 성능 향상, 워크로드 분배를 포괄적으로 해결하려면 모든 것을 아우르는 접근 방식이 필요합니다.

옥토스택은 메타의 라마 제품군, 미스트랄의 8x8B, 스테이블 디퓨전 모델을 포함한 오픈 소스 및 상용 AI 모델의 미세 조정과 배포를 모두 지원합니다. Anthropic의 Claude 모델은 Anthropic의 클라우드 플랫폼을 통해서만 사용할 수 있기 때문에 포함되지 않았지만, OctoStack은 사용자가 완전히 제어하고 필요에 따라 사용자 지정할 수 있는 다양한 고성능 오픈 소스 모델을 제공합니다.

옥토스택 플랫폼은 인공지능 및 머신러닝 알고리즘과 같은 다양한 기술 구성 요소를 통합하는 포괄적인 인프라를 제공하여 효율적인 데이터 처리 및 분석을 용이하게 함으로써 기업 환경 내에서 작동합니다. 이 시스템을 통해 조직은 방대한 양의 정형 및 비정형 데이터 소스에서 도출된 실시간 인사이트를 기반으로 운영을 최적화하고 정보에 입각한 의사 결정을 내릴 수 있습니다. OctoStack 플랫폼은 확장성과 유연성을 제공하여 기업이 특정 필요와 요구 사항에 따라 기술 스택을 맞춤화하고 조정할 수 있습니다.

완전 관리형에서 셀프 서비스형까지

OctoAI는 이전에 자체 최적화 인프라 서비스를 통해 기업에 인공지능 패키지를 제공하려고 시도한 적이 있습니다. 하지만 이번에는 효율적인 추론과 맞춤형 모델을 위한 API 호출을 포함하는 완전 관리형 솔루션을 도입합니다. 또한 이 플랫폼은 ‘모델 칵테일’ 생성을 지원하며 엔터프라이즈 및 프로덕션 사용 사례를 위해 특별히 설계되었습니다.

이와는 대조적으로 OctoAI의 OctoStack은 고객을 위한 자체 관리 옵션을 제공합니다.“하루에 수십억 개의 토큰"을 처리하고 매일 수백만 개의 이미지를 생성하는 등 작업량이 증가함에 따라 보다 안전하고 비공개적으로 배포된 기술 인스턴스에 대한 필요성이 대두되었습니다. 이는 개인 블로그를 워드프레스닷컴에서 호스팅하거나 개인 서버를 운영하는 것에 비유할 수 있는데, CEO 마크 세스는 이 비교를 하는 동안 반박하지 않았습니다.

기업들은 인공 지능 솔루션을 구현할 때 외부 API를 통해 민감한 정보를 전송하는 것에 대해 점점 더 우려하고 있습니다. Brkt의 공동 설립자이자 CEO인 마이클 세제(Michael Ceze)에 따르면, 기업들은 OctoStack의 기능을 활용하여 이러한 우려를 완화할 수 있다고 합니다. 이 플랫폼을 통해 사용자는 선호하는 머신러닝 모델을 유연하게 선택하고, 특정 요구 사항을 충족하도록 맞춤화할 수 있으며, 제어 가능한 안전한 독립형 API를 활용할 수 있습니다. 또한 OctoStack은 여러 GPU 리소스에서 최적의 성능과 효율성을 보장할 책임이 있습니다.

OctoAI의 완전 관리형 솔루션은 수많은 고객사에서 활용하고 있지만, CEO는 OctoStack의 가입 건수는 공개하지 않았습니다. 그는 대신 보도자료에 언급된 회사들인 Apate.ai, Otherside AI, Latitude Games, CapitalAI에 주목했습니다. 이미 Gen AI 도구에 익숙하고 이를 기업 내 실제 애플리케이션에 통합하려는 기업에 초점을 맞추고 있는 것으로 보입니다.

엔터프라이즈 AI를 위한 광범위한 오픈 마켓

기업 내에서 제너레이티브 AI를 도입할 수 있는 엄청난 기회가 있습니다. Menlo Ventures 보고서 는 작년에 이 분야의 클라우드 소프트웨어에 4,000억 달러가 지출되었다고 강조했습니다. 이 중 700억 달러가 AI에 투자되었습니다(18%). Gen AI는 1% 미만인 25억 달러를 차지했습니다.

제너레이티브 AI에 대한 기업의 투자는 기존 AI 및 클라우드 소프트웨어에 대한 기업 예산에 비해 적은 편입니다. 이미지 출처: 멘로 벤처스

아말감 인사이트의 박현 대표 겸 수석 애널리스트는 최근 인터뷰에서 현재 기업 내 생성적 인공지능의 기술적 숙련도와 접근성 수준이 상당히 발전했으며, 절반 이상의 CIO가 공식적으로 구현하는 데 관심을 표명했다고 강조했습니다. 또한 Microsoft Copilot, ChatGPT, Midjourney 등 잘 알려진 여러 플랫폼과 도구가 사용자들 사이에서 널리 인정받고 있습니다. 그러나 이러한 진전에도 불구하고 특정 요구 사항에 따라 이러한 모델을 조정, 개선 및 개선하는 데 있어서는 여전히 상당한 격차가 존재합니다.

Constellation Research의 설립자이자 수석 애널리스트인 Ray Wang은 현재 대부분의 기업이 멀티벤더 환경 내에서 운영을 최적화하는 데 집중하고 있으며, 이것이 아직 순수하게 유전자 조작된 인공지능(AI) 스택을 보지 못한 이유라고 지적했습니다. 기업들은 다양한 작업을 처리하기 위해 자체 애플리케이션 프레임워크, 모델, 데이터를 가져오는 것이 일반적인 관행입니다. 하지만 왕은 옥토스택이 단일 플랫폼 내에서 필요한 모든 구성 요소를 갖추는 프로세스를 간소화하기 때문에 유리한 개발이라고 생각합니다.

OctoAI의 경쟁 우위는 기술 간 최적화를 수행할 수 있는 능력에 있으며, 이는 신생 기업뿐만 아니라 Nvidia, 데이터브릭스, 삼바노바 시스템즈와 같은 기존 기업들과도 차별화되는 강점입니다. 이 분야에는 많은 플레이어가 있지만, 세제 CEO는 “다른 업체들도 우리와 경쟁할 수 있는 제품을 내놓을 것으로 예상해야 한다"며 포지셔닝에 자신감을 내비쳤습니다. 우리의 차별화 전략은 창립 초기부터 우리 조직의 필수 요소인 교차 도메인 최적화를 실행하는 데 있어 탁월한 능력을 활용하는 것입니다.