4,400만 달러 투자 유치로 AI 시대를 위한 실시간 데이터베이스 강화에 나선 록셋
데이터베이스 공급업체 록셋 은 최신 제너레이티브 AI 시대에 실시간 인덱싱 기능에 대한 수요가 증가함에 따라 4,400만 달러의 신규 자금을 조달하고 있습니다.
캘리포니아주 샌마테오에 본사를 둔 이 회사의 시리즈 B 라운드에 이은 새로운 자금 조달로 현재까지 총 1억 5,000만 달러의 자금이 모였습니다. 아이콘 벤처스 이 새로운 라운드를 주도했으며, 글린 캐피탈 , 포 리버스 , K5 글로벌 , 세쿼이아 , 그레이록 이 참여했습니다.
특히 2023년 동안 락셋은 메타(구 페이스북)에서 만든 오픈소스 RocksDB 영구 키-값 저장소를 기반으로 기술을 성장시켜 왔습니다. 지난 3월, 록셋은 실시간 인덱싱 데이터베이스의 속도를 획기적으로 향상시키기 위해 설계된 플랫폼 업데이트를 출시했습니다. 이 업데이트에 이어 4월에는 AI 사용 사례를 활성화하는 데 도움이 되는 벡터 임베딩 지원이 추가되었습니다.
인공 지능 애플리케이션의 확산으로 인해 벡터 임베딩에 대한 실시간 색인 수요가 증가하고 있다고 Rockset의 공동 창립자이자 CEO인 Venkat Venkataramani는 All Things IT @AI와의 인터뷰에서 언급했습니다. 이 주목할 만한 패러다임의 변화는 이 영역에서 활동하는 기업에게 상당한 기회를 제공합니다.
벡터 지원은 새로운 데이터 유형 그 이상입니다
2023년 제너레이티브 인공지능(AI)의 등장으로 벡터로 구성된 데이터베이스 내에 저장되는 벡터 임베딩의 활용도가 다양한 애플리케이션에서 증가하고 있습니다.
데이터의 수치적 표현인 벡터는 대규모 언어 모델(LLM)을 강화하는 데 사용됩니다. Pinecone 및 Milvus 를 비롯한 수많은 특수 목적의 벡터 데이터베이스가 있으며, DataStax , MongoDB 및 Neo4j 등 벡터 임베딩을 지원하는 기존 데이터베이스 기술이 점점 더 많이 등장하고 있습니다.
Rockset에서 벡터는 현재 기존 데이터베이스 인프라 내에서 지원되는 “플로트 배열"로 표현됩니다. 일부에서는 이것이 기본적인 기능으로 간주될 수 있지만, 벤카타라마니 박사는 이것만으로는 큰 흥미를 끌지 못한다고 강조했습니다.
벤카타라마니 박사의 관점에서 볼 때, 록셋의 최근 개발에서 주목할 만한 점은 벡터 임베딩을 지원하도록 특별히 설계된 실시간 인덱싱 시스템을 구현한 것입니다. 이 혁신적인 접근 방식을 통해 사용자는 실시간으로 발생하는 변경 사항과 업데이트를 추적하는 지능형 키를 제공함으로써 대규모 데이터 세트를 효율적으로 검색할 수 있습니다. 이러한 기능은 최신 정보에 즉시 액세스해야 하는 애플리케이션에 필수적입니다.
실제로 메타데이터의 즉각적인 인덱싱을 위한 Rockset의 혁신적인 방법론은 벡터에도 원활하게 적용됩니다. 우리의 저명한 동료인 벤카타라마니 박사의 의견처럼, 기존 정보와 벡터 데이터를 모두 검색할 수 있는 최신 인덱스의 유용성은 현대 인공 지능 맥락에서 없어서는 안 될 필수 요소입니다.
우리가 접하는 각 인공지능 애플리케이션은 벡터 데이터에만 의존하지 않습니다. 오히려 각 인스턴스와 관련된 다양한 추가 메타데이터 필드가 있으며, 애플리케이션은 이러한 모든 필드를 검색할 수 있어야 합니다.“라고 그는 설명했습니다.
Rockset이 벡터 임베딩을 위한 실시간 인덱스를 구축한 방법
Rockset의 실시간 데이터베이스는 RocksDB 클라우드 기술의 통합을 통해 더욱 발전한 RocksDB 데이터 저장소를 기반으로 구축되었습니다.
벤카타라마니가 자세히 설명한 것처럼, Rockset의 RocksDB Cloud에는 다양한 데이터 형식에 걸쳐 색인 속도를 크게 향상시키는 몇 가지 혁신적인 방법이 탑재되어 있습니다. 이러한 발전 중에는 벡터 데이터에 대한 실시간 검색을 용이하게 하는 데 중추적인 역할을 하는 근사 근사 이웃 인덱스(ANN)가 있습니다.
본질적으로 분석가가 Rockset 프레임워크 내에서 특정 벡터 임베딩 열에 대한 유사도 인공 신경망(ANN) 인덱스를 설정하면, 이 특정 인덱스는 지속적으로 최신 상태로 유지되며, 해당 열 내의 모든 후속 데이터 항목의 삽입, 수정 및 제거를 포함하도록 손쉽게 업데이트됩니다.
벤카타라마니 CEO에 따르면 록셋은 대량의 데이터를 실시간으로 효율적으로 쿼리하기 위해 분산형 관계형 데이터베이스 관리 시스템(RDBMS)을 통합했습니다. 이 기능은 데이터베이스 내의 다양한 데이터 유형에 걸쳐 데이터를 처리하고 분석하는 데까지 확장됩니다.
현재 개별화된 SQL 쿼리를 활용하면 단일 명령 내에서 필터링, 조인, 집계와 같은 여러 작업을 수행할 수 있으며, 유사성 기반 쿼리 시나리오에서 관련성을 판단하기 위해 벡터 표현을 사용할 수 있습니다.“라고 그는 설명합니다. “이러한 유형의 쿼리는 SQL 엔진의 주요 기능이 데이터 분석 결과를 기다리는 개인을 위한 것이 아니라 소프트웨어 애플리케이션을 지원하는 것이기 때문에 매우 효율적이고 신속합니다.
벤카타라마니 박사는 앞으로 록싯의 인공 지능 기능이 크게 발전할 것으로 예상합니다. 특히, 그는 대규모 언어 모델(LLM)과 생성 인공 지능 애플리케이션에서 더 빠른 쿼리 처리를 위한 GPU 가속화가 구현되기를 간절히 기대하고 있습니다.
실제로 이 분야의 등장은 이제 시작에 불과합니다. 문제의 패러다임 변화는 일시적인 트렌드가 아니라 앞으로 모든 소프트웨어 애플리케이션의 필수 구성 요소가 될 것입니다.