목적에 맞게 구축된 벡터 데이터베이스의 미래가 불투명하다고 보는 싱글스토어 CEO

Alicia Brunner included in Ai, Ml And Deep Learning Data Infrastructure Data Management Data Storage And Cloud Database Hybrid Transactional And Analytical Processing Singlestore Ai Category-/Business & Industrial Category-/Computers & Electronics/Enterprise Technology/Data Management Database Platform Generative Ai For Data Generative Ai Online Analytical Processing Online Transaction Processing Retrieval Augmented Generation Structured Data Unstructured Data Vector Vector Database Vector Search

2024-01-24 599 words 3 minutes

Contents

싱글스토어 은 오늘 트랜잭션 및 분석 데이터 워크로드뿐만 아니라 생성형 AI 워크로드에 대한 기능을 확장하는 새로운 릴리스를 통해 자사의 이름을 딴 데이터베이스 플랫폼을 발전시키고 있습니다.

기능적으로 기존 SingleStore 8.5의 업그레이드 버전인 새로 출시된 SingleStore Pro Max 데이터베이스에는 기업이 인공 지능 애플리케이션을 구축 및 촉진하고 검색 증강 생성(RAG) 시나리오를 개선할 수 있는 혁신적인 인덱싱 벡터 검색 기능이 통합되어 있습니다.

싱글스토어 프로 맥스의 인덱싱 벡터 검색 업데이트 구현은 데이터베이스 시스템의 진화를 의미하며, 이는 MemSQL이라는 이름으로 그 기원을 거슬러 올라갈 수 있습니다. 사실 이 회사의 역사는 2017년으로 거슬러 올라가는데, 이 회사는 처음에 데이터베이스 프레임워크 내에서 다양한 형태의 벡터를 지원했습니다. 그 후, 2020년 브랜드 전환을 통해 싱글스토어는 OLAP과 OLTP 기능을 모두 아우르는 통합 플랫폼으로 부상했습니다.

AI 세대 워크로드가 증가함에 따라 벡터 데이터베이스 기능에 대한 필요성도 증가했으며, Pinecone과 같은 네이티브 데이터베이스 플랫폼이 등장했습니다. 최근 몇 달 동안 DataStax , Neo4j, MongoDB, PostgreSQL, 심지어 Oracle 을 포함한 기존 데이터베이스 공급업체들이 모두 벡터 지원을 추가했습니다. 기존 데이터베이스 기능과 벡터를 결합할 수 있는 능력은 조직에 매우 중요하며, 싱글스토어의 CEO는 특수 목적의 벡터 전용 데이터베이스를 보유하는 데만 집중하는 것은 올바른 방향이 아니라고 생각합니다.

싱글스토어의 포괄적인 인공 지능(AI) 플랫폼은 지능형 벡터가 포함된 최첨단 Gen AI 스택을 제공하여 개발자가 혁신적인 AI 애플리케이션을 만들고 모델링할 수 있도록 지원합니다. 유니티는 벡터 전용 데이터베이스를 강력한 AI 시스템을 구축하기 위한 오랜 솔루션이 아닌 일시적인 기능에 불과하다고 생각하기 때문에 기존 접근 방식과는 다른 관점을 가지고 있습니다. 사실, 추가적인 복잡성 계층을 통합하는 것은 아키텍처를 복잡하게 만들어 세대 AI 스택의 효율성을 저해할 수 있습니다. 따라서 유니티의 목표는 복잡성을 추가하기보다 줄여 AI 생태계를 단순화하는 것입니다.

정형 및 비정형 데이터 전반에서 하이브리드 검색을 지원하는 벡터

싱글스토어는 온라인 트랜잭션 처리(OLTP)와 온라인 분석 처리(OLAP) 워크로드를 모두 처리할 수 있는 하이브리드 트랜잭션 및 분석 처리(HTAP) 데이터베이스입니다. 이 기능을 통해 다양한 유형의 데이터를 다양한 방식으로 저장, 처리, 쿼리할 수 있습니다.

싱글스토어의 최신 프로 맥스 릴리즈는 제품 정량화(PQ), 계층적 탐색 가능한 작은 세계(HNSW), 근사 최인접 이웃(ANN) 벡터 인덱싱과 같은 고급 알고리즘을 통해 정형 및 비정형 데이터 모두에 대한 벡터 검색을 개선하여 지원합니다. 싱글스토어는 2017년에 벡터 검색 기능을 처음 도입했지만, 이번 업데이트 버전에서는 더욱 효율적이고 정밀한 알고리즘을 통해 사용자 경험을 향상시켰습니다.

인덱스 벡터 검색의 향상으로 조직은 검색 목적뿐만 아니라 인공지능 애플리케이션을 지원하는 데 있어서도 싱글스토어에 저장된 데이터의 전체 범위를 활용할 수 있게 되었습니다.

Verma의 관점에서 볼 때, 다양한 다른 데이터 형식을 포괄하지 않고 벡터 기반 데이터만 다루는 데이터베이스 시스템을 활용하면 기업이 인공지능 영역으로 빠르게 진입할 수 있습니다. 하지만 이러한 접근 방식은 대부분의 기업에서 널리 퍼져 있는 보다 포괄적인 데이터 생태계를 고려하지 않습니다.

벡터 구조의 피상적인 적용은 기본 데이터 상태의 복잡한 특성을 감추지 못합니다.“라고 그는 주장합니다.

베르마는 조직에 필요한 모든 정보 리소스를 포괄하는 포괄적이고 통합적이며 간소화된 데이터 에코시스템 내에서 벡터 데이터베이스의 대안으로 기능하고자 하는 싱글스토어의 열망을 설명했습니다.

연사는 인공지능 시스템이 성공하기 위해서는 복잡한 프로세스의 간소화와 포괄적인 데이터 세트의 통합이 모두 필요하다고 강조했습니다. 이를 통해 인공지능은 경쟁력을 유지하면서 효율적으로 운영될 수 있습니다.

변경 데이터 캡처, 아파치 아이스버그 통합

오늘날 조직에서 전체 데이터를 단일 데이터베이스에 보관하는 경우는 드뭅니다.

데이터 파이프라인을 만드는 과정에는 여러 플랫폼에 걸쳐 다양한 데이터 소스와 리포지토리를 통합하는 작업이 수반되는 경우가 많습니다. 데이터베이스 환경 내에서 데이터 변경 캡처(CDC)는 외부 데이터 소스에서 정보를 추출하기 위해 자주 사용되는 기술입니다.

싱글스토어 프로 맥스에는 향상된 변경 데이터 캡처 기능이 포함되어 있어 MySQL 및 몽고DB 데이터베이스의 데이터는 물론 아파치 아이스버그 기반 데이터 레이크까지 단일 데이터베이스에 통합할 수 있습니다.

IBM, Snowflake와 같은 유명 기업에서 사용하는 오픈 소스 데이터 레이크 테이블 형식인 Apache Iceberg는 Verma로부터 상당한 지지를 받고 있습니다.그는 싱글스토어가 IBM 및 스노우플레이크와의 협업에 대한 확고한 의지를 유지하고 있으며, 아이스버그 지원을 통합하면 시스템 간의 원활한 통합을 크게 촉진할 수 있다고 강조합니다.

CDC의 기능을 통해 고객은 여러 소스의 데이터를 SingleStore라는 중앙 집중식 리포지토리로 통합하는 기능을 활용할 수 있으며, 이는 정보 검색 및 증강 생성 워크플로우를 촉진하는 데 없어서는 안 될 역할을 한다고 Verma는 설명합니다.