Google, Gemini로 BigQuery 확장, 클라우드 데이터베이스에 벡터 지원 제공
Google 은 데이터베이스 및 분석 플랫폼에 새로운 기능을 추가하여 개발자와 조직이 생성 AI의 강력한 기능을 활용할 수 있도록 지원하고 있습니다.
Google은 2024년 첫 몇 달 동안 Gemini 대규모 언어 모델에 몇 가지 주목할 만한 발전을 이루었지만 일부는 예기치 않은 문제에 직면했습니다. 최근 Google은 Gemini LLM의 강력한 기능을 빅쿼리 애널리틱스 서비스에 통합하고 AI 기반 데이터 준비 및 검색 향상을 위한 업그레이드인 RAG를 도입할 계획을 밝혔습니다. 한 걸음 더 나아가 Google은 모든 클라우드 플랫폼에서 벡터 검색 기능을 확장하여 AI 데이터베이스 용량의 범위를 상당히 넓히고 있습니다.
구글 클라우드의 데이터베이스 총괄 매니저 겸 부사장인 앤디 구트먼스에 따르면 벡터 인덱싱과 검색은 데이터베이스의 기본 구성 요소로 간주되어야 한다고 말합니다. 데이터베이스는 정보 검색을 용이하게 하고 조직 내에서 인공 지능 기반의 혁신을 추진하는 데 필수적인 역할을 합니다.
이제 모든 Google 데이터베이스는 벡터 지원 데이터베이스입니다
Google의 데이터베이스 인프라는 특정 경우에 벡터 지원을 포함함으로써 데이터 요소의 수학적 표현을 기반으로 정보를 효율적으로 처리하고 검색할 수 있도록 지원합니다.
고급 벡터 및 인공 지능 기능을 갖춘 Google AlloyDB 데이터베이스가 공식 출시되어 사용자들이 폭넓게 이용할 수 있게 되었습니다. 또한, Google은 다양한 애플리케이션을 위한 효율적인 벡터 데이터베이스로 특별히 설계된 Vertex AI 벡터 검색 서비스를 제공합니다.
앞서 언급한 구성은 Redis 데이터베이스와 관련된 메모리스토어로 알려진 온보드 메모리 캐시 내의 벡터 데이터를 살짝 엿볼 수 있도록 보강되었습니다. 또한, 이 프리뷰에는 CloudSQL 및 Spanner 관계형 데이터베이스와 Firestore 문서 데이터베이스, Bigtable 키-값 데이터베이스에 벡터를 저장하는 기능도 포함되어 있습니다.
모든 Google 데이터베이스에 포괄적인 벡터 지원을 통합하려면 상당한 엔지니어링 노력이 필요한 복잡한 작업이 필요합니다. PostgreSQL을 기반으로 구축된 오픈소스 관계형 데이터베이스 관리 시스템인 AlloyDB는 오픈소스 pgvector 기술을 통해 이러한 측면에서 몇 가지 이점을 제공하지만, 최종 사용자에게 최적의 기능과 효율성을 보장하기 위해서는 여전히 상당한 개발 리소스를 투입해야 한다는 점은 분명합니다.
구트만의 관점에 따르면 다양한 데이터베이스의 고유한 특성과 복잡성을 효과적으로 해결하기 위해서는 각 데이터베이스마다 구축 방식이 다르기 때문에 여러 작업 흐름에 걸쳐 다양한 혁신의 길을 모색해야 합니다.
벡터 검색을 효과적으로 수행하기 위해서는 쿼리 효율성을 높이기 위해 데이터베이스 내에 추가 인덱스를 만들어야 하는 경우가 많습니다. 구트만스에 따르면, 벡터 기능을 개발하는 다른 회사들에 비해 구글이 경쟁 우위를 점하는 주요 요인 중 하나는 벡터 지원 인덱스 구축 방식에 있다고 합니다.
현재 Google은 오랜 기간에 걸친 광범위한 실무 경험 덕분에 이 분야에서 경쟁 우위를 점하고 있습니다. 매일 수십억 명의 사용자들의 요구를 충족시키면서 숙련도를 연마해 왔으며, 이를 통해 이 분야의 전문성을 더욱 공고히 하고 있습니다.
초기에는 소비자에게 제공되지 않았지만, 구글은 12년 동안 광고 및 검색 부문에서 벡터 검색 기술을 활용해 왔습니다(Gutmans의 관찰에 따르면).
BigQuery, Gemini Pro 기능 강화
Google은 분석 영역에 최신 Gemini Pro 모델에 대한 지원을 통합하여 BigQuery의 기능을 확대하고 있습니다.
Google Cloud의 데이터 분석 담당 GM 겸 부사장인 Gerrit Kazmaier는 최근 언론 브리핑에서 이 발표에 대해 새로운 범위의 데이터 분석 가능성에 대한 기대감을 표명했습니다.
업그레이드된 기능은 향상된 요약 생성 및 감정 감지, 분류, 향상, 정형 및 비정형 정보의 다국어 처리 기능으로 구성되어 있습니다. 카즈마이어는 방대한 양의 데이터가 체계적이지 않고, 해석 가능성이 본질적으로 부족해 기업 데이터 분석에 실질적인 유용성이 부족한 경우가 많다고 지적했습니다.
업계 전문가의 최근 발언에 따르면, 이제 개인은 Google의 BigQuery와 함께 Gemini Pro를 사용하여 정형 및 비정형 데이터 모두에 대해 광범위한 고급 분석 작업을 수행할 수 있습니다.