NIM이란 무엇인가요? 업계에 변화를 가져올 수 있는 새로운 접근 방식의 차세대 AI 모델 배포, Nvidia Inference Manager

Maya Patel included in Ai Modeling Ai, Ml And Deep Learning Conversational Ai Data Infrastructure Inference Nlp Nvidia Nvidia Gtc 2024 Vector Databases Ai Category-/Computers & Electronics Category-/Science Generative Ai Large Language Models Retrieval Augmented Generation Vector Embeddings

2024-03-19 525 words 3 minutes

Contents

NVIDIA는 향상된 추론 기능을 통해 대규모 인공 지능 기반 언어 모델 배포의 속도를 크게 높이고 효율성을 향상시키는 혁신적인 방법론을 개발했습니다.

엔비디아 GTC 엔비디아는 오늘 최적화된 추론 엔진, 업계 표준 API 및 AI 모델 지원을 컨테이너에 패키지화하여 쉽게 배포할 수 있는 엔비디아 추론 매니저(Nvidia Inference Manager, NIM) 소프트웨어 기술을 발표합니다. NIM은 사전 구축된 모델을 제공하지만, 조직이 자체 독점 데이터를 가져올 수 있도록 지원하며 검색 증강 세대(RAG) 배포를 가속화하는 데 도움을 줍니다.

신경망 인터페이스(NIM)의 등장은 인공 지능 영역에서 중요한 전환점으로, 추론에 대한 NVIDIA의 미래 접근 방식의 초석으로 작용하여 이 업계의 거의 모든 개발자와 플랫폼에 상당한 영향력을 발휘할 것으로 예상됩니다. NVIDIA는 SAP, Adobe, Cadence, CrowdStrike, Getty Images, ServiceNow, Shutterstock과 같은 저명한 소프트웨어 제공업체 및 BOX, Cohesity, Cloudera, Databricks, Datastax, Dropbox, NetApp, Snowflake 등 수많은 데이터 플랫폼 파트너와 협력하여 NIM 기술의 채택 및 통합을 강화하기 위해 노력할 것입니다.

NVIDIA 엔터프라이즈 AI 소프트웨어 제품군은 현재 진행 중인 GPU 기술 컨퍼런스에서 다섯 번째 버전인 NIM을 출시합니다.

언론인을 대상으로 한 사전 행사 브리핑에서 NVIDIA의 엔터프라이즈 컴퓨팅 담당 부사장인 마누비르 다스는 NVIDIA NIM 소프트웨어 제품군이 최첨단 엔터프라이즈 애플리케이션을 개발하고자 하는 개발자에게 최고의 개발 플랫폼 및 런타임 환경을 제공한다는 믿음을 표명했습니다.

Nvidia NIM이란 정확히 무엇인가요?

가장 기본적인 형태인 네트워크 정보 모델(NIM)은 마이크로서비스라고 하는 개별 모듈식 소프트웨어 구성 요소의 집합으로 개념화할 수 있습니다.

컨테이너에는 개방형 모델부터 독점 모델까지 모든 유형의 모델이 포함될 수 있으며, 클라우드나 노트북 등 Nvidia GPU가 있는 곳이라면 어디에서나 실행할 수 있습니다. 또한, 해당 컨테이너는 클라우드, Linux 서버, 심지어 서버리스 서비스형 기능 모델 등 컨테이너를 실행할 수 있는 모든 곳에 배포할 수 있습니다. 개발자는 새로운 ai.nvidia.com 웹 사이트에서 서버리스 기능 접근 방식을 통해 배포 전에 NIM 작업을 시작할 수 있습니다.

본질적으로 신경망 인터페이스(NIM)는 이전에 채택된 NVIDIA 하드웨어의 모델 배포 방법에 대한 대안이 아니라는 점을 인식하는 것이 중요합니다. 대신, 추론 효율을 향상시키는 필수 구성 요소와 함께 NVIDIA GPU에서 최적의 성능을 발휘하도록 특별히 설계된 세심하게 미세 조정된 신경망 아키텍처를 포함하는 그릇의 역할을 합니다.

최근 기자 회견에서 한 개인이 제기한 질문에 대한 답변으로 Nvidia의 Gen AI 소프트웨어 제품 관리 담당 부사장인 Kari Briski는 플랫폼 기업으로서의 입지를 강조했습니다. 브리스키 부사장은 텐서 RT와 트리톤 추론 서버를 비롯해 엔비디아가 제공하는 다양한 도구와 솔루션이 추론을 촉진하는 데 중요한 역할을 해왔다고 말했습니다. 이러한 기술들은 계속해서 엔비디아의 사명을 지원하는 데 중요한 역할을 하고 있습니다.

생산 환경에서 대규모로 인공 지능 시스템을 운영하는 데 필요한 다양한 구성 요소를 통합하려면 높은 수준의 숙련도와 지식이 필요하기 때문에 브리스키 씨가 언급한 것처럼 이를 포괄적인 패키지로 통합했습니다.

NIM은 기업의 대응력 있는 RAG 역량을 강화하는 데 도움이 될 것입니다

비침입 측정(NIM) 시스템의 매력적인 활용은 활주로 분석 그룹(RAG) 배포 전략을 촉진하는 수단으로 활용되는 데서 찾을 수 있습니다.

실제로 Das에 따르면, 대다수의 고객이 이전에 수많은 RAG를 운영에 배치했습니다. 당면한 과제는 프로토타입 테스트에서 실질적인 비즈니스 이점을 위한 실제 구현으로 전환하는 것입니다.

NVIDIA와 몇몇 저명한 데이터 제공업체는 네트워크 정보 모델(NIM)이 이 문제에 대한 해결책을 제공할 수 있다고 생각합니다. 벡터를 저장하는 기능은 실시간 AI 지형 공간 오버레이(RAG)에 필수적이며, 수많은 벡터 데이터베이스 제공업체가 NIM에 대한 지지를 표명했습니다. 여기에는 Apache Lucene, Datastax, Faiss, Kinetica, Milvus, Redis, Weaviate 등이 포함됩니다.

효율적인 데이터 검색을 용이하게 하기 위한 수단으로 2023년 11월에 NVIDIA가 발표한 RAG 접근 방식의 기능을 강화하기 위해 NIM 배포 내에 NVIDIA의 NeMo Retriever 마이크로서비스가 통합될 예정입니다.

고도로 숙련된 데이터 기반 리트리버를 시스템에 통합함으로써 브리스키 씨의 통찰력 있는 관찰에서 알 수 있듯이 최적의 성능을 보장할 수 있습니다.