엔비디아, 미래의 휴머노이드에 동력을 공급할 멀티모달 AI 프로젝트 GR00T 공개
3월 27일 저녁, 보스턴에서 열리는 이 행사에서는 선별된 개인 그룹이 특별한 네트워킹 기회와 자극적인 담론 및 깨달음을 주는 관점을 결합한 친밀한 모임에 참여할 수 있는 기회를 갖게 됩니다. 이 특별한 이벤트에 초대를 요청하려면 지정된 링크를 방문하세요.
Nvidia 는 고급 기반 AI로 미래의 휴머노이드를 구동하는 멀티모달 AI인 프로젝트 GR00T를 출시하여 로봇 공학의 한계를 뛰어넘고 있습니다.
산호세 맥에너리 컨벤션 센터에서 열린 GTC 컨퍼런스에서 휴머노이드 로봇이 텍스트, 음성, 동영상, 라이브 시연 등의 입력을 기반으로 다양한 작업을 수행할 수 있는 범용 기반 모델을 활용하는 프로젝트 GR00T를 선보였습니다. 이 프로젝트의 개발에는 강화 학습을 전담하는 새로 설립된 아이작 랩을 포함한 엔비디아의 아이작 로봇 플랫폼 도구가 사용되었습니다.
엔비디아의 CEO인 젠슨 황에 따르면 현재 존재하는 인공지능 영역에서 가장 매력적인 과제 중 하나는 고급 휴머노이드 로봇을 위한 기초 모델을 개발하는 것입니다. 점점 더 정교해지는 기술의 출현으로 전 세계의 저명한 로봇 공학자들이 인공 일반 로봇을 달성하기 위한 기념비적인 진전을 이룰 수 있게 되었습니다.
기업에서 탁월한 운영 성과를 달성할 수 있도록 지원하기 위해 휴머노이드 애플리케이션에 특화된 Jetson Thor 프로세서를 도입하고 있습니다. 또한 고급 조작 기능과 복잡하고 예측 불가능한 환경을 탐색할 수 있는 능력을 갖춘 자율 로봇 시스템을 구현하는 인공 지능 기술 개발에도 상당한 진전을 이루었습니다.
엔비디아 프로젝트 GR00T에서 기대할 수 있는 것은?
이름은 마블의 그루트 와 비슷해 보이지만 실제로는 제너럴리스트 로봇 00 기술의 약자입니다. 엔비디아에 따르면 이 로봇은 자연어 텍스트, 음성, 비디오 및 라이브 데모를 이해하여 인간의 움직임(조정, 손재주 및 기타 기술)을 모방하고 실제 세계를 탐색, 적응 및 상호 작용하는 일반적인 동작을 생성하도록 설계되었습니다.
제안된 시스템은 휴머노이드 로봇의 기능을 크게 확장하는 동시에 개발 및 배포 프로세스를 간소화할 수 있는 잠재력을 가지고 있습니다. 본질적으로 이 접근 방식은 텍스트 지침과 데모를 모두 제공하여 로봇을 프로그래밍할 수 있으므로 필요한 권한이나 자격을 갖춘 개인이 접근할 수 있습니다.
황 박사는 일반 기술 컨퍼런스(GTC) 기조연설에서 어질리티 로보틱스, 앱트로닉, 푸리에 지능, 유니트리 로보틱스가 개발한 로봇을 포함해 다양한 작업을 수행하는 GR00T 기술로 구동되는 수많은 휴머노이드 로봇을 선보였습니다. 디푸 탈라는 기자들에게 GR00T의 잠재력에 대한 자세한 개요를 제공하면서, GR00T가 제너레이티브 인공지능과 트랜스포머 모델에서 가장 최근에 발전한 기술을 기반으로 하는 동시에 전체 기능의 제한된 범위만 공개하는 방법을 강조했습니다.
특히, 생성형 인공지능 분야의 저명한 기관인 OpenAI는 구현형 인공지능 개발에 적극적으로 참여하고 있으며, 이 분야의 스타트업인 1X Technologies와 Figure 두 곳에 지원을 제공한 바 있습니다. 실제로 지난달에 Figure는 샘 알트만 연구소의 지도 아래 개발된 실질적인 비전 언어 모델(VLM)을 활용하여 쓰레기 수거 등 일상적인 작업을 수행할 수 있는 로봇을 선보였습니다. 또한, 최근 공개된 내용에 따르면 두 회사는 모두 엔비디아와 협력하고 있습니다.
프로젝트 GR00T는 휴머노이드 개체를 위한 포괄적인 멀티모달 기반 역할을 하며, 다양한 능력을 습득할 수 있는 능력을 부여하여 다양하고 유익한 작업을 수행할 수 있도록 합니다.
탈라는 현재로서는 제품의 내부 아키텍처에 대한 추가 정보 제공을 거부했으며, 가까운 시일 내에 기능에 대한 업데이트를 공유할 예정이라고 밝혔습니다. 현재로서는 앞서 나열한 제한된 그룹의 휴머노이드 개발자에게만 이 모델에 대한 액세스 권한이 부여되어 있습니다. 그러나 더 많은 휴머노이드와 비체화 개체를 포함하도록 가용성을 확장할 계획이 진행 중입니다.
휴머노이드 로보틱스 발전에 대한 엔비디아의 최신 공헌은 GR00T와 같은 복잡한 멀티모달 모델을 효율적으로 처리할 수 있도록 특별히 설계된 Jetson Thor 컴퓨팅 플랫폼의 도입입니다. 젯슨 토르는 매우 강력한 CPU 클러스터와 혁신적인 엔비디아 블랙웰 아키텍처를 채택한 최첨단 그래픽 처리 장치(GPU)를 갖춘 토르 시스템 온 칩(SoC)의 기능을 활용하며, 800테라플롭스의 놀라운 8비트 부동 소수점 인공지능 성능을 제공하는 트랜스포머 엔진으로 완성되었습니다.
탈라는 브리핑에서 새로운 시스템의 그래픽 처리 장치(GPU) 성능이 이전 모델인 젯슨 오린에 비해 8배 향상되어 상당한 개선을 보였다고 밝혔습니다. 또한 CPU 성능도 약 2.5배로 눈에 띄게 향상되었습니다.
프로젝트 GR00T를 실현하기 위해 Nvidia는 개발자에게 AI 기반 로봇의 개발, 시뮬레이션 및 배포를 위한 강력한 엔드투엔드 플랫폼을 제공하는 자체 Isaac Robotics Platform 을 활용했습니다.
이 조직은 Isaac Sim을 기반으로 구축된 혁신적인 Isaac Lab을 활용하여 테스트 및 교육 목적으로 Isaac 컴퓨팅 오케스트레이션 서비스와 Nvidia의 DGX 및 OVX 플랫폼을 모두 사용하여 GPU로 강화된 가상 환경 내에서 병렬 시뮬레이션을 수행했습니다.
Isaac 로봇 플랫폼에는 다양한 기능 외에도 두 가지 특수 솔루션인 Isaac Manipulator와 Isaac Perceptor가 장착되어 있습니다. 이러한 특정 도구는 로봇의 전반적인 성능과 효율성을 향상시키기 위해 특정 애플리케이션이나 시나리오에 맞게 설계되었습니다.
탈라가 설명하는 Isaac Manipulator는 최첨단 조작 기술과 뛰어난 민첩성을 통해 로봇 팔 개발자의 역량을 강화하는 것을 목표로 하는 GPU 강화 라이브러리와 특화된 기본 모델을 자랑합니다. 이 포괄적인 패키지는 물체를 식별하고, 6D 위치를 계산하고, 움직임을 모니터링하고, 물체를 안전하게 잡을 수 있는 정밀한 그립을 생성하기 위해 설계된 모델로 구성되어 있습니다.
이 그림은 자율 기능을 갖춘 고급 모바일 로봇이 산업 환경에서 조작 부속 장치와 함께 협력하여 제조 및 공급망 운영 모두에서 향상된 자동화를 위해 NVIDIA Isaac의 지능형 시스템을 활용하고 있는 모습을 보여줍니다.
퍼셉터 시스템은 고급 인공 지능 기술을 사용하여 로봇이 멀티 카메라, 360도 시각 기능을 사용하여 복잡하고 구조화되지 않은 환경을 탐색할 수 있도록 지원합니다. 이는 3D 인식 및 서라운드 비전을 촉진하는 AI 가속 알고리즘을 통해 이루어집니다. 엔비디아는 노바 오린 데브킷을 통해 이 혁신적인 기술을 제공했으며, 현재 제조 및 물류 분야의 자율 모바일 로봇 기능을 향상시키기 위해 ArcBest, BYD, KION 그룹과 같은 여러 유명 기업과 협력하고 있습니다.
복스 스마트 오토노미 AMR 지게차 및 리치 트럭에 아이작 퍼셉터 플랫폼을 활용하면 창고, 물류센터 및 공장 환경에서 재고를 관리하는 동안 보다 예민한 지각 능력, 의미 인식 탐색, 장애물 식별을 위한 3차원 매핑이 가능하다고 아크베스트의 최고혁신책임자이자 아크베스트 테크놀로지스의 사장인 마이클 뉴시티는 공식 선언문에서 설명합니다.
다가오는 2023년 2분기에는 아이작 플랫폼의 새로운 기능에 액세스할 수 있게 되지만, 프로젝트 GR00T는 얼리 액세스 단계를 통해 계속해서 제한된 가용성을 제공할 예정입니다. NVIDIA는 현재 이러한 기술을 접해보고자 하는 일부 개발자 그룹으로부터 신청을 받고 있지만, 혁신의 광범위한 보급을 위한 구체적인 일정은 아직 확정되지 않았습니다.