Hailo, 에너지 효율적인 엣지 디바이스용 차세대 AI 가속기와 1억 2천만 달러의 자금으로 Nvidia에 맞서다.
엔비디아가 방대한 범위의 생성형 AI 중심 하드웨어 및 소프트웨어 제품으로 계속해서 돈을 벌고 있지만, 같은 분야에서 경쟁하는 소규모 업체들은 굴복할 준비가 되어 있지 않습니다. 사례: Hailo 이스라엘에 본사를 둔 스타트업으로, 엣지 디바이스를 위한 새로운 에너지 효율적인 차세대 AI 가속기를 출시했습니다.
Hailo-10 프로세서는 클라우드 기반 데이터 센터에 액세스하지 않고도 자동차 및 상업용 로봇과 같은 엣지 디바이스에서 세대 AI 기술을 구현할 수 있는 도구로 공식 지정되었습니다. 제조업체에 따르면 이 접근 방식은 모델 성능을 최적화하는 동시에 상당한 비용 및 에너지 효율 이점을 제공할 것이라고 합니다.
Hailo는 최근 내년 2분기에 새로운 세대 AI 중심 마이크로프로세서를 출시할 예정이라고 밝혔습니다. 또한, 다양한 분야의 신규 및 기존 후원자들로부터 1억 2천만 달러의 시리즈 C 펀드레이징 캠페인을 추가로 유치했다고 발표했습니다. 이러한 자본의 유입으로 Hailo의 기업 가치는 12억 달러에 달하는 것으로 알려졌으며, Hailo가 직접 인정한 바에 따르면 기업 가치는 12억 달러에 달합니다.
최근 펀딩 라운드가 성공적으로 마무리됨에 따라 우리는 이제 파이프라인 내의 유망한 전망을 활용할 수 있는 좋은 위치에 있으며, 이는 단기적인 궤도를 강화할 뿐만 아니라 향후 몇 년간 지속 가능한 확장을 위한 기반을 마련할 것입니다.“라고 Hailo의 공동 창립자이자 CEO인 오르 다논(Orr Danon)은 공식 성명에서 밝혔습니다. “또한, 혁신적인 Hailo-10 GenAI 가속기의 공개는 기존 및 생성 AI의 기능을 엣지 디바이스로 확장하여 이 획기적인 기술 발전의 범위와 영향력을 상당히 넓히려는 중요한 이정표가 될 것입니다.“라고 말했습니다.
Hailo-10은 클라우드 네트워크의 제약 없이 첨단 인공지능 기능을 일상 생활에 통합하는 획기적인 혁신입니다. 이러한 통합을 통해 개인은 이제 챗봇 및 코파일럿과 같은 최첨단 기능을 놀라울 정도로 쉽고 빠르게 활용할 수 있어 효율성과 전반적인 삶의 질을 크게 향상시킬 수 있습니다.
10세대 AI 가속기 Hailo에서 기대할 수 있는 것은?
생성형 인공지능은 마케팅 자료 제작부터 고객과의 의미 있는 상호작용에 이르기까지 비즈니스 운영의 다양한 측면에서 매우 효과적임이 입증되었습니다. 이 분야는 계속 발전하고 있지만, 아직 주변부에서는 이러한 기술의 미개척 잠재력이 남아 있습니다.예를 들어, 사람처럼 쉽게 의사소통하고 구두 명령만으로 작업을 수행할 수 있는 휴머노이드 로봇을 생각해 보세요. Hailo가 최첨단 차세대 AI 프로세서를 통해 달성하고자 하는 것이 바로 이 로봇입니다.
Hailo-10은 인공지능 애플리케이션 실행을 위한 기존 클라우드 컴퓨팅의 한계를 극복할 수 있는 솔루션을 제공합니다. Hailo-10은 첨단 기술을 활용하여 사용자가 특정 디바이스에서 직접 일반 AI 서비스를 실행할 수 있으므로 데이터를 원격으로 전송하고 처리할 필요가 없습니다. 이러한 접근 방식은 앱 사용 중에 발생할 수 있는 지연 문제를 크게 줄여 성능과 기능을 향상시킵니다. Hailo-10의 혁신적인 방법론을 사용하면 업그레이드 가능한 실리콘 솔루션을 통해 구형 또는 저성능 기기에서도 향상된 AI 기능의 혜택을 누릴 수 있으므로 더 많은 사용자가 최첨단 기술을 더 쉽게 이용할 수 있습니다.
Hailo-10을 활용하면 사용자는 중앙 처리 장치의 부담을 최소화하고 배터리 수명을 절약하면서 실시간으로 텍스트를 번역하거나 텍스트 입력에서 비디오 콘텐츠를 생성하는 등 다양한 작업을 개인 컴퓨터 또는 엣지 디바이스를 통해 수행할 수 있습니다.
Hailo-10
CEO는 Hailo-10 칩의 가장 놀라운 측면은 최적의 비용 대비 성능 및 전력 소비 비율로 엣지 인공지능 작업을 실행할 수 있는 능력이라고 강조했습니다. 이 혁신적인 칩은 Hailo-8 및 Hailo-15 모델에 포함된 동일한 소프트웨어 패키지를 사용하여 5와트 미만의 전력을 소비하면서 초당 최대 10개의 토큰을 처리할 수 있는 라마2-7B 작업을 처리할 수 있습니다. 또한 스테이블 디퓨전 2.1을 활용할 경우, Hailo-10은 전력 소비를 크게 늘리지 않고도 5초 이내에 이미지를 생성할 수 있습니다.
주변 장치에서 GenAI의 통합이 점점 더 몰입감 있는 경험으로 발전함에 따라 최소한의 전력 요구 사항 내에서 고급 언어 모델을 관리하는 데 중점을 두고 있습니다. 이러한 맥락에서 목표는 약 5와트 이하의 제한적인 전력 범위 내에서 대규모 언어 모델(LLM)을 수용하는 것입니다. 다논의 연구 결과에 따르면, 이 혁신적인 칩 설계는 최대 40TPS(초당 테라 연산)의 놀라운 컴퓨팅 용량을 달성할 수 있습니다. 이는 에지 인공지능 가속기의 패러다임을 바꾸는 벤치마크가 될 것이라고 Hailo는 말합니다.
특히 엔비디아의 젯슨 모듈 라인도 엣지 AI 워크로드를 처리하며, 성능은 최대 275 TOPS까지 올라갑니다. 하지만 전력 소비도 증가합니다.엔트리급 엣지 AI 앱을 대상으로 하는 Nvidia의 유사한 제품은 Jetson Orin Nano 로, 5W에서 15W 사이의 전력 옵션으로 최대 40 TOPS의 AI 성능을 제공합니다.
Danon은 엔비디아 솔루션에 비해 Hailo-10의 성능 이점에 대해 제한적인 설명을 제공했습니다. 그럼에도 불구하고 그는 추론 작업, 특히 비용 및 에너지 효율성 측면에서 더 작은 엣지 디바이스에 통합할 수 있다는 점을 인정했습니다. 이에 비해 인텔의 최신 프로세서는 코어 울트라 NPU의 절반의 전력으로 두 배의 성능을 제공한다고 주장합니다.
당사의 데이터 흐름 기반 아키텍처는 시중의 다른 솔루션과 차별화되는 몇 가지 주요 이점을 제공합니다. 첫째, 기존 아키텍처에 비해 더 적은 전력과 낮은 비용으로 우수한 성능을 제공합니다. 또한, 유니티 플랫폼은 다양한 방식에 걸쳐 광범위한 AI 기반 애플리케이션을 지원하므로 성장하는 엣지 AI 시장에 이상적인 솔루션입니다. 유니티의 하드웨어 및 소프트웨어 에코시스템은 저전력 소비 수준을 유지하면서 제너레이티브 AI, 향상된 이미지 및 오디오 처리 등 강력한 AI 기반 분석 기능을 갖춘 여러 엣지 플랫폼을 처리할 수 있는 독보적인 역량을 갖추고 있습니다. 이를 통해 소니는 진화하는 엣지 AI 환경의 요구 사항을 충족하는 탁월한 기능을 제공하는 업계 선두주자로 자리매김하고 있습니다.
초기 목표 산업
2024년 2분기에 Hailo-10의 출하를 시작하면 개인용 컴퓨터 및 자동차 인포테인먼트 시장 공략에 주력할 것입니다. 그러나 인공지능 기반 로보틱스와 같은 보다 광범위한 애플리케이션으로 범위를 확장할지는 아직 결정되지 않았습니다. 이 분야는 이미 엔비디아가 진행 중인 GR00T 프로젝트를 통해 탐색을 시작한 분야입니다.
Hailo는 NEC, Bosch, 슈나이더 일렉트릭, Dell, ABB, 폭스콘과 같은 저명한 기업을 비롯하여 다양한 산업 분야의 다양한 고객과 협력하고 있습니다. 이러한 파트너십은 컴퓨팅, 자동차, 보안, 인더스트리 4.0, 리테일, 헬스케어 등 다양한 분야에 걸쳐 있습니다.