캔들을 만나보세요: 성능(GPU 지원 포함)과 사용 편의성에 중점을 둔 미니멀리즘 Rust용 머신 러닝 프레임워크

머신러닝 모델의 효율적인 배포는 수많은 애플리케이션에 필수적입니다. PyTorch와 같은 기존 프레임워크가 널리 사용되어 왔지만, 여기에는 몇 가지 한계가 있습니다. 이러한 프레임워크와 관련된 한 가지 중요한 문제는 클러스터 기반 인스턴스 생성에 많은 시간이 소요되는 크기입니다. 게다가 파이썬에 대한 의존성으로 인해 글로벌 인터프리터 잠금(GIL)으로 인한 추가적인 오버헤드와 성능 병목 현상이 발생하여 문제가 더욱 악화될 수 있습니다. 따라서 이러한 단점을 해결할 수 있는 간소화되고 리소스 효율적인 대안에 대한 요구가 증가하고 있습니다.

DFDX 및 TCH-RS와 같은 기존 솔루션은 대안적인 접근 방식을 제공하지만 각각 고유한 제약이 있습니다. DFDX는 잘못 정렬된 모양을 방지하기 위해 유형 서명 내에 모양을 포함시키는 기능을 제공하지만, 야간 기능이 필요하고 Rust 프로그래밍에 대한 포괄적인 전문 지식이 없는 개인에게는 어려움을 겪을 수 있습니다. 반대로 TCH-RS는 Rust의 Torch 라이브러리에 대한 적응형 바인딩을 제공하지만 전체 Torch 라이브러리를 런타임 환경에 통합하는 것이 모든 상황에 최적으로 맞지는 않을 수 있습니다.

Candle , 이러한 문제를 해결하는 미니멀리즘 Rust용 머신 러닝 ML 프레임워크를 만나보세요. Candle 는 GPU 지원과 사용 편의성 등 성능을 우선시하며 PyTorch와 유사한 구문을 사용합니다. 핵심 목표는 경량 바이너리의 배포를 용이하게 함으로써 서버리스 추론을 가능하게 하는 것입니다. Rust를 활용함으로써 Candle은 Python 오버헤드와 GIL을 제거하여 성능과 안정성을 향상시킵니다.

Candle 은 목표를 지원하기 위한 다양한 기능을 제공합니다. 모델 트레이닝 기능, 최적화된 CPU 및 GPU용 CUDA 지원을 포함한 백엔드, 웹 브라우저에서 모델을 실행하기 위한 WASM 지원까지 제공합니다. 또한 Candle에는 언어 모델부터 컴퓨터 비전 및 오디오 처리까지 다양한 도메인에 걸쳐 사전 학습된 다양한 모델이 포함되어 있습니다.

Candle은 최적화된 CPU 백엔드를 통해 신속한 추론을 제공하도록 설계되어 빠른 의사 결정 기능이 필요한 실시간 애플리케이션에 이상적인 선택입니다. 또한, CUDA 백엔드를 통해 GPU 리소스를 효과적으로 활용할 수 있어 상당한 양의 데이터를 처리할 때 효율성이 향상됩니다. 또한 캔들은 웹어셈블리(WASM)와의 호환성을 통해 웹 기반 플랫폼 내에서 원활하게 배포할 수 있어 활용도가 향상되어 기존의 소프트웨어 및 하드웨어 경계를 넘어 잠재적인 사용 사례를 확장할 수 있습니다.

본질적으로 Candle은 머신 러닝 모델을 효율적으로 배포하는 데 내재된 어려움에 대한 매력적인 해결책을 제시합니다.Rust의 효율성 이점을 활용하고 사용자 친화성에 중점을 둔 간결한 디자인 철학을 고수하는 Candle은 개발자가 실제 배포 시나리오 내에서 프로세스를 최적화하고 최고 수준의 성능을 달성하는 데 필요한 도구를 제공합니다.

온라인 데모를 사용해 보세요: whisper , LLaMA2 , T5 , yolo , Segment Anything .

Google, NVIDIA, Meta, 스탠포드 대학교, 매사추세츠 공과대학(MIT), Microsoft 등 저명한 기관의 최고 전문가들이 구독하는 빠르게 확장 중인 AI 연구 뉴스레터를 구독하세요.