ASUS, UGen300 USB AI 가속기 발표

**번역본뉴스입니다. 오역이 있을수 있습니다.

ASUS는 오늘 ASUS의 첫 번째 AI USB 장치인 UGen300 USB AI 가속기를 발표했습니다. 이 제품은 어떤 장치에서도 추론 성능을 직접 구현할 수 있게 해주며, M.2 버전으로도 제공됩니다. 이 슬림한 AI 가속기는 105 x 50 x 18 mm 크기로, Hailo-10H AI 프로세서를 탑재하여 LLM, VLM 등과 같은 대규모 언어 모델을 지원하기 위해 40 AI TOPS의 전용 성능을 제공합니다. UGen300은 8GB LPDDR4 전용 메모리를 포함하고 있으며, USB-C 인터페이스를 통해 다른 장치와 연결됩니다. 일반적인 작업 부하 하에서 전력 소비는 단 2.5와트에 불과합니다. 편리한 플러그 앤 플레이 설계를 통해 Windows, Linux 및 Android와의 교차 플랫폼 호환성을 보장합니다. 또한 UGen300은 TensorFlow, PyTorch, ONNX와 같은 주요 AI 프레임워크를 즉시 지원합니다.

Hailo의 최고 수익 책임자(CRO)인 맥스 글로버(Max Glover)는 "Hailo-10H를 어디서나 사용되는 USB 장치에 통합함으로써, ASUS는 모든 이에게 AI와 생성형 AI의 모든 능력을 제공하게 되었습니다."라고 말했습니다. 또한 "우리는 개발자 커뮤니티가 이 플러그 앤 플레이 가속기를 사용하여 온디바이스 AI의 경계를 어떻게 확장할지 기대하고 있습니다. 이것이 바로 Hailo가 구상하는 AI의 미래입니다. 즉, 누구나 접근 가능하고 저렴하며, 누구나 구축할 수 있도록 설계된 것입니다."라고 덧붙였습니다.

타의 추종을 불허하는 엣지 생성형 AI 성능

ASUS UGen300 USB AI 가속기는 40 AI TOPS의 전용 성능을 제공하는 Hailo-10H AI 프로세서를 내장하고 있으며, LLM 추론 및 시각 언어 작업을 포함한 생성형 AI 작업 부하에 최적화되어 있습니다. 이는 호스트 장치의 CPU 및 NPU를 보완하고 AI 가속을 제공하여 시스템 리소스를 확보함으로써, 클라우드 컴퓨팅에 의존하지 않고 온디바이스 생성형 AI 추론을 가능하게 합니다.

클라우드 기반 AI와 비교하여 UGen300 사용자는 월간 구독료를 지불할 필요가 없고, 지연 시간이 없으며, 타의 추종을 불허하는 신뢰성과 개인 정보 보호를 누릴 수 있습니다. UGen300은 텍스트 생성, 비디오 요약, 이벤트 트리거링, 음성 동작(Voice to action), 실시간 인식과 같이 까다로운 생성형 AI 애플리케이션을 실행할 수 있습니다. 저전력 설계로 단 2.5와트의 전력만 소비하여 엣지에서 효율적이고 고성능인 AI를 구현합니다.

8GB LPDDR4 메모리

ASUS UGen300은 안정적인 AI 계산과 대규모 모델 실행을 위해 8GB LPDDR4 전용 메모리를 통합했습니다. 이는 AI 기능이 부족한 호스트 시스템이 AI 도구를 효과적으로 실행할 수 있도록 지원하며, 과중한 AI 작업 부하를 대신 처리하여 시스템의 최적 균형을 보장하는 동시에 효율성과 멀티태스킹 잠재력을 극대화합니다. 시스템 메모리를 공유하는 일반적인 NPU와 달리, UGen300의 전용 RAM 아키텍처는 병목 현상을 방지하고 복잡한 AI 파이프라인을 실행하는 개발자와 전문가에게 일관된 처리량을 보장합니다.

플러그 앤 플레이의 편리함

USB 3.1 Gen 2 Type-C 인터페이스는 플러그 앤 플레이의 편리함을 제공하여 소비자용 및 산업용 장치와 호환되는 진정한 플랫폼 독립적 엣지 AI 가속기를 구현합니다. ASUS UGen300은 Windows, Linux 및 Android 생태계 전반에 걸친 교차 플랫폼 지원은 물론, TensorFlow, PyTorch, ONNX를 포함한 주요 AI 프레임워크와의 광범위한 호환성을 제공합니다. UGen300은 확장 가능하고 휴대 가능한 컴퓨팅 파워가 필요한 개발자, 교육자 및 임베디드 솔루션 제공업체에게 이상적입니다.

UGen300은 AI 개발을 가속화하기 위해 설계된 간소화된 생태계의 지원을 받습니다. 곧 출시될 UGen Utility를 통해 100개 이상의 사전 학습된 모델을 사용하여 빠른 검증이 가능하므로 쉽게 시작할 수 있습니다. 사용자는 또한 Hailo 개발자 커뮤니티에 접속하여 튜토리얼, 참조 설계 및 공유된 인사이트를 확인하고, 개발자가 엣지 AI 애플리케이션을 더 빠르게 구축하고 배포하는 데 도움을 받을 수 있습니다.

 

제품사이트 : https://www.asus.com/motherboards-components/ai-accelerator/ugen/ugen300-usb-8g/