모빌린트 NPU에서 AI 추론을 실행하세요

모빌린트 NPU에서 AI 추론을 실행하세요#

qb Runtime은 개발자, 엔지니어, 연구자가 모빌린트 NPU에서 AI 추론을 실행하는 데 필요한 핵심 구성 요소를 제공합니다

qb Runtime v1.3.1 릴리즈 — 16비트 정수형 지원과 안정성·성능 개선이 포함되었습니다. 릴리즈 노트를 확인하세요.

중요

ARIES 기기의 드라이버 설치, 펌웨어 업데이트, NPU 코어 설정 가이드는 ARIES 매뉴얼로 이전되었습니다. 이 매뉴얼은 qb Runtime과 유틸리티를 다룹니다.

qb Runtime이란?#

qb Runtime은 모빌린트의 소프트웨어 개발 키트인 SDK qb의 추론 엔진입니다. qb Compiler로 모빌린트 실행 파일 형식(MXQ)으로 컴파일된 모델을 로드하여, 내부 최적화 로직을 통해 NPU에서 추론을 실행합니다.

런타임 수행

  • C++ / Python 인터페이스: 런타임 라이브러리의 C++ 및 Python API로 애플리케이션에 NPU 추론을 통합할 수 있습니다.

  • Linux / Windows 지원: 두 운영체제를 모두 지원하여 시스템 통합이 간편합니다.

모빌린트 모델 저장소 (Model Zoo)#

모빌린트는 모빌린트 NPU용으로 사전 컴파일된 오픈소스 모델을 제공하는 모델 저장소를 지속적으로 확장하고 있습니다. 이 .mxq(Mobilint eXeCUtable) 파일은 모빌린트 런타임에 최적화되어 지원되는 NPU 하드웨어에서 즉시 실행할 수 있습니다. 새로운 모델들은 진화하는 AI 모델 상황과 고객들의 요구에 맞춰 지속적으로 추가됩니다.

시작하기#

제품의 설치부터 고급 기능을 이용한 성능 최적화까지, qb Runtime 사용을 시작하세요.

맞춤형 배포 지원이나 기술 문의가 필요하신가요 ? https://discuss.mobilint.com 으로 연락해 주세요.