모빌린트 NPU에서 AI 추론을 실행하세요#
qb Runtime은 개발자, 엔지니어, 연구자가 모빌린트 NPU에서 AI 추론을 실행하는 데 필요한 핵심 구성 요소를 제공합니다
팁
qb Runtime v1.5.0 릴리즈 — KV 캐시 개별 제어 API, 비대칭 양자화 모델의 입력 양자화 정확도 개선, NPUData 버그 수정이 포함되었습니다. 릴리즈 노트를 확인하세요.
중요
ARIES 기기의 드라이버 설치, 펌웨어 업데이트, NPU 코어 설정 가이드는 ARIES 매뉴얼로 이전되었습니다. 이 매뉴얼은 qb Runtime과 유틸리티를 다룹니다.
qb Runtime이란?#
qb Runtime은 모빌린트의 소프트웨어 개발 키트인 SDK qb의 추론 엔진입니다. qb Compiler로 모빌린트 실행 파일 형식(MXQ)으로 컴파일된 모델을 로드하여, 내부 최적화 로직을 통해 NPU에서 추론을 실행합니다.
C++ / Python 인터페이스: 런타임 라이브러리의 C++ 및 Python API로 애플리케이션에 NPU 추론을 통합할 수 있습니다.
Linux / Windows 지원: 두 운영체제를 모두 지원하여 시스템 통합이 간편합니다.
사전 컴파일된 모델#
모빌린트 NPU용 모델 파일은 Hugging Face의 Mobilint, Inc. 페이지에 공개됩니다. 비전, Transformers, MeloTTS 모델의 추론 코드는 용도별 패키지에서 관리합니다.
시작하기#
제품의 설치부터 고급 기능을 이용한 성능 최적화까지, qb Runtime 사용을 시작하세요.
팁
맞춤형 배포 지원이나 기술 문의가 필요하신가요 ? https://discuss.mobilint.com 으로 연락해 주세요.