개요¶
모빌린트 NPU에서 AI 추론을 실행하세요. qb Runtime은 개발자, 엔지니어, 연구자가 모빌린트 NPU에서 AI 추론을 실행하는 데 필요한 핵심 구성 요소를 제공합니다.
Tip
qb Runtime v1.5.0 릴리스 — KV 캐시 개별 제어 API, 비대칭 양자화 모델의 입력 양자화 정확도 개선, NPUData 버그 수정이 포함되었습니다. 릴리스 노트를 확인하세요.
Important
ARIES 기기의 드라이버 설치, 펌웨어 업데이트, NPU 코어 설정 가이드는 ARIES 매뉴얼로 이전되었습니다. 이 매뉴얼은 qb Runtime과 유틸리티를 다룹니다.
qb Runtime이란?¶
qb Runtime은 모빌린트의 소프트웨어 개발 키트인 SDK qb의 추론 엔진입니다. qb Compiler로 모빌린트 실행 파일 형식(MXQ)으로 컴파일된 모델을 로드하여, 내부 최적화 로직을 통해 NPU에서 추론을 실행합니다.

- C++ / Python 인터페이스: 런타임 라이브러리의 C++ 및 Python API로 애플리케이션에 NPU 추론을 통합할 수 있습니다.
- Linux / Windows 지원: 두 운영체제를 모두 지원하여 시스템 통합이 간편합니다.
사전 컴파일된 모델¶
모빌린트 NPU용 모델 파일은 Hugging Face의 Mobilint, Inc. 페이지에 공개됩니다. 비전, Transformers, MeloTTS 모델의 추론 코드는 용도별 패키지에서 관리합니다.
시작하기¶
제품의 설치부터 고급 기능을 이용한 성능 최적화까지, qb Runtime 사용을 시작하세요.
설치¶
Important
- 아래 설치 단계는 ARIES 기반 제품에만 해당합니다. ARIES 제품의 드라이버, 펌웨어, 하드웨어 설치는 ARIES 매뉴얼에서 확인할 수 있습니다.
- REGULUS 기기는 필수 SDK 스택(드라이버, 런타임 라이브러리)과 유틸리티가 사전 설치된 채로 제공됩니다. 아래 튜토리얼 섹션을 바로 확인해주세요.
ARIES NPU 사용에 필수적인 SDK 소프트웨어를 다음 순서대로 설치해주세요.
- 드라이버 설치 (ARIES 매뉴얼): NPU를 운영체제에 노출시키는 커널 드라이버입니다.
- 런타임 라이브러리 설치: 모델을 로드하고 추론을 실행하는 C++ / Python 런타임입니다.
- 호환성 정보 확인: 런타임과 MXQ 모델 버전이 호환되는지 확인합니다.
Note
제공되는 SDK 파일 및 패키지에 접근하고 다운로드하려면 다운로드 센터의 계정이 필요합니다. 자세한 내용은 contact@mobilint.com 으로 문의해주세요.
선택 설치¶
일반적인 설치 과정에서는 필수가 아니며, 필요한 경우에만 진행하는 단계입니다.
- 펌웨어 업데이트 (ARIES 매뉴얼): 호환성 확인 결과, 디바이스 펌웨어가 SDK가 요구하는 버전보다 낮은 경우에만 진행합니다.
Note
딥러닝 모델을 MXQ로 컴파일하는 과정은 별도의 qb Compiler 문서에서 다루며, 이 매뉴얼에서는 다루지 않습니다. 모델을 바로 실행하려면 사전 컴파일된 모델 안내에서 제공 모델 파일과 추론 패키지를 확인하세요.
튜토리얼¶
NPU 작동에 필수적인 SDK qb를 모두 설치하였다면, 다음 튜토리얼 문서들을 확인하여 모빌린트 NPU에서 AI 추론을 성공적으로 실행하는 방법을 익힐 수 있습니다.
- ResNet50 모델 추론 예제: 미리 컴파일된 모델로 첫 추론을 실행해 봅니다.
- NPU 프로그래밍 가이드: 핵심 런타임 API와 추론 워크플로우를 안내합니다.
유틸리티¶
모빌린트가 제공하는 편의성 도구들을 확인하세요. NPU의 상태를 모니터링하거나 테스트할 때 도움이 됩니다. 오픈소스 사전 학습 모델을 바로 사용하고 싶다면 Hugging Face의 Mobilint, Inc. 페이지에서 제공 모델 파일을 확인하세요.
- 유틸리티 설치: 모빌린트의 커맨드라인 도구를 설치합니다.
- 유틸리티 사용: NPU 상태를 모니터링하고 진단을 실행합니다.
- 사전 컴파일된 모델: Hugging Face 모델 파일과 용도별 추론 패키지.
고급 기능¶
시스템 사용에 익숙해지면, 고급 기능 문서를 통해 NPU 활용을 더욱 최적화하거나 고급 튜토리얼을 참고할 수 있습니다.
- 고급 기능: 처리량, 배칭, 메모리 사용을 최적화합니다.
- NPU 멀티 코어 활용 (ARIES 매뉴얼): 추론을 여러 NPU 코어에 분산합니다.
배포¶
디바이스 플러그인을 설치하면 쿠버네티스 클러스터에서 Pod가 NPU를 스케줄링 가능한 리소스로 요청할 수 있습니다.
- Mobilint Device Plugin: 쿠버네티스 클러스터에서 NPU를 리소스로 스케줄링합니다.
Tip
맞춤형 배포 지원이나 기술 문의가 필요하신가요 ? https://discuss.mobilint.com 으로 연락해 주세요.