# 개요

모빌린트 NPU에서 AI 추론을 실행하세요. qb Runtime은 개발자, 엔지니어, 연구자가 모빌린트 NPU에서 AI 추론을 실행하는 데 필요한 핵심 구성 요소를 제공합니다.

- [시작하기](<#get-started>)
- [API 레퍼런스](<https://docs.mobilint.com/runtime/kr/v1.6/api/cpp/index.md>)

> [!TIP]
>
> **qb Runtime v1.6.0** 릴리스 — MXQ 패키지(`.mxqpkg`) 지원, MXQv8 지원, NPU 메모리 사용량 절감, 안정성 개선이 포함되었습니다. [릴리스 노트](<https://docs.mobilint.com/runtime/kr/v1.6/release_note/index.md>)를 확인하세요.

> [!NOTE]
>
> **Important**
>
> ARIES 기기의 드라이버 설치, 펌웨어 업데이트, NPU 코어 설정 가이드는 [ARIES 매뉴얼](</aries/kr/latest/>)로 이전되었습니다. 이 매뉴얼은 qb Runtime과 유틸리티를 다룹니다.

## qb Runtime이란?

**qb Runtime**은 모빌린트의 소프트웨어 개발 키트인 SDK qb의 추론 엔진입니다. [qb Compiler](</compiler/kr/latest/>)로 모빌린트 실행 파일 형식(**MXQ**)으로 컴파일된 모델을 로드하여, 내부 최적화 로직을 통해 NPU에서 추론을 실행합니다.

![런타임 수행](<https://docs.mobilint.com/runtime/images/SDK_Runtime_Execution.png>)

- **C++ / Python 인터페이스**: 런타임 라이브러리의 C++ 및 Python API로 애플리케이션에 NPU 추론을 통합할 수 있습니다.
- **Linux / Windows 지원**: 두 운영체제를 모두 지원하여 시스템 통합이 간편합니다.

## 사전 컴파일된 모델

모빌린트 NPU용 모델 파일은 [Hugging Face의 Mobilint, Inc. 페이지](<https://huggingface.co/mobilint>)에 공개됩니다. 비전, Transformers, MeloTTS 모델의 추론 코드는 용도별 패키지에서 관리합니다.

- [모델 파일 및 추론 패키지 확인](<https://docs.mobilint.com/runtime/kr/v1.6/model_zoo/index.md>)

## 시작하기

제품의 설치부터 고급 기능을 이용한 성능 최적화까지, qb Runtime 사용을 시작하세요.

## 설치

> [!NOTE]
>
> **Important**
>
> - 아래 설치 단계는 **ARIES 기반 제품에만** 해당합니다. ARIES 제품의 드라이버, 펌웨어, 하드웨어 설치는 [ARIES 매뉴얼](</aries/kr/latest/>)에서 확인할 수 있습니다.
> - **REGULUS** 기기는 필수 SDK 스택(드라이버, 런타임 라이브러리)과 유틸리티가 사전 설치된 채로 제공됩니다. 아래 **튜토리얼** 섹션을 바로 확인해주세요.

ARIES NPU 사용에 필수적인 SDK 소프트웨어를 다음 순서대로 설치해주세요.

1. [드라이버 설치 (ARIES 매뉴얼)](</aries/kr/latest/driver-installation/>): NPU를 운영체제에 노출시키는 커널 드라이버입니다.
2. [런타임 라이브러리 설치](<https://docs.mobilint.com/runtime/kr/v1.6/installing_runtime_library/index.md>): 모델을 로드하고 추론을 실행하는 C++ / Python 런타임입니다.
3. [호환성 정보 확인](<https://docs.mobilint.com/runtime/kr/v1.6/compatibility/index.md>): 런타임과 MXQ 모델 버전이 호환되는지 확인합니다.

> [!NOTE]
>
> 제공되는 SDK 파일 및 패키지에 접근하고 다운로드하려면 [다운로드 센터](<https://dl.mobilint.com>)의 계정이 필요합니다. 자세한 내용은 contact@mobilint.com 으로 문의해주세요.

### 선택 설치

일반적인 설치 과정에서는 필수가 아니며, 필요한 경우에만 진행하는 단계입니다.

- [펌웨어 업데이트 (ARIES 매뉴얼)](</aries/kr/latest/firmware-update/>): 호환성 확인 결과, 디바이스 펌웨어가 SDK가 요구하는 버전보다 낮은 경우에만 진행합니다.

> [!NOTE]
>
> 딥러닝 모델을 MXQ로 컴파일하는 과정은 별도의 [qb Compiler 문서](</compiler/kr/latest/>)에서 다루며, 이 매뉴얼에서는 다루지 않습니다. 모델을 바로 실행하려면 [사전 컴파일된 모델 안내](<https://docs.mobilint.com/runtime/kr/v1.6/model_zoo/index.md>)에서 제공 모델 파일과 추론 패키지를 확인하세요.

## 튜토리얼

NPU 작동에 필수적인 SDK qb를 모두 설치하였다면, 다음 튜토리얼 문서들을 확인하여 모빌린트 NPU에서 AI 추론을 성공적으로 실행하는 방법을 익힐 수 있습니다.

- [ResNet50 모델 추론 예제](<https://docs.mobilint.com/runtime/kr/v1.6/tutorial_resnet50/index.md>): 미리 컴파일된 모델로 첫 추론을 실행해 봅니다.
- [NPU 프로그래밍 가이드](<https://docs.mobilint.com/runtime/kr/v1.6/programming_guide/index.md>): 핵심 런타임 API와 추론 워크플로우를 안내합니다.

## 유틸리티

모빌린트가 제공하는 편의성 도구들을 확인하세요. NPU의 상태를 모니터링하거나 테스트할 때 도움이 됩니다. 오픈소스 사전 학습 모델을 바로 사용하고 싶다면 [Hugging Face의 Mobilint, Inc. 페이지](<https://huggingface.co/mobilint>)에서 제공 모델 파일을 확인하세요.

- [유틸리티 설치](<https://docs.mobilint.com/runtime/kr/v1.6/installing_utility/index.md>): 모빌린트의 커맨드라인 도구를 설치합니다.
- [유틸리티 사용](<https://docs.mobilint.com/runtime/kr/v1.6/utility_usage/index.md>): NPU 상태를 모니터링하고 진단을 실행합니다.
- [사전 컴파일된 모델](<https://docs.mobilint.com/runtime/kr/v1.6/model_zoo/index.md>): Hugging Face 모델 파일과 용도별 추론 패키지.

## 고급 기능

시스템 사용에 익숙해지면, 고급 기능 문서를 통해 NPU 활용을 더욱 최적화하거나 고급 튜토리얼을 참고할 수 있습니다.

- [고급 기능](<https://docs.mobilint.com/runtime/kr/v1.6/advanced_usage/index.md>): 처리량, 배칭, 메모리 사용을 최적화합니다.
- [NPU 멀티 코어 활용 (ARIES 매뉴얼)](</aries/kr/latest/core-mode/>): 추론을 여러 NPU 코어에 분산합니다.

## 배포

디바이스 플러그인을 설치하면 쿠버네티스 클러스터에서 Pod가 NPU를 스케줄링 가능한 리소스로 요청할 수 있습니다.

- [Mobilint Device Plugin](<https://docs.mobilint.com/runtime/kr/v1.6/kubernetes_device_plugin/index.md>): 쿠버네티스 클러스터에서 NPU를 리소스로 스케줄링합니다.

> [!TIP]
>
> 맞춤형 배포 지원이나 기술 문의가 필요하신가요 ? [https://discuss.mobilint.com](<https://discuss.mobilint.com>) 으로 연락해 주세요.
