시작하기#
이 섹션에서는 제품의 설치부터 제품 성능의 극대화를 위한 고급 기능들까지, 제품 사용에 필요한 내용들의 목록을 제공합니다.
설치#
중요
아래 설치 단계는 ARIES 기반 제품에만 해당합니다. ARIES 제품의 드라이버, 펌웨어, 하드웨어 설치는 ARIES 매뉴얼에서 확인할 수 있습니다.
REGULUS 기기는 필수 SDK 스택(드라이버, 런타임 라이브러리)과 유틸리티가 사전 설치된 채로 제공됩니다. 아래 튜토리얼 섹션을 바로 확인해주세요.
ARIES NPU 사용에 필수적인 SDK 소프트웨어를 다음 순서대로 설치해주세요.
드라이버 설치 (ARIES 매뉴얼): NPU를 운영체제에 노출시키는 커널 드라이버입니다.
런타임 라이브러리 설치: 모델을 로드하고 추론을 실행하는 C++ / Python 런타임입니다.
호환성 정보 확인: 런타임과 MXQ 모델 버전이 호환되는지 확인합니다.
참고
제공되는 SDK 파일 및 패키지에 접근하고 다운로드하려면 다운로드 센터의 계정이 필요합니다. 자세한 내용은 contact@mobilint.com 으로 문의해주세요.
선택 설치#
일반적인 설치 과정에서는 필수가 아니며, 필요한 경우에만 진행하는 단계입니다.
펌웨어 업데이트 (ARIES 매뉴얼): 호환성 확인 결과, 디바이스 펌웨어가 SDK가 요구하는 버전보다 낮은 경우에만 진행합니다.
참고
딥러닝 모델을 MXQ로 컴파일하는 과정은 별도의 qb Compiler 문서에서 다루며, 이 매뉴얼에서는 다루지 않습니다. 모델을 바로 실행하려면 Model Zoo의 사전 컴파일된 모델을 사용해주세요.
튜토리얼#
NPU 작동에 필수적인 SDK qb를 모두 설치하였다면, 다음 튜토리얼 문서들을 확인하여 모빌린트 NPU에서 AI 추론을 성공적으로 실행하는 방법을 익힐 수 있습니다.
ResNet50 모델 추론 예제: 미리 컴파일된 모델로 첫 추론을 실행해 봅니다.
NPU 프로그래밍 가이드: 핵심 런타임 API와 추론 워크플로우를 안내합니다.
유틸리티#
모빌린트가 제공하는 편의성 도구들을 확인하세요. NPU의 상태를 모니터링하거나 테스트할 때 도움이 됩니다. 오픈소스 사전 학습 모델을 바로 사용하고 싶다면 Model Zoo를 방문해 사전 컴파일된 모델을 확인해 보세요.
고급 기능#
시스템 사용에 익숙해지면, 고급 기능 문서를 통해 NPU 활용을 더욱 최적화하거나 고급 튜토리얼을 참고할 수 있습니다.
고급 기능: 처리량, 배칭, 메모리 사용을 최적화합니다.
NPU 멀티 코어 활용 (ARIES 매뉴얼): 추론을 여러 NPU 코어에 분산합니다.
배포#
디바이스 플러그인을 설치하면 쿠버네티스 클러스터에서 Pod가 NPU를 스케줄링 가능한 리소스로 요청할 수 있습니다.
Mobilint Device Plugin: 쿠버네티스 클러스터에서 NPU를 리소스로 스케줄링합니다.