시작하기#
이 섹션에서는 제품의 설치부터 제품 성능의 극대화를 위한 고급 기능들까지, 제품 사용에 필요한 내용들의 목록을 제공합니다.
모빌린트 NPU 사용 개요#
모빌린트는 두가지 주력 NPU 칩 ARIES(AI 가속기)와 REGULUS(SoC)를 제공합니다. 사용중인 NPU 및 폼팩터에 따라 설치 과정이 달라질 수 있습니다.
아래에서 제품명을 클릭하여 제품의 시스템 요구사항과 시스템 내 설치 방법에 대한 안내를 확인할 수 있습니다.
하드웨어 소개#
ARIES MLA100 PCIe Card: 서버 및 워크스테이션용 PCIe 카드 형태의 ARIES NPU.
ARIES MLA100 MXM Module: 임베디드 시스템용 MXM 모듈 형태의 ARIES NPU.
ARIES MLX-A1 Edge AI PC: ARIES 기반의 올인원 엣지 AI PC.
REGULUS System-on-Module (SoM): 초저전력 REGULUS SoM, 문서 추가 예정입니다.
SDK 소프트웨어 소개#
중요
아래 설치 단계는 ARIES 기반 제품에만 해당합니다.
REGULUS 기기는 필수 SDK 스택(드라이버, 런타임 라이브러리)과 유틸리티가 사전 설치된 채로 제공됩니다. 아래 튜토리얼 섹션을 바로 확인해주세요.
ARIES NPU 사용에 필수적인 SDK 소프트웨어를 다음 순서대로 설치해주세요.
드라이버 설치: NPU를 운영체제에 노출시키는 커널 드라이버입니다.
런타임 라이브러리 설치: 모델을 로드하고 추론을 실행하는 C++ / Python 런타임입니다.
호환성 정보 확인: 드라이버, 펌웨어, 라이브러리 버전이 호환되는지 확인합니다.
참고
제공되는 SDK 파일 및 패키지에 접근하고 다운로드하려면 다운로드 센터의 계정이 필요합니다. 자세한 내용은 contact@mobilint.com 으로 문의해주세요.
선택 설치#
일반적인 설치 과정에서는 필수가 아니며, 필요한 경우에만 진행하는 단계입니다.
펌웨어 업데이트: 호환성 확인 결과, 디바이스 펌웨어가 SDK가 요구하는 버전보다 낮은 경우에만 진행합니다.
참고
딥러닝 모델을 MXQ로 컴파일하는 qb Compiler는 이 매뉴얼에서 다루지 않으며, 별도 문서로 제공됩니다. 모델을 바로 실행하려면 Model Zoo의 사전 컴파일된 모델을 사용해주세요.
튜토리얼#
NPU 작동에 필수적인 SDK qb를 모두 설치하였다면, 다음 튜토리얼 문서들을 확인하여 모빌린트 NPU에서 AI 추론을 성공적으로 실행하는 방법을 익힐 수 있습니다.
ResNet50 모델 실행 예제: 미리 컴파일된 모델로 첫 추론을 실행해 봅니다.
NPU 프로그래밍 가이드: 핵심 런타임 API와 추론 워크플로우를 안내합니다.
유틸리티#
모빌린트가 제공하는 편의성 도구들을 확인하세요. NPU의 상태를 모니터링하거나 테스트할 때 도움이 됩니다. 오픈소스 사전 학습 모델을 바로 사용하고 싶다면 Model Zoo를 방문해 사전 컴파일된 모델을 확인해 보세요.
고급 기능#
시스템 사용에 익숙해지면, 고급 기능 문서를 통해 NPU 활용을 더욱 최적화하거나 고급 튜토리얼을 참고할 수 있습니다.
고급 기능: 처리량, 배칭, 메모리 사용을 최적화합니다.
NPU 멀티 코어 활용: 추론을 여러 NPU 코어에 분산합니다.
배포#
디바이스 플러그인을 설치하면 쿠버네티스 클러스터에서 Pod가 NPU를 스케줄링 가능한 리소스로 요청할 수 있습니다.
Mobilint Device Plugin: 쿠버네티스 클러스터에서 NPU를 리소스로 스케줄링합니다.