CPU Offloading (Beta Version)#
Remark CPU Offloading을 지원하는 런타임이 설치된 경우에만, CPU Offloading을 지원하도록 컴파일된 MXQ 파일을 사용하여 추론을 수행할 수 있습니다.
qubee v0.7부터 MXQ 컴파일을 위한 CPU Offloading(Beta 버전)을 제공합니다. CPU Offloading은 Mobilint NPU가 지원하지 않는 연산을 CPU로 자동으로 Offloading하여 사용자가 모델을 컴파일하는 과정을 용이하게 합니다. 예를 들어, 모델에 포함된 전처리 또는 후처리 작업이 NPU에서 지원하지 않는 연산을 포함하는 경우, 사용자는 컴파일 후 수동으로 구현해야 했습니다. 그러나 CPU Offloading은 이러한 대부분의 작업을 처리하여 추가 작업의 필요성을 줄여줍니다.
CPU Offloading이 적용된 경우 calibration 데이터셋 준비 및 모델 컴파일 절차는 약간 다릅니다. 다음과 같은 점에 유의해야 합니다:
사전 처리된 입력 형태는 원래 모델의 입력 형태와 일치해야 합니다. CPU Offloading 없이 모델을 컴파일할 때는 사전 처리된 입력 형태는 (H, W, C) 형식이어야 합니다.
함수 mxq_compile의 인수 cpu_offload를 True로 설정하여 CPU Offloading을 활성화해야 합니다.
