콘텐츠로 이동

CPU 오프로딩

CPU 오프로딩 개요

CPU 오프로딩은 모델에서 지원되지 않거나 NPU 실행에 적합하지 않은 부분을 CPU에 남기고, 나머지 지원되는 부분은 Mobilint NPU용으로 컴파일하는 기능입니다. 산출물은 여전히 MXQ 패키지이지만, 이를 실행하려면 런타임이 CPU 오프로딩 실행을 지원해야 합니다.

CPU 오프로딩은 모델 안에 작은 전처리, 후처리, 형상 처리, 인덱싱 연산이 있고 해당 연산이 NPU 실행에 적합하지 않을 때 유용합니다. 지원되지 않는 구간이 크거나 성능에 중요한 연산 구간 중간에 있으면 원본 모델을 수정하거나, 더 깔끔한 그래프로 내보내거나, NPU 서브그래프만 컴파일하는 편이 좋습니다.

CPU 오프로딩은 컴파일 설정 또는 Python API에서 명시적으로 활성화합니다.

from qbcompiler import mxq_compile

mxq_compile(
    model="model.onnx",
    backend="onnx",
    target_device="regulus-rb",
    calib_data_path="./calib",
    save_path="./model_cpu_offload.mxq",
    cpu_offload=True,
)

컴파일 설정에서는 cpuOffload: true를 사용하고, 설치된 CLI가 해당 플래그를 제공하면 --cpu-offload를 사용할 수 있습니다.

디바이스에서 사용하는 런타임 버전이 CPU 오프로딩으로 컴파일된 MXQ 실행을 지원하는지 확인해야 합니다. CPU 오프로딩은 임의의 Python, PyTorch, TensorFlow, 사용자 코드 실행을 대체하지 않으며, 이 경로가 지원하는 연산 범위만 처리합니다.

CPU 오프로딩 연산 범위

다음 MXQ 레이어 타입은 qb Runtime 1.3.0의 CPU 오프로딩 경로에서 실행할 수 있습니다. CPU 실행 지원 범위는 qb Compiler 릴리스와 별개로 설치된 런타임에 따라 달라집니다. 연산 속성, 입력 형상·자료형, 그래프 분할 조건도 충족해야 합니다.

입력·상수·자료형

  • Bridge
  • Cast
  • ConstantOfShape
  • Input
  • InputConstant
  • Range

산술·수학

  • Abs
  • Adding
  • AddingConstant
  • Div
  • DivConstant
  • Exp
  • Log
  • MatMul
  • Mod
  • Multiply
  • MultiplyConstant
  • Pow
  • Sqrt
  • Sub
  • SubConstant

활성화·정규화

  • Clip
  • GroupNormalization
  • InstanceNormalization
  • LayerNormalization
  • Relu
  • Sigmoid
  • Softmax
  • Softplus
  • Tanh

비교·논리

  • And
  • Equal
  • Greater
  • Less
  • Not
  • Or
  • Where
  • Xor

형상·축

  • Concatenate
  • Expand
  • Flatten
  • Flip
  • HeaderView
  • Reshape
  • Reverse
  • Shape
  • Split
  • Squeeze
  • Tile
  • Transpose
  • Unsqueeze

인덱싱·선택·축약

  • ArgMax
  • Gather
  • GatherConstant
  • GatherElements
  • GatherND
  • NonZero
  • ReduceMax
  • ReduceMean
  • ReduceMin
  • ReduceProd
  • ReduceSum
  • ScatterND
  • Slice
  • TopKIndices
  • TopKValues

공간·기타

  • GridSample
  • MeloTTSPiecewiseRationalQuadraticTransform
  • Pooling
  • Resize

목록에 없는 연산은 해당 런타임의 CPU 오프로딩 경로에서 지원 범위에 포함되지 않습니다. 목록의 이름은 원본 프레임워크 연산자 이름과 다를 수 있는 MXQ 레이어 타입입니다.

지원되지 않는 연산자 처리

parse 단계에서 qb Compiler는 원본 모델을 MBLT로 변환하고 선택한 target device에서 지원되는 레이어를 표시합니다. MXQ 생성 단계에서 CPU 오프로딩을 사용하면 그래프는 세 구간으로 나뉠 수 있습니다.

  • CPU head: NPU 실행 가능 구간 앞에 있는 CPU 실행 구간입니다.
  • NPU 연산 구간: NPU용으로 컴파일되는 연속된 서브그래프입니다.
  • CPU tail: NPU 연산 구간 뒤에 있는 CPU 실행 구간입니다. 대개 작업별 후처리입니다.

이 구조는 YOLO처럼 합성곱 백본과 neck은 NPU에 적합하지만 마지막 디코딩이나 필터링 로직에 지원되지 않는 연산자가 포함될 수 있는 모델에서 특히 유용합니다. 최종 컴파일 전에 Netron으로 MBLT를 열어 지원 레이어 구간을 확인할 수 있습니다.

지원되지 않는 연산자가 있다고 해서 항상 안전한 것은 아닙니다. CPU 오프로딩은 그래프 경계 주변의 단순 CPU 실행 구간에 적합합니다. 지원되지 않는 연산자가 NPU 연산 구간을 여러 작은 구간으로 나누면 CPU/NPU 전송 비용이 커지고, 컴파일러가 실용적인 MXQ를 만들지 못할 수 있습니다.

캘리브레이션 데이터 형상 차이

캘리브레이션 샘플은 CPU 오프로딩 사용 여부가 아니라 실제로 컴파일하는 그래프의 입력 명세에 맞춰야 합니다. 형상, 레이아웃, 자료형과 컴파일 설정의 전처리를 함께 확인하세요. CPU head를 컴파일 그래프에 포함하거나 제외할 때 필요한 입력이 달라질 수 있습니다.

  • CPU head 포함: CPU head 앞에서 받는 입력으로 캘리브레이션합니다. 보통 원본 모델 입력입니다. 모델 입력이 NCHW이면 그 레이아웃을, 컴파일된 입력이 원본 이미지 형태의 NHWC/uint8을 기대하면 그 형식과 자료형을 사용합니다. 컴파일 설정이 모델 앞에 전처리를 추가한다면 컴파일러에 보이는 입력 형식을 따릅니다.
  • CPU head 없음, CPU tail 유무와 무관: NPU 연산 구간 입력으로 캘리브레이션합니다. 후처리만 CPU로 오프로딩해도 필요한 입력 형상은 바뀌지 않습니다.
  • CPU head를 제외하고 NPU 연산 구간만 컴파일: 추출한 NPU 연산 구간의 입력으로 캘리브레이션합니다. CPU head를 별도로 실행한다면 그 출력이 이 입력에 해당합니다.

캘리브레이션 샘플의 전처리와 수치 분포도 실제 추론 입력과 같아야 합니다. 원본 모델과 정확도가 다르면 양자화를 조정하기 전에 입력 명세, 전처리 순서, 채널 순서, 정규화, 출력 해석을 확인하세요.