콘텐츠로 이동

NPU 연산 지원 범위

다음 Mobilint IR 연산은 qb Compiler가 대상 NPU에 할당할 수 있는 범위입니다. ✅는 NPU 공통 입력 조건에서 지원, ⚠️는 형상·속성·입력 또는 인접 연산에 따라 지원, ❌는 해당 장치에서 미지원을 뜻합니다. 목록에 있어도 모델 전체의 컴파일 성공이 보장되지는 않습니다. 원본 모델의 연산자는 장치 할당 전에 변환될 수 있습니다.

regulus-rb-usb의 연산 지원 범위와 조건은 regulus-rb와 같습니다.

Mobilint IR 연산 aries-rb regulus-ra regulus-rb
Abs ⚠️ ⚠️ ⚠️
Adding ⚠️ ⚠️ ⚠️
AddingConstant ⚠️ ⚠️ ⚠️
Batchnorm ⚠️ ⚠️ ⚠️
Celu ⚠️ ⚠️ ⚠️
Clip ⚠️ ⚠️ ⚠️
Concatenate ⚠️ ⚠️ ⚠️
Convolution ✅ ✅ ✅
Cos ⚠️ ❌ ⚠️
DepthwiseConvolution ✅ ✅ ✅
Div ⚠️ ⚠️ ⚠️
DivConstant ⚠️ ⚠️ ⚠️
Elu ⚠️ ⚠️ ⚠️
Erf ⚠️ ⚠️ ⚠️
Exp ⚠️ ⚠️ ⚠️
Gelu ⚠️ ⚠️ ⚠️
GlobalResponseNormalization ⚠️ ⚠️ ⚠️
GroupConvolution ✅ ✅ ✅
GroupNormalization ⚠️ ⚠️ ⚠️
HardSigmoid ⚠️ ⚠️ ⚠️
HardSwish ⚠️ ⚠️ ⚠️
Hardtanh ⚠️ ⚠️ ⚠️
HeaderView ⚠️ ⚠️ ⚠️
HeaderViewRevert ⚠️ ⚠️ ⚠️
InputConstant ✅ ✅ ✅
InstanceNormalization ⚠️ ⚠️ ⚠️
InverseSigmoid ⚠️ ⚠️ ⚠️
L1Normalization ⚠️ ⚠️ ⚠️
L2Normalization ⚠️ ⚠️ ⚠️
LayerNormalization ⚠️ ⚠️ ⚠️
LeakyRelu ⚠️ ⚠️ ⚠️
Log ⚠️ ⚠️ ⚠️
MaskedFill ⚠️ ⚠️ ⚠️
MatMul ⚠️ ⚠️ ⚠️
Mish ⚠️ ⚠️ ⚠️
MoeAggregator ⚠️ ⚠️ ⚠️
MoeDispatcher ⚠️ ⚠️ ⚠️
Multiply ⚠️ ⚠️ ⚠️
MultiplyConstant ⚠️ ⚠️ ⚠️
OrderedPatchify ⚠️ ⚠️ ⚠️
Pad ⚠️ ⚠️ ⚠️
Pooling ✅ ✅ ✅
Pow ⚠️ ⚠️ ⚠️
PRelu ⚠️ ⚠️ ⚠️
QuickGelu ⚠️ ⚠️ ⚠️
ReduceMax ⚠️ ⚠️ ⚠️
ReduceMean ⚠️ ⚠️ ⚠️
ReduceMin ⚠️ ⚠️ ⚠️
ReduceSum ⚠️ ⚠️ ⚠️
RelShift ⚠️ ⚠️ ⚠️
Relu ⚠️ ⚠️ ⚠️
Reshape ⚠️ ⚠️ ⚠️
Resize ⚠️ ⚠️ ⚠️
RmsNormalization ⚠️ ⚠️ ⚠️
Rsqrt ⚠️ ⚠️ ⚠️
Sigmoid ⚠️ ⚠️ ⚠️
Sin ⚠️ ❌ ⚠️
Slice ⚠️ ⚠️ ⚠️
Softmax ⚠️ ❌ ⚠️
Softplus ⚠️ ⚠️ ⚠️
Sqrt ⚠️ ⚠️ ⚠️
StaggeredPadding ⚠️ ⚠️ ⚠️
StatefulAttentionMaskWrapper ⚠️ ⚠️ ⚠️
StatefulCachedStack ⚠️ ⚠️ ⚠️
StatefulGRUWrapper ✅ ✅ ✅
StatefulKVCacheWrapper ⚠️ ⚠️ ⚠️
StatefulLSTMWrapper ✅ ✅ ✅
StatefulRNNWrapper ✅ ✅ ✅
StatefulRoPEWrapper ⚠️ ⚠️ ⚠️
Sub ⚠️ ⚠️ ⚠️
SubConstant ⚠️ ⚠️ ⚠️
SubgraphCall ⚠️ ⚠️ ⚠️
SumNormalization ⚠️ ⚠️ ⚠️
Swish ⚠️ ⚠️ ⚠️
Tan ⚠️ ⚠️ ⚠️
Tanh ⚠️ ⚠️ ⚠️
Transpose ⚠️ ⚠️ ⚠️
TransposeConvolution ✅ ✅ ✅
Where ⚠️ ⚠️ ⚠️

Sin, Cos는 aries-rb, regulus-rb에서 앞선 연산이 지원되는 경우에만 지원합니다.

입력과 속성은 Mobilint IR 연산 형식을 참조하세요. CPU 실행 범위는 CPU 오프로딩과 설치된 qb Runtime에서 확인해야 합니다.