[deploee] terminology

[tpoisonooo]

关于 input shape

模型的输入 shape 有两种：

• 静态 shape。例如 onnx 格式给定 input 是 [1,3,224,224]，推理必须使用这个尺寸
• 动态 shape。例如 onnx 描述 [batch, 3, height, width]，或者 trt 给 min/opt/max 范围

事实上，每个推理框架对 shape 的要求是不同的：

1. ncnn 不在乎 shape 是多少，一般不用填
2. onnx 推荐用静态，因为后续可能用 onnx 再转 NPU
3. trt 要求必须给一个范围
4. openvino 用的固定值
5. SNPE 用 nhwc format
   ..

模型转换为啥要填动态 shape ?

可以看到，每个框架要求不一样，但实现硬件模型库，不能写大量的 if-else，否则难以维护。

所以无论 UI 输入的是什么，在后端系统内部，都会调整成这种结构：

shapes = {
  "input_x" : {
    "min_shape": [1,3,224,224],
    "opt_shape": [1,3,224,224],
    "max_shape": [1,3,224,224],
  },
  "input_y" : {
    "min_shape": [1],
    "opt_shape": [1],
    "max_shape": [1],
  },
  ..
}

UI 允许何种输入?

20230329 之前

填 shape 本身，是很费事的, 用户不输入 shape 的时候, 系统来做模糊查询, 匹配已有的结果。
也就是从这个目录里模糊匹配，所以用户不输入、大概率也能转出来

当然了，我们允许用户输入 shape。为了填写方便（少按 shift 少写"），我们采用 toml 语法：

[input]
min_shape = [1,3,112,112]
opt_shape = [1,3,224,224]
max_shape = [1,3,600,600]

并非所有 runtime 都需要 shape 范围，例如用 ncnn 做推理框架，就不用填。

20230329 之后

用户输入的格式仍然是 toml，我们应该尽量避免用户自己填

之前是从已有目录里模糊匹配。效果一般，例如 yolox 经常匹配出 [1,3,300,300]，实际上用 640x640 才对
所以新版本增加了 shape 推导：

• 后端先解析训练配置, 模拟计算 input_shape
• 模拟不出来, 才去做模糊匹配已有目录

同时增强输入体验，少敲键盘:

• 用户可以不输入完整的 toml. 输入 [1,3,224,224] 或者 input = [1,2,224,224], 会内部补全成

[input]
min_shape = [1,3,224,224]
opt_shape = [1,3,224,224]
max_shape = [1,3,224,224]

关于 SDK

模型转换生成 SDK 包啥意思 ?
mmdeploy 预制了各算法的 C++ 前后处理。模型转换后会出现对应配置文件，整个 work_dir 模型包可以在硬件上跑完整的功能，而非推理本身。

[tpoisonooo]

input 是模型输入的 key，模型没有 input1 这个输入时，不要写 input1