NVIDIA® TensorRT™ supports different data formats

NVIDIA® TensorRT™ supports different data formats

NVIDIA®TensorRT公司™ 支持不同的数据格式。需要考虑两个方面:数据类型和布局。 数据类型格式

数据类型是每个单独值的表示。它的大小决定了值的范围和表示的精度;它们是FP32(32位浮点或单精度)、FP16(16位浮点或半精度)、INT32(32位整数表示)和INT8(8位表示)。

布局格式

布局格式决定了存储值的顺序。通常,批处理维度是最左边的维度,其他维度是指图像中每个数据项的方面,例如C是通道,H是高度,W是宽度。忽略批大小(总是在这些值之前),C、H和W通常排序为

CHWindex.html#data-format-desc__fig1 or
HWCindex.html#data-format-desc__fig2.
在这里插入图片描述
在这里插入图片描述
为了实现更快的计算,定义了更多的格式来组合通道值并使用降低的精度。因此,TensorRT还支持NC/2HW2和NHWC8格式。

在NC/2HW2中,通道值对打包在每个HxW矩阵中(在奇数个通道的情况下,有一个空值)。结果是⌈C/2⌉HxW矩阵的值是两个连续通道的值对的格式index.html数据index.html#data-format-desc__fig3;请注意,此顺序将维度作为步长为1的通道的值(如果它们在同一对中),否则步长为2xHxW。
在这里插入图片描述
在NHWC8中,HxW矩阵的条目包括所有信道的值index.html#data-format-desc__fig4。将这些值加起来最接近的值是⌈C/8⌉和C的相加。
在这里插入图片描述

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页