边缘盒子 算力单位
当我们有一天需要边缘盒子时，打开百度或者淘宝搜索一圈，就能发现可选的品牌众多（国产的，进口的，山寨贴牌的），算力跨度大（零点几到几百），价格从几百到几万不等，技术参数更是越看越迷糊，从信心满满，到各种翻车。今天少年就从开发者的角度，带大家了解下边缘盒子选购的几个重要技术指标。
少年在《边缘盒子是什么？又能做什么？》文章中介绍过，边缘盒子实为工业计算机的一种，但相比传统工业计算机，最突出的变化就是多了算力和算法。
这里先解释下常见的算力单位：
边缘盒子 算力单位
有计算机基础的应该能看明白，这里的FP代表的是浮点，INT表示的是整形，表达的是不同级别的算力性能，可以使用简单的公式进行换算：
1 x FP32 = 2 x FP16 = 8~16 x INT8
之所以存在FP32和INT8，那是由应用场景决定的：
模型在训练阶段，梯度的更新往往是很微小的，需要相对较高的精度，一般要用到FP32甚至更高精度。
模型在推理阶段，对精度的要求就没有那么高了，此时就会选择计算机更擅长的INT8来代替，以加快模型推理速度。
可见INT8虽比FP32精度低，但更符合边缘运算场景。
这里要提醒大家，在选择边缘盒子算力时，一定要留意算力单位，少年甚至发现有些商户已经在用INT4来标注算力了。
说完算力，我们说下如何评估算力需求，典型的可以使用：
“单位时间执行的模型推理数”
这里也给出边缘盒子常用模型的算力需求数据：
边缘盒子 常用模型 算力需求数据
如跑12路Yolov5s目标检测，每秒检测1帧；考虑视频解码算力消耗和设备的稳定运行，选择FP32算力大于0.3TFOPS 或 INT8算力大于3TOPS的边缘盒子就够了。
市售的边缘盒子一般是以下三种中的一种：
1）盒子软件成熟度较高，自带算法，就像交换机，买回来插上网线就能用；
2）盒子提供配套软件，只需要上传自己的算法模型就能开启AI能力；
3）裸机，需要开发者做定制化开发才能使用（绝大多数都是这种啦）。
如果您购买的边缘盒子也是第三种，需要定制化开发，那一定要好好评估下您的开发者或者技术服务商的技术能力是否够用。
因为边缘盒子的算力大小标识的仅是理论性能，就像一台车，理论马力值300匹，调教良好的能发挥出99%，但调教差的也许仅能发挥50%。
对于边缘盒子来说，所谓好的调教，就是从输入到输出，程序流程能环环相扣，程序间并发流畅，能最大发挥出芯片性能的pipeline。这考验的是盒子应用开发者的技术实力。
技术好的开发者，能处分利用盒子的各种加速单元，加速视频解码和图像处理，能合理优化和裁剪模型，降低模型推理延迟和提高模型精度。
技术差的开发者，可能没有过硬的算法项目落地经验。甚至能将原本能拖8路的盒子，搞成只能跑一路的，还卡的飞起。增加工程造价不说，关键是拉低了项目交付质量，给客户造成了不好的影响。
盒子散热设计是否合理，能否满足工业环境7x24小时连续不间断运行。边缘盒子买回来后，一定要实测。当然这考验的仍是软硬件综合设计能力，除了要求硬件稳定可靠，也要求软件设计良好无bug。
总结下，边缘盒子选择不能盲目，看完如果还有什么不明白的，欢迎通过下面的联系方式与我随时交流。
成都风潮互动科技有限公司
© Copyright 2021 成都风潮互动科技有限公司 - All Rights Reserved
蜀ICP备2021013360