君正T40芯片起航智能视觉物联网新征途

2021-08-11 11:30 · 互联网　　　

智能视觉物联网(SVIoT)，兴起正当时

行业无旧貌，万象有新意。对于任一TO B、TO C产业而言，「联」无界;「智」未来，是其终局。而在此进程中，技术不断在演进与突破。之于当下，万物互联成为常态，而智能视觉物联网(Smart Vision for the Internet of Things)则是新未来。

智能视觉物联网是物联网的一次「再升级」，利用各类图像传感器，包括监控摄像机、手机、数码相机，获取人、车、物图像或视频，采用图像视频模式识别技术对视觉信息进行处理，提取视觉环境中人、车、物视觉标签，并通过网络传输与视觉标签应用系统连接，经过加工与分析，让这些数据进一步为生活带来便利;并且通过技术进步，让视觉技术进入普通人家庭与生活，解决人们日常生活中切身的问题。

这是全新赛道，与传统IoT/AIoT有所异同，都属智能硬件阵营，但SVIoT聚焦视觉，不像后两者的泛在联接。与视频编解码，AI加速，算法分析，多传感器融合，互联网，大数据，云计算等技术融合后，SVIoT呈现的视界，前所未见。

新赛道，必有先入者，也有后来者。君正是最早一家全身心地聚焦SVIoT赛道，提供从芯片，到AI算力，到开发平台，再到算法整合一体化解决方案的芯片公司，且在这个赛道争先取得大量订单。

或许，SVIoT的「芯」征，谁先跑几步，将来会*市场很多步。

SVIoT的落地与兴起离不开高性能，高可靠性的芯片方案支撑。

SVIoT芯片不仅需要传统摄像机相关的技术要素(如成像技术，视频压缩技术等)，同时需要具备支持声、光、热、电、力学、化学、生物、位置等多模数据融合处理的强大算力，更需要能走入千家万户的成本控制能力。然而，市面上此类功能「强芯」凤毛菱角，尤其部分高端芯片受地缘政治影响出现「芯慌」，市面上更是缺乏替代者，如何让SVIoT发展有“芯”可依，成了行业所期。

聚焦视觉+AI赛道，T40为SVIoT而生

与传统IoT芯片不同，T40芯片更具象化，其以视觉为核心，兼容处理多种声、光、电感知信息，集ISP+AI+Video+算法于一体，采用XBurst2双核CPU，支持多种感知信号的集中接入及处理。

T40芯片支持接入CMOS/YUV/TOF/BT1120等光学信号、codec/aMIC/dMIC/I2S等声学信号、THTB/MEMS/9-axis/LiDAR/Radar等传感器信号等;同步支持多种信号输出方式，如RMII/WiFi/MCU-WiFi/4G/BT/Sub-x等网络传输，TFT/MIPI-DSI/SLCD/BT1120等显示输出系统以及I/O扩展口输出等。

在视觉应用中，目前大部分方案只支持视频处理。而随着市场对感知需求从零散稀疏走向无处不在;从后知后觉走向先人一步;从辅助系统走向生产系统;从单一感知走向多维融合;从事倍功半走向效能增倍;从各自为政走向有效协同。如此多智能需求，感知是*步，也是最为关键一步。所以，前端设备在获取图像信息同时，也需要音频拾取、周围红外、烟感、环境检测等感知信号接入。不仅如此，感知信号多样化接入同时，信号的输出与联动，如音频输出(双向对讲)、本地报警信号输出，与交通系统、消防系统、安全防护系统联动等。

传统方案明显无法满足如此众多智能需求，不过，基于Magik平台及算法伙伴构建的解决方案生态，T40拥有大量成熟的方案基础，便于软硬件快速成型，利于开发出各种需要处理多维感知信息、高算力的SVIoT设备，让前端形成智能核心，进而实现云—边—端感知组网。

全息全能的「驭光术」

视界即世界!

围绕视觉应用全天候和全场景需求，T40芯片采用君正第三代ISP图像处理技术，对图像进行光源矫正、肤色还原、3D降噪去拖影、锐化提升、ADR自适应、全局通透增强、WDR/HDR、色噪降噪、强光抑制、双目合成等应用;支持最高4K(2169P)超高清视频编码能力，同时兼容H.264、H.265等多种编解码压缩方式，实现视频流的高效压缩，同等画质、帧率条件下，带宽可降低35%~85%，大大节约存储空间的占用率，进而降低整体方案的硬件成本。

真正考验一款芯片性能是否优异，背光环境、低照度全彩环境、星光级夜视图像处理能力最能体现出芯片的处理效果。实际上，T40芯片在这三个场景中都有专业级的表现。以背光环境为例验证其宽动态效果，关闭搭载T40芯片摄像机的宽动态功能，画面上的强光场景及室内背光场景均无法清晰展示画面细节;而当开启宽动态功能后，在T40芯片ISP的多帧融合下，画面强光部分的亮度得到了良好抑制，画面偏暗部分亮度也得到了良好增强，使得前后景都清晰可辨。

在低照度全彩成像能力方面，T40芯片也有不俗表现。相同低照度场景下，搭载T40芯片方案的低照度全彩图像画面干净清晰，图像色彩细节不丢失;而搭载其他芯片方案的摄像机图像噪声大、色彩丢失严重，且画面锐度差，无层次感。两相比较，T40芯片方案低照度全彩成像效果凸显。

而在黑白夜视图像处理能力上，基于T40芯片处理实现的画面，较一般芯片方案的夜视效果干净、无噪声，且层次感表现明显。

高算力、全场景、多算法的AI平台

T40芯片基于AI-Engine引擎，拥有*8Tops算力，支持4K+AI、1080P+AI、双摄+AI、显示+AI等多种智能视觉物联网方案;需要说明的是，叠加AI运算情况下，T40芯片仍能保持良好的低功耗效果，包含DDR在内*功耗不会超过1.2W，芯片温度也能稳定在40℃左右，其中AI引擎的推理功耗小于500mW，*能耗比达到了震撼的0.05W/T级别，确保系统运行的稳定可靠性。另外低功耗对于产品的小型化，电池化不言而喻。

此外，Magik开发平台集模型训练、优化转换、部署推理于一体，并提供模型检查器、调优器、性能分析器等工具;广泛支持各类神经网络加速，如CNN/RNN/GCN等，也支持传统CV算法和平面运算的加速;支持int16/in8/int4/in2混合量化，算力利用率可超过70%;而512bit SIMD向量加速指令集，能让算法运算更灵活，配合协处理器单元，还能对算法进行前后处理优化;并且支持pytorch/tensorflow/mxnet/caffe/onnx等主流框架，便于开展量化感知训练(QAT)和后量化AI应用。

与此同时，T40芯片支持导入众多算法厂家的赋能方案，支持车辆识别、车牌识别、行为检测、文字识别、周界防范、物品检测、移动侦测等人、车、物及行为的识别与分析功能;搭配原厂提供的各种完整方案、参考代码、第三方算法以及云平台资源，还极大简化了低功耗摄像机方案、枪球联动方案、VSLAM方案、人脸面板方案、视频会议方案等的开发流程，并降低研发成本，加速产品上市。基于T40芯片方案，在车牌识别验证中发现，算法能快速对车辆及其车牌进行锁定，即便拍摄角度大幅度偏离正常范围，T40芯片也能精准检测及识别。