旗下微信矩阵:

君正T40芯片起航智能视觉物联网新征途

2021-08-11 11:30 · 互联网     

智能视觉物联网(SVIoT),兴起正当时

行业无旧貌,万象有新意。对于任一TO B、TO C产业而言,「联」无界;「智」未来,是其终局。而在此进程中,技术不断在演进与突破。之于当下,万物互联成为常态,而智能视觉物联网(Smart Vision for the Internet of Things)则是新未来。

智能视觉物联网是物联网的一次「再升级」,利用各类图像传感器,包括监控摄像机、手机、数码相机,获取人、车、物图像或视频,采用图像视频模式识别技术对视觉信息进行处理, 提取视觉环境中人、车、物视觉标签,并通过网络传输与视觉标签应用系统连接,经过加工与分析,让这些数据进一步为生活带来便利;并且通过技术进步,让视觉技术进入普通人家庭与生活,解决人们日常生活中切身的问题。

这是全新赛道,与传统IoT/AIoT有所异同,都属智能硬件阵营,但SVIoT聚焦视觉,不像后两者的泛在联接。与视频编解码,AI加速,算法分析,多传感器融合,互联网,大数据,云计算等技术融合后,SVIoT呈现的视界,前所未见。

新赛道,必有先入者,也有后来者。君正是最早一家全身心地聚焦SVIoT赛道,提供从芯片,到AI算力,到开发平台,再到算法整合一体化解决方案的芯片公司,且在这个赛道争先取得大量订单。

或许,SVIoT的「芯」征,谁先跑几步,将来会*市场很多步。

SVIoT的落地与兴起离不开高性能,高可靠性的芯片方案支撑。

SVIoT芯片不仅需要传统摄像机相关的技术要素(如成像技术,视频压缩技术等),同时需要具备支持声、光、热、电、力学、化学、生物、位置等多模数据融合处理的强大算力,更需要能走入千家万户的成本控制能力。然而,市面上此类功能「强芯」凤毛菱角,尤其部分高端芯片受地缘政治影响出现「芯慌」,市面上更是缺乏替代者,如何让SVIoT发展有“芯”可依,成了行业所期。

聚焦视觉+AI赛道,T40为SVIoT而生

与传统IoT芯片不同,T40芯片更具象化,其以视觉为核心,兼容处理多种声、光、电感知信息,集ISP+AI+Video+算法于一体,采用XBurst2双核CPU,支持多种感知信号的集中接入及处理。

T40芯片支持接入CMOS/YUV/TOF/BT1120等光学信号、codec/aMIC/dMIC/I2S等声学信号、THTB/MEMS/9-axis/LiDAR/Radar等传感器信号等;同步支持多种信号输出方式,如RMII/WiFi/MCU-WiFi/4G/BT/Sub-x等网络传输,TFT/MIPI-DSI/SLCD/BT1120等显示输出系统以及I/O扩展口输出等。

在视觉应用中,目前大部分方案只支持视频处理。而随着市场对感知需求从零散稀疏走向无处不在;从后知后觉走向先人一步;从辅助系统走向生产系统;从单一感知走向多维融合;从事倍功半走向效能增倍;从各自为政走向有效协同。如此多智能需求,感知是*步,也是最为关键一步。所以,前端设备在获取图像信息同时,也需要音频拾取、周围红外、烟感、环境检测等感知信号接入。不仅如此,感知信号多样化接入同时,信号的输出与联动,如音频输出(双向对讲)、本地报警信号输出,与交通系统、消防系统、安全防护系统联动等。

传统方案明显无法满足如此众多智能需求,不过,基于Magik平台及算法伙伴构建的解决方案生态,T40拥有大量成熟的方案基础,便于软硬件快速成型,利于开发出各种需要处理多维感知信息、高算力的SVIoT设备,让前端形成智能核心,进而实现云—边—端感知组网。

全息全能的「驭光术」

视界即世界!

围绕视觉应用全天候和全场景需求,T40芯片采用君正第三代ISP图像处理技术,对图像进行光源矫正、肤色还原、3D降噪去拖影、锐化提升、ADR自适应、全局通透增强、WDR/HDR、色噪降噪、强光抑制、双目合成等应用;支持最高4K(2169P)超高清视频编码能力,同时兼容H.264、H.265等多种编解码压缩方式,实现视频流的高效压缩,同等画质、帧率条件下,带宽可降低35%~85%,大大节约存储空间的占用率,进而降低整体方案的硬件成本。

真正考验一款芯片性能是否优异,背光环境、低照度全彩环境、星光级夜视图像处理能力最能体现出芯片的处理效果。实际上,T40芯片在这三个场景中都有专业级的表现。以背光环境为例验证其宽动态效果,关闭搭载T40芯片摄像机的宽动态功能,画面上的强光场景及室内背光场景均无法清晰展示画面细节;而当开启宽动态功能后,在T40芯片ISP的多帧融合下,画面强光部分的亮度得到了良好抑制,画面偏暗部分亮度也得到了良好增强,使得前后景都清晰可辨。

在低照度全彩成像能力方面,T40芯片也有不俗表现。相同低照度场景下,搭载T40芯片方案的低照度全彩图像画面干净清晰,图像色彩细节不丢失;而搭载其他芯片方案的摄像机图像噪声大、色彩丢失严重,且画面锐度差,无层次感。两相比较,T40芯片方案低照度全彩成像效果凸显。

而在黑白夜视图像处理能力上,基于T40芯片处理实现的画面,较一般芯片方案的夜视效果干净、无噪声,且层次感表现明显。

高算力、全场景、多算法的AI平台

T40芯片基于AI-Engine引擎,拥有*8Tops算力,支持4K+AI、1080P+AI、双摄+AI、显示+AI等多种智能视觉物联网方案;需要说明的是,叠加AI运算情况下,T40芯片仍能保持良好的低功耗效果,包含DDR在内*功耗不会超过1.2W,芯片温度也能稳定在40℃左右,其中AI引擎的推理功耗小于500mW,*能耗比达到了震撼的0.05W/T级别,确保系统运行的稳定可靠性。另外低功耗对于产品的小型化,电池化不言而喻。

此外,Magik开发平台集模型训练、优化转换、部署推理于一体,并提供模型检查器、调优器、性能分析器等工具;广泛支持各类神经网络加速,如CNN/RNN/GCN等,也支持传统CV算法和平面运算的加速;支持int16/in8/int4/in2混合量化,算力利用率可超过70%;而512bit SIMD向量加速指令集,能让算法运算更灵活,配合协处理器单元,还能对算法进行前后处理优化;并且支持pytorch/tensorflow/mxnet/caffe/onnx等主流框架,便于开展量化感知训练(QAT)和后量化AI应用。

与此同时,T40芯片支持导入众多算法厂家的赋能方案,支持车辆识别、车牌识别、行为检测、文字识别、周界防范、物品检测、移动侦测等人、车、物及行为的识别与分析功能;搭配原厂提供的各种完整方案、参考代码、第三方算法以及云平台资源,还极大简化了低功耗摄像机方案、枪球联动方案、VSLAM方案、人脸面板方案、视频会议方案等的开发流程,并降低研发成本,加速产品上市。基于T40芯片方案,在车牌识别验证中发现,算法能快速对车辆及其车牌进行锁定,即便拍摄角度大幅度偏离正常范围,T40芯片也能精准检测及识别。

在人和动物检测验证中,T40芯片+AI算法加持下,摄像机能轻松检测人、人脸、动物、姿态、行为,跟踪锁定也稳定、可靠,分析精准。

互惠共建SVIoT广阔生态

更重要的是,在全球芯片大缺货背景下,君正表示,T40芯片货源充足,在当前可落地的端级视觉AI芯片产品短缺的情况下,T40芯片已经成为*的供应方案,目前已大批量导入多家客户并获得应用。

锤炼芯片,绝非朝夕之功,都在岁月里。君正凭借着芯片性能,AI算力,开发环境,超低功耗,成熟方案以及供应安全等诸多优势,T40未来将有望成为SVIoT新赛道上落地能力极强的芯片平台,但,如果要创造SVIoT市场指数级的大繁荣,非一己之力可承担。

如果前面是一片大海,君正希望与伙伴们共举创新大旗,携手出航,乘风破浪,这是一场有着光荣与梦想的商业科技之旅。

(免责声明:本文转载自其它媒体,转载目的在于传递更多信息,并不代表本站赞同其观点和对其真实性负责。请读者仅做参考,并请自行承担全部责任。)