低调入局，瀚博半导体发布*高性能超低延时通用云端推理AI芯片

高性能人工智能与视频处理芯片解决方案提供商瀚博半导体（上海）有限公司（下称“瀚博半导体”或“瀚博”）今日在2021世界人工智能大会期间发布其*云端通用AI推理芯片SV100系列及VA1通用推理加速卡，可实现深度学习应用超高性能、超低延时的推理性能，可显著降低数据中心与边缘智能应用的部署成本。据悉，SV100系列及VA1通用推理加速卡预计将于今年四季度量产上市。

人工智能行业随着持续的技术演进，算法模型的精度、性能等关键指标在众多领域不断取得突破性进展，已进入算法规模化应用落地阶段。全球范围内各行业数据中心对推理算力的需求在快速增长，下游客户多样化的算力应用场景，催生了多样化的AI计算加速芯片需求，然而市面上却鲜有主流GPU厂商外的其他更优解决方案。基于对行业产品技术需求的洞察及显而易见的巨大市场机遇，经过两年多的技术论证与软硬件一体化设计，瀚博半导体重磅推出了专为云端数据中心而生的SV100系列芯片与VA1通用推理加速卡。

瀚博SV100系列芯片性能优异，单芯片INT8峰值算力超200 TOPS，深度学习推理性能指标数倍于现有主流数据中心GPU，具有超高吞吐率、超低延时的特性。瀚博自研的通用架构，为各种深度学习推理负载*优化。 此次推出的SV100系列芯片支持FP16, BF16和INT8等数据格式，并可以实现众多主流神经网络的快速部署及计算机视觉、视频处理、自然语言处理和搜索推荐等多样化推理应用场景。同时集成高达64路以上H.264/H.265/AVS2的1080p视频解码，广泛适用于云端与边缘智能应用场景，提升客户的设备资产效益、降低运营成本。

据悉，2018年12月，瀚博半导体成立于上海，在北京、深圳和多伦多均有研发分部。公司核心员工来自世界*的高科技公司，平均拥有15年以上的相关芯片与软件设计经验。公司目前拥有200人以上的资深团队，且规模还在快速增长中。瀚博半导体致力于成为驱动云边计算的算力源泉、中国芯片设计企业的标杆和世界芯片设计的*之一。

瀚博此次同步推出的基于SV100系列芯片的VA1推理加速卡，为单宽半高半长75瓦PCIe x16卡，支持32GB内存和PCIe 4.0高速接口协议，无需额外供电，即可适用于所有厂商的人工智能服务器，实现数据中心高密度高算力部署。

瀚博半导体创始人兼CEO钱军表示：“SV100系列产品是所有瀚博人的心血结晶，我为我们的团队感到无比骄傲！我们深度了解行业客户对吞吐量、延迟、通用性和成本的需求。同时，向前兼容性非常重要，我们的软件栈具有极高灵活性与可扩展性，能够支持未来新兴算法模型和用户自定义算子扩展等。另一方面，占据过半中国AI应用市场的计算机视觉应用需要高密度的视频解码算力配合AI算力实现端到端的计算加速，在两者之间的算力配比平衡方面，我们也做了大量的工作。瀚博通过前期核心技术积累和前瞻性布局，正式发布我们性能优异的SV100系列云端通用AI推理芯片和VA1推理卡，可有效应对上述低延时、通用性和视频处理等方面的行业痛点，推进云端与边缘的智能应用落地。”

瀚博半导体创始人兼CTO张磊表示：“SV100系列芯片基于先进的DSA架构，相同功耗下实现数倍于数据中心GPU的最高深度学习推理性能。同时支持计算机视觉、自然语言处理、搜索推荐、智能视频处理领域的众多常用神经网络，软件栈支持灵活扩展，支持用户自定义算子。VA1推理卡采用75W单宽半高半长设计，可无缝适配各种人工智能服务器，*化算力部署密度。我们的VastStream软件平台支持TensorFlow, PyTorch, Caffe2等常见的深度学习框架模型与ONNX格式的模型，通过高度定制的AI编译器充分优化模型在瀚博硬件上的执行效率。 我们的软件栈完备，同时提供了符合行业开发者使用习惯的工具，方便使用者以极低成本向瀚博硬件平台迁移、部署现有算法应用。”