WAIC丨云天励飞陈宁：大模型落地迈入“深水区” 边缘AI或是最优解

2024-07-08 10:59 · 互联网　　　

7月5日,由中国信息通信研究院承办的WAIC 2024“迈向AGI:大模型焕新与产业赋能”论坛在上海成功召开。论坛深度聚焦大模型行业应用落地、终端智能、大模型安全等前沿热点话题。云天励飞董事长兼CEO陈宁博士受邀发表主题演讲,首次展示云天励飞边缘AI的战略全貌。

大模型落地的多重挑战边缘AI提供解法

今年WAIC上,“大模型+行业”的应用落地成为关注热点。

当前,云端大模型落地行业面临许多挑战:行业数据缺失,信息反馈缓慢,长尾场景无法覆盖,模型幻觉等。大模型应用落地进入“深水区”,上述难点如何应对?云天励飞的答案是:边缘AI。

云天励飞董事长兼CEO陈宁博士

边缘AI具备三个特点:更低成本、更好的数据隐私保护以及更快的响应速度。

近年来,越来越多行业巨头开始拥抱边缘AI:一方面,谷歌、微软、Meta包括云天励飞都推出了轻量化大模型支撑边缘AI的应用;另一方面,苹果、英伟达等巨头推出边缘AI芯片,应用在AI 手机和机器人上,云天励飞也在2022年底推出DeepEdge 10系列芯片,支撑边缘端的大模型运行。

此外,边缘AI让物联网升级成为AIoT,助力大模型落地。国泰君安证券研究所数据显示,随着AIOT的发展,未来3年边缘智能硬件设备将保持50%以上的复合增长率。

从行业发展趋势中可以看到,边缘AI正在加速到来。

在应用落地层面,边缘AI分为个人、家庭、城市三类场景:

在个人领域,搭载了边缘AI的各种3C设备让每个人都能拥有一个AI Copilot,AI服务随手可得;

在家庭领域,边缘AI让以服务机器人为代表的各种智能终端主动完成家庭任务,成为每个家庭的生活助手;

在城市领域,边缘AI赋能下的千行百业实现无数场景的价值闭环,如公共安全从“被动治理”到“主动预防”,城市治理实现从发现、分拨到处置、上报的整体闭环等。

未来,边缘AI将渗透至物理世界的各个角落

在演讲中,陈宁博士提到,边缘AI的发展可以分为四个阶段:

第一个阶段是在边缘设备上搭载小模型算法,让边缘设备具有处理简单任务的能力,比如在摄像头中加入车辆识别、人脸识别等算法;

第二阶段是视觉语义大模型走向边缘,代表的产品有AI手机、AI PC等,这也是我们当前所处的阶段;

第三阶段是端到端行为大模型走向边缘,在这一阶段,各类机器人、智能可穿戴设备将变得随处可见;

第四阶段是通用人工智能时代,届时我们将进入万物皆智能的世界。

云天励飞边缘AI布局全景

基于当前边缘AI的发展趋势和多年的技术积累,云天励飞制定了"2+3+3"边缘AI的战略布局全景,即2个技术平台——多模态大模型、NPU加速计算平台;3类主营业务——智能硬件、智算运营、智慧行业;3个应用方向——个人Copilot、家庭Copilot、城市Copilot,助力边缘AI渗透至物理世界的各个角落。

入选信通院2024大模型典型示范应用案例数字政务大模型落地实践

在本次论坛中,中国信息通信研究院发布了2024大模型示范应用案例,“云天天书”数字政务大模型荣列其中。

云天励飞提出“E-MAGIC”政务大模型服务框架,集成数据交易平台、AIGC内容生成平台、数据加工及分析平台、GPT大模型训练中心、输入提示工程中心和算力支持六大核心组件,利用前沿的AI技术和大数据处理能力,为政府部门提供高效的数据服务和智能化解决方案,提升日常办公的效率及服务质量等。