CSDN「智研社-The Intelliger」共话大模型技术演进与 AI Infra 创新

7 月 28 日下午，CSDN 高端技术*社群「智研社-The Intelliger」第三期活动在北京鼎好超互联 AGI 科技生态创新空间成功举办。

活动特别邀请到 Stability AI 机器学习运维主管、知名 AI 开源组织 LAION 工程负责人 & 创始人 Richard Vencu和 CSDN 创始人 & 董事长、中国开源软件推进联盟副主席蒋涛进行深度对话，CSDN 高级副总裁李建忠、Momenta 工程质量负责人邹欣、华为“天才少年”申博、白海科技创始人卢亿雷、荣耀首席专家张轶博等重磅嘉宾到场，汇聚了大模型技术专家、大厂技术大牛、大模型公司 CXO、生态合作伙伴代表。现场嘉宾一起交流思想、分享经验，进行 AGI 相关前沿科技的深入探讨。

「智研社-The Intelliger」由 CSDN CTO 俱乐部重磅升级而来。CSDN 高级副总裁李建忠在开场中为大家介绍了智研社未来发展的三个方向：

一是为技术人提供充分沟通交流的平台；

二是提供 AGI 技术发展与应用实践的探讨与合作空间；

三是带领中国 AGI 技术人走向全球，参与国际 AGI 技术交流，抓住 AI 爆发带来的机遇。

在当今快速发展的人工智能领域，大规模计算资源的管理成为了一个关键挑战。Stability AI 机器学习运维主管、知名 AI 开源组织 LAION 工程负责人 & 创始人 Richard Vencu 在现场带来了《在 AWS 云上打造 Stability AI 超级计算机》的主题演讲，深入阐述了在云环境中运行 5000 个 GPU 的经验，揭示了这一规模计算所面临的挑战及其解决策略。

核心挑战在于：

机器学习训练与推理的差异：Vencu 指出，机器学习训练本质上不是一个网络问题，而机器学习推理则是。这种区别源于推理需要通过标准化的网络通道向全球用户提供服务。

多团队需求管理：不同 AI 团队对规模和上市时间的要求各不相同，导致优先级不断变化。这要求资源管理系统具有高度的灵活性。

共享环境中的信任问题：在共享的高性能计算（HPC）集群中，用户通常无法获得 root 访问权限，这限制了系统的灵活性。

大规模资源管理：主要目标是减少 GPU 的闲置时间，提高利用率，并减少因缺陷导致的停机时间。

使用追踪：需要精确追踪每个项目和用户的资源使用情况，以便进行报告、税务处理和计费。

作为解决方案，Vencu 推荐使用 SLURM 作为资源调度器。SLURM 是一个有20多年历史的开源系统，维护良好，提供抢占和重新排队机制（脚本需要意识到这一点并能够自行恢复）、跨不同优先级的优先机制和公平共享机制。这些功能有效解决了*的挑战——最小化 GPU 闲置时间。

在现场，Vencu 和到场嘉宾进行了互动，为那些希望在云中部署大规模 AI 计算资源的开发者提供了宝贵的见解和实践指导。云环境中管理大规模 GPU 资源是一项复杂的任务，涉及多个方面的挑战。通过采用适当的资源调度策略、严格的安全措施、灵活的项目管理以及全面的监控系统，可以显著提高资源利用率，降低成本，同时满足不同团队的需求。

随着大模型的广泛应用，AI 技术已经在自然语言处理、计算机视觉、多模态理解等领域取得了显著的突破。大模型强大的生成能力和理解能力，还在各种领域的实际应用中展现了巨大的潜力。然而，大模型的训练和推理需要庞大的计算资源，AI 基础设施（AI Infra）的建设成为了当前技术发展的关键。

为了解答这一系列问题，由 Momenta 工程质量负责人、CSDN 《新程序员》内容顾问邹欣主持，Stability AI 机器学习运维主管、知名 AI 开源组织 LAION 工程负责人 & 创始人 Richard Vencu和 CSDN 创始人 & 董事长、中国开源软件推进联盟副主席蒋涛展开圆桌对话，围绕“2024 大模型技术演进与 AI Infra 创新”的话题进行了多个方面的探讨。

以下是他们对每一方面内容的讨论焦点：

计算机系统的架构转变

大模型与小模型并存发展

开源 vs 闭源模型

数据与训练挑战

AGI 展望

「智研社-The Intelliger」是由 CSDN 发起创立的高端技术*社群。「智研社-The Intelliger」的前身为 CTO 俱乐部，自 2009 年由 CSDN 创办以来，是*影响力的高端技术管理者分享与交流的平台。随着大模型技术的迅猛发展，人工智能将成为未来 10 年最有影响力的技术力量，必将重塑行业格局并引领创新浪潮。CTO 俱乐部正式更名为「智研社 The-Intelliger」，意味着其将以全新的面貌迎接 AGI 新纪元的到来。

活动主办方 CSDN 作为中文技术社区的*，通过打造「智研社-The Intelliger」在全球各大技术中心城市的系列活动，汇聚技术*与行业精英，洞察技术趋势，站在 AGI 的新起点上，推动技术革新和战略思维的交融，引领技术*走向全球。

活动联合主办方鼎好超互联AGI科技生态创新空间，鼎好超互联”AGI 科技生态创新空间”由世纪互联与鼎好 DH3 共同打造。空间持续吸纳全国一线 Al 企业与人才，汇聚市场智算资源、科研资源、资金资源、市场资源和社群资源，为各行各业面向 AGI 转型提供从训练到推理的新型基础设施，致力于成为中国 AGI 发展的“助推器”和“加速器”。