旗下微信矩阵:

Jim Keller究竟在做什么芯片?

AI 和 HPC 市场竞争激烈,因此当您想与老牌竞争对手(AMD、英特尔、Nvidia)和新兴玩家(Cerebras、Graphcore)竞争时,必须聘请一些世界上最优秀的工程师。
2023-03-31 14:06 · 微信公众号:半导体行业观察  tomshardware   
   

由行业偶像Jim Keller掌舵的初创公司Tenstorrent组建了一支一流的AI和CPU工程师团队,制定了涉及通用处理器和人工智能加速器的宏伟计划。

目前,该公司正在研发业界*能够同时处理客户端和HPC工作负载的8宽解码RISC-V内核,该内核将首先用于面向数据中心的128核高性能CPU。该公司还有多代处理器的路线图,我们将在下面介绍。

01 为什么是 RISC-V?

我们最近与Tenstorrent的首席CPU架构师Wei-Han Lien就公司的愿景和路线图进行了交谈。Lien 拥有令人印象深刻的背景,曾在 NexGen、AMD、PA-Semi、Apple 工作过,最著名的可能是他在Apple的A6、A7(世界上*款64位Arm SoC)和M1 CPU微架构和实施方面的工作。 

公司有许多在 x86 和 Arm 设计方面拥有丰富经验的世界级工程师,有人可能会问为什么 Tenstorrent 决定开发 RISC-V CPU,因为这种指令集架构 (ISA) 的数据中心软件堆栈不如 x86和Arm 的全面。Tenstorrent 给我们的答案很简单:x86 由 AMD 和 Intel 控制,而 Arm 由 Arm Holding 控制,这限制了创新的步伐。 

“世界上主要只有两家公司可以生产 x86 CPU,”Wei-Han Lien 说。“由于 x86 许可限制,创新基本上由一两家公司控制。当公司变得非常大时,它们就会变得官僚化,创新的步伐 [ 放缓 ]。[...] Arm 有点类似。他们声称他们就像一家 RISC-V 公司,但如果你看一下他们的规范,[它] 变得如此复杂。它实际上也有点由一位架构师主导。[…] Arm 有点规定所有可能的场景,甚至是架构[许可]合作伙伴。” 

相比之下,RISC-V发展迅速。据Tenstorrent称,由于它是一个开源ISA,因此使用它进行创新更容易、更快速,尤其是在涉及新兴和快速开发的 AI 解决方案时。 

“我一直在为 [Tenstorrent 的] AI 解决方案寻找配套的处理器解决方案,然后我们想要 BF16 数据类型,然后我们去找Arm说,'嘿,你能支持我们吗?' 他们说‘不’,这可能需要两年的内部讨论以及与合作伙伴的讨论等等,”Lien 解释道。“但我们和 SiFive 谈过;他们只是把它放在那里。所以,没有限制,他们为我们建造了它,这是自由的。” 

一方面,Arm Holding 的方法确保了高质量的标准和全面的软件堆栈,但这也意味着 ISA 创新的步伐变慢,这对于AI处理器等新兴应用来说可能是一个问题,这些应用旨在得到快速发展。 

02 一个微架构,一年五个 CPU IP

由于Tenstorrent着眼于并解决整个AI应用,它不仅需要不同的片上系统或系统级封装,还需要各种CPU微架构实现和系统级架构来实现不同的功率和性能目标。这正是Wei-Han Lien 的部门所致力于解决的问题。 

不起眼的消费电子SoC和强大的服务器处理器几乎没有共同之处,但可以共享相同的ISA和微体系结构(管实现方式不同)。这就是Lien的团队发挥作用的地方。Tenstorrent 表示,公司CPU团队开发了一种无序 RISC-V 微架构,并以五种不同的方式实现它,以解决各种应用程序的问题。

Tenstorrent现在有五种不同的RISC-V CPU核心IP——具有两宽、三宽、四宽、六宽和八宽解码——用于其自己的处理器或许可给感兴趣的各方。对于那些需要非常基本的CPU的潜在客户,该公司可以提供具有两个宽度执行的小内核,但对于那些需要更高性能的边缘、客户端PC和高性能计算的客户,它有六个宽度的Alastor和八个宽Ascalo 内核。  

每个带八位解码的乱序Ascalon ( RV64ACDHFMV) 内核都有六个ALU、两个FPU和两个256位向量单元,使其非常强大。考虑到现代x86设计使用四宽 (Zen 4) 或六宽 (Golden Cove) 解码器,我们正在寻找一个非常强大的内核。 

Wei-Han Lien 是负责苹果“宽”CPU 微架构的设计师之一,该架构每个时钟最多可执行8条指令。例如,Apple的A14和M1 SoC具有八个宽的高性能 Firestorm CPU内核,在推出两年后,它们仍然是业内最节能的设计之一。Lien 可能是业界“宽”CPU微架构方面*的专家之一,据我们所知,他是*一位领导工程师团队开发八宽RISC-V高性能CPU内核的处理器设计师。 

除了各种RISC-V通用内核外,Tenstorrent还拥有为神经网络推理和训练量身定制的专有 Tensix 内核。每个 Tensix 内核包含五个RISC内核、一个用于张量运算的数组数学单元、一个用于矢量运算的SIMD单元、1MB或 2MB的 SRAM,以及用于加速网络数据包运算和压缩/解压缩的固定功能硬件。Tensix内核支持多种数据格式,包括BF4、BF8、INT8、FP16、BF16,甚至 FP64。

03 令人印象深刻的路线图

目前,Tenstorrent 有两种产品:一种称为Grayskull的机器学习处理器,可提供约315 INT8 TOPS的性能,可插入PCIe Gen4插槽,以及网络Wormhole  ML处理器,具有约 350 INT8 TOPS 的性能并使用GDDR6 内存子系统,一个PCIe Gen4 x16接口,并具有与其他机器的400GbE连接。 

这两种设备都需要一个主机CPU,可以作为附加板使用,也可以在预构建的 Tenstorrent 服务器中使用。一台包含32个 Wormhole ML卡的4U Nebula服务器在6kW时提供大约12 INT8 POPS的性能。

今年晚些时候,该公司计划推出其*个独立的CPU+ML解决方案——Black Hole——结合了24个SiFive X280 RISC-V内核和多个第三代Tensix内核,这些内核使用两个在机器的相反方向运行的2D环面网络互连学习工作量。该设备将提供1 INT8 POPS的计算吞吐量(与其前身相比性能提升约三倍)、八个GDDR6内存通道、1200 Gb/s以太网连接和PCIe Gen5通道。 

此外,该公司期待为双芯片解决方案以及未来使用添加2TB/s 的die to die接口。该芯片将采用6nm级制造工艺(我们预计它是台积电N6,但 Tenstorrent 尚未证实这一点),但在600mm²时,它将比台积电12nm级节点生产的前代产品更小. 需要记住的一件事是,Tenstorrent 尚未开发出其 Blackhole,其最终功能集可能与公司今天披露的不同。 

明年,该公司将发布其*产品:名为Grendel的多小芯片解决方案,该解决方案具有自己的Ascalon通用内核,具有自己的RISC-V微架构,具有八位解码器以及用于ML工作负载的基于 Tensix 的小芯片。  

Grendel 是 Tenstorrent 将于明年发布的*产品集:多chiplet 解决方案包括一个具有高性能 Ascalon 通用内核的 Aegis chiplet 和一个或多个具有用于 ML 工作负载的 Tensix 内核的 chiplet。根据业务需求(以及公司的财务能力),Tenstorrent 可以使用 3nm 级工艺技术实现AI chiplet,从而利用更高的晶体管密度和Tensix核心数,或者它可以继续使用 Black Hole chiplet进行AI工作负载(甚至将一些工作分配给24个 SiFive X280内核,该公司表示)。小芯片将使用上述 2TB/s 互连相互通信。 

Aegis小芯片具有128个通用 RISC-V八宽Ascalon内核,组织在四个32核集群中,具有集群间一致性,将使用3nm级工艺技术制造。事实上,Aegis CPU小芯片将率先使用3纳米级制造工艺,这可能会使该公司在高性能CPU设计方面名列前茅。 

同时,Grendel 将使用LPDDR5内存子系统、PCIe和以太网连接,因此它将提供比公司现有解决方案明显更高的推理和训练性能。说到Tensix内核,需要注意的是,虽然Tenstorrent的所有AI内核都被称为Tensix,但这些内核实际上是在进化的。

“[Tensix]的变化是渐进的,但它们确实存在,”该公司创始人Ljubisa Bajic 解释道。“[他们添加了]新的数据格式、FLOPS/SRAM 容量的变化比率、SRAM 带宽、片上网络带宽、新的稀疏特性以及一般特性。”

有趣的是,不同的Tenstorrent幻灯片提到了Black Hole和Grendel产品的不同内存子系统。这是因为该公司一直在寻找最高效的内存技术,并且因为它获得了DRAM控制器和物理接口 (PHY) 的许可。因此,它在选择确切的内存类型时具有一定的灵活性。事实上,Lien 表示,Tenstorrent也在为未来的产品开发自己的内存控制器,但对于2023~2024年的解决方案,它打算使用第三方的MC和PHY。同时,出于本考虑,目前Tenstorrent不打算使用任何奇特的内存,例如HBM。 

04 商业模式:销售解决方案和许可 IP

虽然 Tenstorrent 有五个不同的CPU IP(尽管基于相同的微架构),但它只有 AI/ML 产品在流水线中(如果不考虑完全配置的服务器)使用SiFive的 X280 或 Tenstorrent 的八宽 Ascalon CPU 内核. 因此,有理由问为什么它需要这么多的CPU内核实现。 

对这个问题的简短回答是,Tenstorrent 有一个独特的商业模式,包括 IP 许可(以 RTL、硬宏,甚至 GDS 形式)、销售小芯片、销售附加 ML 加速卡或具有 CPU 和 ML 小芯片的 ML 解决方案,并销售包含这些卡的完全配置的服务器。  

构建自己的 SoC 的公司可以授权 Tenstorrent 开发的 RISC-V 核心,广泛的 CPU IP 组合使公司能够竞争需要不同级别性能和功率的解决方案。  

服务器供应商可以使用 Tenstorrent 的 Grayskull 和 Wormhole 加速器卡或 Blackhole 和 Grendel ML 处理器来构建他们的机器。同时,那些不想构建硬件的实体可以购买预构建的 Tenstorrent 服务器并进行部署。 

这种商业模式看起来有些争议,因为在许多情况下,Tenstorrent 与自己的客户竞争并将竞争。然而,归根结底,如Nvidia 等厂商提供了基于这些主板的附加卡和预制服务器,而且戴尔或 HPE 等公司似乎并不太担心这一点,因为它们为特定客户提供解决方案,而不仅仅是积木。

05 总结 

大约两年前,随着 Jim Keller 的聘用,Tenstorrent 一跃成为人们关注的焦点。在两年内,该公司招募了一批*工程师,他们正在为数据中心级 AI/ML 解决方案和系统开发高性能 RISC-V 内核。开发团队的成就包括全球*八位 RISC-V 通用 CPU 内核,以及可用于 AI 和 HPC 应用的适当系统硬件架构。 

该公司有一个全面的路线图,包括基于 RISC-V 的高性能 CPU 小芯片和先进的 AI 加速器小芯片,它们有望为机器学习提供功能强大的解决方案。请记住,AI 和 HPC 是有望实现爆炸式增长的主要大趋势,提供 AI 加速器和高性能 CPU 内核似乎是一种非常灵活的商业模式。 

AI 和 HPC 市场竞争激烈,因此当您想与老牌竞争对手(AMD、英特尔、Nvidia)和新兴玩家(Cerebras、Graphcore)竞争时,必须聘请一些世界上*秀的工程师。与大型芯片开发商一样,Tenstorrent 拥有自己的通用 CPU 和 AI/ML 加速器硬件,这是得天独厚的优势。同时,由于该公司使用 RISC-V ISA,因此目前无法解决一些市场和工作负载,至少就 CPU 而言是这样。 

【本文由投资界合作伙伴微信公众号:半导体行业观察授权发布,本平台仅提供信息存储服务。】如有任何疑问,请联系(editor@zero2ipo.com.cn)投资界处理。