谷歌又没能「放大招」

在Bard效果不佳的情况下，Gemini是谷歌寻求突破的一枚关键棋子，这也是Gemini还没推出就备受瞩目的原因。

2023-12-08 18:26 · 微信公众号：字母榜　毕安娣　　

千呼万唤始出来，谷歌终于释放了大模型的新大招——Gemini。

当地时间12月6日，谷歌正式发布了Gemini大模型。在一份声明中，谷歌CEO桑达尔·皮查伊（Sundar Pichai）称，这是谷歌迄今为止“功能最强大、最通用”的模型。

对于Gemini，谷歌就差说出“遥遥*”四个大字。皮查伊描述其意义是人工智能发展的一个重要里程碑，也是谷歌新时代的开始：“这个新时代的模型代表了我们作为公司所进行的*的科学和工程努力之一。我对即将到来的发展和Gemini为全球人民带来的机遇感到无比激动。”

演示视频中Gemini的表现的确称得上“惊艳”。在一段视频中，谷歌的人员用视频给Gemini 画画、展示物品，并和它对话。Gemini用语音和文字进行回答，不仅可以识别出工作人员手绘的简笔画是什么，还能“看”出其手持的玩具鸭子的材质是“橡胶”，并且还和其玩起了互动小游戏。甚至在工作人员询问鸭子一词的普通话发音时，Gemini也精准读出，还顺带科普了普通话的四个音调。

这则演示之所以惊艳，是因为它融合展示了Gemini不俗的多模态能力。在图像、视频、音频等的输入和输出中，Gemini不需要特别做切换，更贴近人与人交互的体验。皮查伊在一篇博文中提到：“Gemini一开始就是为多模态打造的，这意味着它可以生成并理解、操作和组合成不同类型的信息，包括文本、代码、音频、图像和视频。”

谷歌也拿出数据展示Gemini的能力，比如在MMLU多任务语言理解数据集测试中，Gemini Ultra不仅超越了GPT-4，也比人类专家强。

眼尖的朋友不会忽略后缀“Ultra”。这次Gemini发布提供了三个版本，分别是轻便的Gemini Nano，可以在安卓设备上原生离线运行；Gemini Pro，已经接入Bard；Gemini Ultra，本次发布的最强版本。

实际上，这次发布Gemini最亮眼的表现由Gemini Ultra贡献，也是这个版本对标了GPT-4，但这个版本计划2024年才会正式推出。而Gemini Pro已经接入Bard，但目前只可在英文交互中被调动，该模型对标GPT-3.5，后者是OpenAI在2022年初就释放的模型。至于Gemini Nano，“谷歌亲儿子”Pixel手机的最新版Pixel 8 Pro的用户将很快体验到。

总而言之就是，Gemini挺好的，就是“但是”有点多，承诺也多于当下的应用。更要命的是，在Gemini发布不久，就被外界扒出展示视频疑似拼接剪辑的产物、Gemini Ultra和GPT-4的测试疑似被谷歌“双标”等问题。

Gemini也许真的强，但是否达到了谷歌需要的“遥遥*”？

先来看看Gemini在发布之后遭遇了什么质疑。

首先是那个颇为惊艳的展示视频，视频中Gemini流畅地与工作人员对话，用多模态的方式进行着交互。

但很快，展示视频的声明就被关注到了。声明是这样说的：“为了演示的目的，（视频中）延迟已经减少，Gemini的输出已经进行精简。”而这个声明并没有放在显眼的位置，而是在谷歌发布的YouTube视频的描述文本中，不仔细看很容易忽略。

难道谷歌的展示视频并不是实时录制，而是经过编辑的？可能更糟。彭博社（Bloomberg）的专栏作家奥尔森（Parmy Olson）就此事问询谷歌，得到了一位发言人的回应：这段视频是通过“使用视频中的静态图像，并通过文字提示”制作的。

也就是说，演示视频虽然给人一种人类和Gemini“视频通话”畅聊的感觉，但这只是感觉，实际上视频中工作人员所说的话，是在念给Gemini的文字提示，而展示的也不是视频，而是静态图像。

另有谷歌员工匿名向彭博社吐槽，对演示视频并不感到惊讶，因为他们已经习惯了某种程度的营销炒作：“我认为，大多数使用过LLM（大语言模型）技术的员工都知道，要对这一切持保留态度。”

面对外界的质疑，谷歌选择放低姿态，不仅放出了演示视频背后详细的交互过程，谷歌DeepMind的产品副总裁伊莱·柯林斯（Eli Collins）还明确表示，画鸭子的演示展示的是一种研究层面的努力，至少目前不在谷歌的产品中。

其次是Gemini Ultra在测试中的表现。依据谷歌的展示，Gemini Ultra在大规模多任务语言理解测试MMLU中，得分高达90%，是*在该测试中超越人类专家的模型。MMLU综合运用了数学、历史、法律、物理、医学和伦理等57个科目，是测试AI世界知识和问题解决能力的重要工具。

其中，谷歌展示的一张图令人印象深刻，图中Gemini的得分“遥遥*”于GPT-4和人类专家，图中GPT-4的得分在*部，人类专家的得分大约在中间的位置，而Gemini Ultra的得分在顶部。

但人们很快就发现不对，GPT-4在MMLU中的得分为86.4%，人类专家是89.8%，而Gemini Ultra的得分为90%，何至于在折线图中展示出均分画面的效果？

这不是纵轴尺度不均的把戏吗？这个把戏骗不了打工人，毕竟大家在工作汇报的时候都熟练运用了。

当红的AI初创公司HuggingFace的CEO菲利普·施密德（Philipp Schmid）在社交平台上吐槽“永远别相信营销”，并贴出了他帮谷歌修正后的折线图，Gemini Ultra的*优势立刻变得不那么明显了。

此外，施密德还发现了一个关键点，虽然同样是对MMLU的测试，但GPT-4和Gemini的“待遇”不大相同。Gemini Ultra的得分是基于CoT思维链提示技巧，尝试32次后取的*得分，但GPT-4是在无提示词技巧下，尝试了5次拿到的得分。

施密德也提到，其实同样是用CoT@32（思维链提示技巧下尝试32次），GPT-4的得分为87.29%，的确不如Gemini Ultral；但要是同样在无提示词技巧下尝试5次，Gemini Ultra的得分其实只有83.7%，低于GPT-4的86.4%。

相当于Gemini Ultra和GPT-4分别参加了两场考试，都拿到了两个分数。明明是各自赢了一场考试，谷歌宣传自己赢的那场考试就算了，还偏偏用自己在一场考试中的高分，去对阵GPT-4在另一场考试中的低分，怎么看都有点“不讲武德”了。

自从ChatGPT出现，谷歌踏入尴尬之境。

一方面，谷歌在AI领域的野心与成就有目共睹。早在2011年，谷歌大脑Google Brain就已经成立，目标是研究深度学习和神经网络。次年，谷歌大脑由1.6万台电脑集群组成的人工神经网络，在学习了10万个YouTube视频后，没有学习“猫”为何物而自行精准识别出“猫”，震惊四座。

2014年，谷歌又以6亿美元价格收购DeepMind，当时后者还是仅有50名员工的小公司。谷歌对AI如此舍得下血本，也直接促成了马斯克等人应激式地成立OpenAI，以对抗谷歌未来在AI领域可能形成的垄断局面。

仅仅两年后，已经被谷歌收入麾下的DeepMind就推出了AlphaGo，击败围棋*选手李世石，一炮而红。谷歌就此成为AI领域不可忽视的、*梯队的力量。

其后数年，做研究、发论文、推产品，谷歌没有停下在AI领域的脚步。OpenAI的GPT模型之“T”，正是Transformer模型之意。Transformer模型是一种用于自然语言处理中的神经网络模型，是由谷歌的研究人员在2017年提出的，那一年皮查伊喊出“从移动优先转向AI优先”的口号。当年写就Transformer论文的研究人员，也被冠以“Transformer八子”的称号，可见其分量之重。

但另一方面，ChatGPT推出之后，谷歌就陷入了被动。

如果说几年前做“谁会造出一个轰动世界的大模型驱动的聊天机器人”，那谷歌八成是猜测的大热门。但这并不是故事的走向，OpenAI推出了ChatGPT，而谷歌至今没有能与之抗衡的产品。

今年2月，在外界的瞩目下，谷歌推出了聊天机器人Bard。作为ChatGPT的直接竞品，Bard被寄予厚望，却不如预期。先是演示中出现事实错误，让谷歌母公司一夜之间市值蒸发千亿美元。而后也没能以性能表现吸引足量用户，据Similarweb的数据，Bard全球月访问量只有2.2亿次，仅为ChatGPT的八分之一。

谷歌在AI领域明明素有“遥遥*”之态，为什么这次不能“遥遥*”了，问题到底出在哪儿？

“Transformer八子”也许能掀开谷歌难题的一角。这八子目前已经全部从谷歌出走，其中1位加入OpenAI，其余7人创业。彭博社引用谷歌科学家和工程师称，谷歌规模庞大，任何创意都要经过多层确认。就算创意通过，从创意到产品的门槛也很高。在谷歌，高级研究人才想将想法变为现实，难度颇大。

换句话说，谷歌多少有点“大公司病”，这也可以解释为何谷歌在应对OpenAI和微软的挑战时显得有些“迟缓”。

ChatGPT的推出，使得AI的战场更加瞬息万变，看看OpenAI和微软过去一年对模型和产品的迭代速度就知道了——今年2月微软推出新必应，3月OpenAI就正式推出了GPT-4，9月微软推出微软“智能副驾”Microsoft Copilot，10月就开始向Windows 11用户推送更新，11月OpenAI又推出了GPT-4 Turbo。况且OpenAI每次的发布会还会有真枪实弹的演示，动辄就是“即日起可用”。在这样的竞争环境下，谷歌的“谨慎”就变成了一种诅咒。

谷歌有足够的理由着急。

在AI驱动的云计算竞赛中，谷歌一直落后于微软。今年两大巨头多次同日发布财报，让对比更加明显。截至9月底的2023年第三季度财报显示，谷歌云营收低于华尔街预期，且为11个季度以来增长最慢的一季。而微软同样截至9月底的2024财年*财季业绩报告则显示，微软智能云部门收入同比增长19%，其中Azure更是同比增长29%。

在Bard效果不佳的情况下，Gemini是谷歌寻求突破的一枚关键棋子，这也是Gemini还没推出就备受瞩目的原因。

今年4月，谷歌将谷歌大脑Google Brain和DeepMind合并，成为新的部门谷歌DeepMind。此前谷歌原生孵化的谷歌大脑与收购而来且一直享有高度自主权的DeepMind之间，一直有资源抢夺和内部竞争的问题，这与“Transformer八子”出走暴露出的谷歌的问题一致。

而合并二者，显示出了谷歌从组织层面上入手，扫清AI竞赛上的障碍之决心。合并之后，DeepMind联合创始人德米斯·哈萨比斯（Demis Hassabis）成为谷歌DeepMind的CEO。

不出两个月，哈萨比斯就在采访中透露了Gemini项目，并放出豪言，称Gemini的能力将强过OpenAI的GPT-4。

在今年年中的谷歌I/O开发者大会上，谷歌共提及143次AI，皮查伊首次承认Gemini的存在。从那时起，全世界都在等着谷歌“憋大招”。

如此看来，就能理解谷歌为什么在那么多“但是”的情况下，就发布Gemini，又为什么要如此用力地营造“遥遥*”的形象。

好消息是，尽管外界质疑颇多，但市场对谷歌Gemini的发布给出了正反馈。当地时间周四，谷歌母公司Alphabet的股价大幅上涨了5.3%，市值上涨800亿美元。巧合的是，今年9月传出的OpenAI最新估值正在800亿美元到900亿美元之间。谷歌一夜涨出了一个OpenAI。

坏消息是，承诺大过落地的Gemini，需要实实在在地兑现承诺，2024年Gemini Ultra的正式推出将是一个关键节点。

而在那之前，只能默默祈祷OpenAI的GPT-5来得慢一些。就在上个月，OpenAI的CEO山姆·阿尔特曼（Sam Atlman）透露，GPT-5正在开发中。

参考资料：

1、新浪科技：《两个小时：谷歌说了143次AI，股价连涨两天》

2、财联社：《OpenAI承认正开发GPT-5 *目标是相当于人脑的超级AI》