在拉斯维加斯举行的国际消费电子展 (CES) 上,英伟达 CEO 黄仁勋在一次面向万人的主题演讲后接受 TechCrunch 采访时表示,其公司 AI 芯片的性能提升速度已远超数十年来推动计算机技术进步的“摩尔定律”设定的标准。
“我们的系统进步速度远超摩尔定律,”黄仁勋周二表示。
据了解,“摩尔定律”由英特尔联合创始人戈登 摩尔于 1965 年提出,预测计算机芯片上的晶体管数量将大约每年翻一番,从而使芯片性能也大致翻一番。这一预测基本实现了,并在几十年里推动了计算机性能的快速提升和成本的急剧下降。
近年来,“摩尔定律”的发展速度有所放缓。然而,黄仁勋声称,英伟达的 AI 芯片正以自身的加速节奏发展;该公司表示,其最新的数据中心超级芯片在运行 AI 推理工作负载方面的速度比上一代产品快 30 多倍。
“我们可以同时构建架构、芯片、系统、库和算法,”黄仁勋说,“如果这样做,我们就能比摩尔定律更快地发展,因为我们可以在整个技术栈中进行创新。”
英伟达 CEO 发表这一大胆言论之际,正值许多人质疑 AI 发展是否停滞之时。包括谷歌、OpenAI 和 Anthropic 在内的领先 AI 实验室都使用英伟达的 AI 芯片来训练和运行其 AI 模型,而这些芯片的进步可能会转化为 AI 模型能力的进一步提升。
这并非黄仁勋首次暗示英伟达正在超越“摩尔定律”。早在去年 11 月的一次播客节目中,黄仁勋就曾提出 AI 世界正以“超摩尔定律”的速度发展。
黄仁勋还驳斥了“AI 进展放缓”的观点。他认为,当前 AI 领域存在三大扩展定律:预训练(pre-training)、后训练(post-training)和推理时计算(test-time compute)。预训练阶段,AI 模型从海量数据中学习模式;后训练阶段,通过人类反馈等方法微调模型;推理时计算则让模型在回答每个问题后有更多时间“思考”。黄仁勋强调,随着计算能力的提升,AI 推理成本将逐步降低,类似于摩尔定律推动计算成本下降的历史进程。
英伟达的 H100 芯片曾是科技公司训练 AI 模型的首选,但现在科技公司更加关注推理,一些人开始质疑英伟达昂贵的芯片是否还能保持领先地位。
目前,使用测试时计算的 AI 模型运行成本高昂。有人担心 OpenAI 的 o3 模型(使用了规模化的测试时计算)对大多数人来说过于昂贵。例如,OpenAI 使用 o3 在一项通用智能测试中达到人类水平的分数,每项任务花费近 20 美元。而 ChatGPT Plus 的订阅费用为每月 20 美元。
在周一的主题演讲中,黄仁勋像举着盾牌一样展示了英伟达最新的数据中心超级芯片 GB200 NVL72。这款芯片在运行 AI 推理工作负载方面的速度比英伟达之前最畅销的芯片 H100 快 30 到 40 倍。黄仁勋表示,这种性能的飞跃意味着像 OpenAI 的 o3 这样在推理阶段使用大量计算的 AI 推理模型,其成本将随着时间的推移而降低。
黄仁勋表示,他总体上专注于创造性能更强的芯片,而性能更强的芯片从长远来看会带来更低的价格。“无论是在性能还是成本承受能力方面,测试时计算的直接解决方案是提高我们的计算能力,”黄仁勋表示。他指出,从长远来看,AI 推理模型可以用于为 AI 模型的预训练和后训练创建更好的数据。
在过去一年里,我们确实看到了 AI 模型的价格大幅下降,部分原因是英伟达等硬件公司的计算技术突破。黄仁勋表示,他预计这种趋势将随着 AI 推理模型的发展而继续下去。
黄仁勋声称他今天的 AI 芯片比 10 年前的产品好 1000 倍。这是一个比“摩尔定律”设定的标准快得多的速度,黄仁勋表示他认为这种速度没有停止的迹象。