2024-6-17 13:29

张亚勤:大模型做对了三件事,还需三大改进

C114讯 6月17日消息(南山)日前举办的人工智能行业盛会“2024北京智源大会”上,零一万物CEO李开复与清华大学智能产业研究院院长、智源学术顾问委员张亚勤进行了一场尖峰对话。

在对话中,李开复强调,大模型是AI有史以来最大的革命,人类能够用更多计算和数据不断让它增加智慧,目前还在推进中,这是令人振奋的事情。当然挑战也非常多,例如当前主要靠算力推动,使得掌握GPU资源的国家处在优势地位;再如因为数据问题,大模型不知道“最近一年发生了什么”。当然,随着人类社会加大研究,李开复对大模型的未来十分乐观。

张亚勤则谈到,大模型做对了三件事,还需三大改进。

做对了哪三件事?一是规模法则(Scaling Law),得益于对海量数据的利用以及算力的显著提升,再加上现在的Diffusion和Transformer架构能够高效地利用算力和数据,使得“飞轮效应”得以正循环。尽管有人质疑Scaling Law在2~3年后是否仍然有效,但至少在未来5年里,它仍将是大模型发展的主要方向。

二是“Token Beist”。在大模型中,“Token”是一个基本元素,无论是文本、语音、图像、视频、自动驾驶,甚至是生物领域的蛋白质和细胞,最终都可以抽象为一个Token。Token之间的训练、学习和生成是核心环节,这与人类大脑中的神经元工作原理相似,无论执行何种任务,其基础机制都是相同的。

三是通用性。通用性不仅体现在文本处理上,还扩展到了多模态领域,甚至可以生成如蛋白质等复杂结构。此外,它在物理世界(如具身智能)和生物世界(如生物智能)中也有着广泛的应用前景。

此外大模型还需要做三大改进。一是效率,人类大脑拥有860亿个神经元,每个神经元又有数千个突触连接,却只需要20瓦的能量,重量还不到三斤;而大模型还依靠大量堆积GPU,需要建立真正的商业模式,大幅度提升效率。

二是大模型没有真正理解物理世界。当前做的再好的大模型,在生成式和对世界真实的表述之间存在矛盾,人类需要探索如何将生成式的概率大模型与现有的“第一性原理”或真实模型、知识图谱相结合。张亚勤认为,未来 5年会有全新的架构替代现在的Transformer和Diffusion模型。

三是欠缺边界。大模型现在不明白“我不知道什么”,需要业界解决这个难题。

作者:南山   来源:C114通信网

相关

本评论 更新于:2024-7-21 17:18:28
在C114 APP中与业内人士畅聊通信行业热点话题!