2024-7-24 08:21

【大模型周报第83期】斯坦福大学和Meta等多家学者共同提出一种全新架构TTT

1、资讯总览

产业发展政策】关键词:人工智能标准、高新区

工信部7月1日发布人工智能标准化技术委员会筹建方案,与人工智能综合标准体系建设政策指南配套发布,政策指导实践走深走实。

四川省经济和信息化厅7月8日印发《四川省高新技术产业开发(园)区推动人工智能产业率先突破发展行动方案(2024—2026年)》。

【前沿技术进展】关键词:模型架构、可逆计算、检索增强生成(RAG)

微软开源GraphRAG,基于知识图谱的检索增强生成(RAG)方法增强LLM处理私有数据性能,具备跨大型数据集的复杂语义问题推理能力。

英国计算架构初创公司Vaire Computing Ltd7月2日表示计划在12个月内推出可逆计算芯片,利用可逆计算为生成式人工智能和始终在线的边缘设备创建接近零能耗的芯片。

斯坦福大学等高校机构与Meta的学者提出一种全新架构测试时间训练层TTT(Test-Time-Training layers),通过对输入token进行梯度下降来压缩上下文,有望解决长上下文中性能受限的问题。

【产品应用创新】关键词:图生视频、人形机器人、多模态操控

商汤科技7月4日发布首个面向C端的可控人物视频生成大模型Vimi,仅通过一张任意风格的照片就能生成和目标动作一致的人物类视频。

特斯拉7月4日二代人形机器人Optimus正式亮相,全身控制能力和平衡性再次升级,行走速度提升30%,手指还能在轻握鸡蛋和搬运重物之间轻松切换。

人形机器人(上海)有限公司7月4日发布首个自研的全尺寸开源通用人形机器人公版机“青龙”,支持多模态机动、多模态感知、多模态交互和多模态操控。

【产业市场竞合】关键词:AI视频生成、生态合作

AI视频初创公司Runway7月2日与纽约私募股权投资公司General Atlantic洽谈按公司估值40亿美元为基准筹集4.5亿美元融资。

阿里云宣布与月之暗面合作,阿里云的算力和大模型服务平台助力月之暗面提升模型推理效率,加速Kimi智能助手实现技术突破

【人工智能治理】关键词:人工智能治理、AI平衡律

《人工智能全球治理上海宣言》7月4日发布,提出要推动全球人工智能研究资源的交流与合作,推动人工智能基础设施公平分配。

上海AI实验室周伯文7月4日提出AI的45度平衡律,应构建“泛对齐”、“可干预”、“能反思”的路径,实现AI性能与安全的平衡。

2、趋势洞察

1.高新区成为地方政府推动大模型产业率先突破的重要发力点

选择高新区率先突破,是因为高新区是科技创新的重要策源地和人工智能产业发展的核心载体,拥有大量的科研机构和科技企业,能够持续产生新技术、新产品和新业态,具有显著的政策优势、资源禀赋、技术优势和产业基础。高新区可以集中优势资源,率先在关键技术、标志性产品等领域取得突破,形成引领性地位。数据显示,2023年四川全省人工智能产业规模达到900亿元,企业超过1100家,高新区占比分别超过60%、35%。如四川省经济和信息化厅印发《四川省高新技术产业开发(园)区推动人工智能产业率先突破发展行动方案(2024—2026年)》,是全国首个以高新区推动人工智能产业率先突破的行动方案。

2.大模型TTT架构创新,未来可能超越Transformer和Mamba等架构

Transformer一直是自然语言处理(NLP)任务主流架构,但随着模型规模的扩大和应用场景的复杂化,Transformer也逐渐暴露出局限性,如随着输入序列长度的增加,Transformer的计算复杂度呈二次方增长导致资源消耗巨大。大模型TTT架构TTT层的引入直接取代了自注意力机制,解锁了线性复杂度架构的潜力,使得在上下文中训练数百万甚至数十亿个token的大规模语言模型成为可能。TTT架构不仅简化了模型结构,更在性能上实现了显著提升,可能彻底改变语言模型的发展方向,未来大模型开发和部署可以更加高效、可靠和灵活。如斯坦福大学、加州大学伯克利分校、加州大学圣地亚哥分校和Meta的学者提出一种全新架构TTT(Test-Time-Training layers),TTT架构的核心思想是利用机器学习模型替代传统RNN中的隐藏状态,通过对输入token进行梯度下降来压缩上下文,有望解决长上下文中性能受限问题,未来可能超越Transformer和Mamba等模型架构。

3.人形机器人应用与治理同步发展

人形机器人是通用人工智能软硬件开发的理想载体,在工业生产、民生服务等领域具有巨大的应用潜力,能够显著提升生产效率,将人类从体力劳动中解放出来。马斯克就预言,人形机器人将成为工业主力,数量有望超越人类,预计达到100亿-200亿台,如特斯拉、人形机器人(上海)有限公司、上海开普勒探索机器人有限公司、乐聚公司等均在WAIC上展示了具备多模态感知、交互和操控的人形机器人。另一方面,随着人形机器人的蓬勃发展,需加快重视其安全与伦理问题,如数据安全、隐私保护等,需要制定相关伦理准则与法律法规,确保人形机器人的设计、开发和应用合乎人类道德和伦理价值,促进其可持续发展,如上海市法学会牵头制订的《人形机器人治理导则》也正式发布,这是业界首个以开放签署方式发布的人形机器人治理规则文件。

4.人工智能合作发展与安全治理成共识,呼吁平衡AI发展与安全

全球性的人工智能治理共识正在形成,多国各自出台了人工智能治理的政策与法律法规,但在对共识性原则的理解、协调形成全球性规则方面仍需加快,如《人工智能全球治理上海宣言》提出要推动全球人工智能研究资源的交流与合作,避免技术壁垒,共同提升全球人工智能的发展水平。另一方面,专家也需从人工智能安全治理方面加强技术研究。确保人工智能模型训练、模型微调、模型部署应用等全过程安全、可靠、可控,如上海AI实验室周伯文提出AI的45度平衡律,指出现在AI发展的路线整体低于45度,即性能发展快于安全治理,应实现AI性能与安全的更好平衡。

3、每周一场景:政务热线

1.场景简介

国务院《关于加强数字政府建设的指导意见》明确提出要加强12345热线能力建设,其中就包括自助下单、智能文本客服、智能语音、知识库等数智化应用。

传统政务热线作为政府与公众沟通的重要渠道,发挥着关键作用,但存在一些痛点和困难:

服务资源紧张,质量不一:随着服务需求暴增,热线服务人员有限,需要大量分辨诉求、归属给各部门处理,难以应对高峰期的咨询压力。另外,由于工作人员的专业水平和经验差异,对于复杂或专业性较强的问题,可能难以提供满意的解答。

信息更新与收集滞后:政策和法规频繁变动,政务热线的知识库可能更新不及时,导致提供的信息不准确或过时。政务热线产生的大量通话数据难以有效收集和分析,错失了改进服务和反向促进政策制定的机遇。

技术系统落后:一些政务热线的技术系统可能过时,缺乏高效的自动语音识别、智能分单和知识管理功能。

隐私和安全问题:政务热线需要处理敏感信息,如何确保数据安全和用户隐私是一个挑战。

2.大模型赋能

政务大模型通过“预训练+精调”新范式,创新文本、语音、数字人等新的工程式交互方式,以语音转译(ASR)、语义理解(NLP)、知识管理、大数据处理等技术为基础,赋能政务热线场景应用。

智能问答:大模型可以提供自然语言处理能力,通过大模型的上下文理解能力,政务热线可以实现与用户的多轮对话,更有效地解决问题。

服务效率:通过自动化处理常见问题,帮助政务热线自动分类用户的问题,快速转接至相应部门或专家,减轻政务热线工作人员的负担,提高整体服务效率。

数据分析:分析政务热线的通话记录,提取有价值的信息,辅助构建和更新政务知识库,帮助政府优化服务流程和政策。

多语言支持:对于多语言地区的政务热线,大模型可以提供多语言理解与回答能力,服务不同语言的用户。

3.产品&解决方案

蜜度“蜜巢政务大模型3.0”:提供政务热线、政务智能问答、司法文书校对、执法文书辅助写作等20余个核心应用场景,助力政务热线业务效率提升80%以上,为用户提供了全方位的AI+解决方案。电信运营商可针对自身业务特点,开发多场景的应用和解决方案,如智能客服、网络优化、用户画像等,提升业务效率和用户满意度。

华为的盘古政务大模型:学习了政策文件、政务百科、12345热线等10万量级以上政务数据,所孵化的政务大模型解决方案融入法律法规、办事流程等行业知识,提升了应答准确性,已陆续在广州市、深圳市、长沙市等多个城市开展应用。电信运营商可以借鉴华为盘古政务大模型在政务领域的成功应用,将技术创新与垂直化应用相结合,针对电信行业的特定需求进行深度定制和优化。通过构建符合电信行业特点的政务大模型,提升服务质量和运营效率。

中国电信:智能客服领域提供12345智能客服、智能坐席辅助、热线全流程智能化、智能辅助填单等应用。

4.应用实例:安徽省合肥市12345热线智能化应用

合肥12345热线智能化建设项目运用云计算、大数据、5G视频通话、智能语音、云桌面等新技术,建设智能语音及质检、智能化处理、5G视频融合呼叫中心、RPA机器人自动化等多项智能化系统。

12345政务热线构建统一管理平台,横连69家市直部门、33家公用企业,纵贯13个县市区、144个镇街、1000多个村居,实现全市域覆盖联通,引入了智能话务座席助手,实时转写电话文本并进行在线分析与智能分类和派单,实时检测通话中的关键词汇,对话务员的服务用语、音量等进行弹窗提醒,帮助座席规范话术。与讯飞合作推出的智能客服“智能晓政”,来电人拨打12345热线电话,可直达‘智能晓政’服务专区。

目前12345热线已实现7×24小时不间断服务,将智能客服、人工服务、知识库数据资源紧密连接在一起,智能话务座席助手将话务员的单次服务时长缩短10%,话后整理时长缩短30%。智能晓政”能够处理证件办理和社会保险等多达377种业务类型,已解决近45%的市民来电诉求,有效提高了受理效率。

本文作者

李国钦

战略发展研究所

二级分析师

中级经济师,聚焦产业数字化和数字政府等领域,从事行业洞察研究等相关工作。

 

  蔡玮莎

战略发展研究所

二级分析师

硕士,中级经济师,近年来专注于数字化转型、客户体验、大模型应用等研究。

张媛玥

战略发展研究所

一级分析师

就职于中国电信研究院,长期从事人工智能、工业互联网等领域的技术及产业研究。

来源:天翼智库

相关

信息化工信部微软测试运营商
本评论 更新于:2024-9-8 7:32:06
在C114 APP中与业内人士畅聊通信行业热点话题!