12月28日，2024中国信通院ICT+深度观察报告会上海分会场暨“虹桥之源”大模型驱动数字经济新生态峰会在上海长宁正式拉开帷幕。会议首次深度聚焦大模型，以“智能涌现，创新生态”为主题，汇聚“产学研用”顶尖智慧，共同探索大模型的前沿技术创新和落地应用实践。
在会议的高峰对话和圆桌讨论环节，中国信通院华东分院副总工程师陈俊琰、数字化应用发展事业部主任胡莉莉与上海人工智能实验室主任助理、领军科学家乔宇、北京邮电大学医疗人工智能研究中心主任张成文、上海钢联电子商务股份有限公司首席技术官郭君、虎博科技产研负责人朱俊杰以及OPPO终端安全领域总经理王安宇、京东探索研究院算法科学家薛超、HiDream.ai联合创始人兼首席运营官王科、亿欧上海分公司总经理缪国成等8位业界专家，围绕“大模型应用落地新机遇”、“大模型技术创新谋发展”两个主题展开讨论。
讨论涉及的话题AI大模型的商业化、应用落地、发展路径、生态建设、技术突破等等，抛出的论断极其建设性。例如论及大模型未来产业形态时，张成文谈到：2023年我的总结词是“快”，2024年如果用一个词就是“卷”，无论技术还是生态，还是方方面面都是在卷。
乔宇：闭源模型，以OpenAI和Google为代表，其性能标志着当前大模型的最高水平。
王科：视频与大语言模型的结合，以及解决相关性和高质量数据生成的问题，是技术层面的潜在突破点。
朱俊杰：开展中国特色的行业大模型工作，应特别关注信创（信息技术创新）领域。
郭君：大量产业场景认知和产业大数据是行业大模型不可或缺的优势。
王安宇：端侧大模型面临的挑战可归纳为三大类，模型使用场景的复杂性、安全问题、维护和升级困难。
薛超：大模型与传统软件生态存在本质区别，不能完全按照传统软件生态的演进逻辑来推断大模型的发展。
张成文：从应用角度来看，2024年将是决定性的一年。决定了人们对大模型的期待是否会由昙花一现的技术变为真正接近AGI的技术。
缪国成：政策和监管，需要兼顾大模型技术的健康发展,同时也要保护公众的利益和认知。
01 谈商业化：应用需求为导向
陈俊琰：针对AI发展路径，目前形成了两种观点：一方认为应以技术为主导，追求卓越的模型性能，从而实现通用人工智能；另一方认为应着眼于AI商业化，积极拓展市场，先盈利然后促发展。
面对这样的观点分歧，业界急需解答的问题包括：AI大模型的商业化将面对哪些主要挑战？实现商业化的过程中有哪些不可避免的难点？此外，在大模型普及化，走进普通家庭的过程中，我们还需要哪些关键的AI技术支撑？
乔宇：大模型技术发展与产业应用是相互促进、相互支撑的关系。作为赋能型技术，大模型旨在支持应用并与各行业结合。因此，语言和多模态大模型，均以应用需求为导向，最直观的例子是：ChatGPT因成为写代码、邮件的生产力工具而“出圈”。
应用的发展离不开技术的支撑。大模型发展面临诸多挑战，如鲁棒性、安全性及效率问题，这些挑战的解决依赖于技术进步和原始创新。目前国内需要学习OpenAI、谷歌等顶级机构在原始创新、基础创新等领域的投入力度、投入模式。
大模型的成功实施，不仅仅是技术层面的突破，也需要商业模式的创新。在应用方面，数据是关键，虽然基础大模型具备强大通用性，专业领域的有效应用则需依赖领域特定数据训练；同时，大模型与各行业结合可能孕育不同商业模式，需理解并适应之。
陈俊琰：语言大模型已经在改变我们处理文本的方式，而视觉大模型也正逐步改变我们处理图像的方式。如何看待融合了文本、图像、音频等维度的多模态大模型，在当前和未来的商业化路径？
郭君：作为一个专注于信息服务的公司，我们深知大模型的产业数据的重要性，特别是在拥有高质量数据集的情况下，大模型的能力会更强。面向大模型技术，我们采取三步走战略实施大模型的商业化：第一步，利用这项技术解决企业内部的降本增效和增量问题；第二步，使用大模型重新构建所有的应用；第三步，让产业大模型进入更广泛的产业界，帮助解决行业发展的问题。我们推出的“小钢”数字智能助手按照三步走战略，打造了三层结构的商业模式，包括基础层、行业层和应用层。
大量产业场景认知和产业大数据是行业大模型不可或缺的优势。目前通用大模型已经发展得相当成熟，接下来市场期待的可能是产业大模型的发展。产业场景非常丰富，只要投入产出比合适，企业都愿意尝试新技术，特别是如果它能解决他们的问题，他们更愿意为此付费。
陈俊琰：AI大模型的三个要素：算力、算法、数据。中国市场应该如何布局三个层面的机会？
郭君：在算力方面，众所周知，算力已成为当前的瓶颈。一方面，价格高昂；另一方面，资源稀缺。近期，尽管有充足预算，仍难以采购所需的硬件，价格在短期内飙升了50%。未来，芯片产业及基于芯片的应用层建设，如智能计算中心，预计将迎来快速发展。
在模型方面，将全力投入产业大模型建设。通用大模型并非万能，也无法解决所有产业问题，未来需要针对丰富的产业场景开发各种模型。国内公司应利用自身数据优势，构建通用模型，解决产业端问题。
在数据供应方面，应继续强化在大众数据方面的优势，积极布局工业大数据采集。工业数据采集颇具挑战，由于生产工艺、设备及数据接口协议的多样性，数据量和质量的不确定性给数据采集和整理带来了困难。国内市场需利用积累多年的大数据，支持用户及行业用户进行数字化转型，将数字化转变为资产，并为企业小模型或行业大模型提供数据支持。
02 谈应用部署：数据、算力与中国特色
陈俊琰：垂直行业的大模型应用正广泛应用于基础设施、交通、医疗等行业。在这一发展趋势中，需要特别关注哪些方面？
朱俊杰：首先是数据问题。与通用大模型依赖通用数据不同，垂直行业模型需要深入理解特定行业的背景知识和技能。即使是技能娴熟的模型，若缺乏行业知识，也难以处理行业问题。行业数据分布于不同部门，常涉及权限问题，以及安全和隐私问题，这些都是在行业模型落地时必须要考虑的。同时，在OA系统、流程化系统中继续融入和利用数据时，如何将其有效集成到大模型中，也是一个需要解决的挑战。
第二，模型的输出质量也至关重要。在一些创意性较强的领域，模型可能产生富有创造力的输出，但在对合规性和准确性要求极高的领域，如医疗领域，输出必须严格控制，确保准确无误。
第三，提示词的工程应用对模型输出有显著影响。在行业中使用模型时，需要培养既理解行业业务又懂得大模型运作的复合型人才。
第四，与AI代理的协同工作。大模型可以视为引擎，需要与下游任务和系统协同工作。在行业大模型中，若能在训练阶段就考虑系统调用逻辑和描述，则能更有效地拆解任务，做出更合适的决策。
第五，开展中国特色的行业大模型工作，应特别关注信创（信息技术创新）领域，这是中国的特殊需求。
胡莉莉：大模型在智能终端的部署应用上面现在存在着哪些挑战？
王安宇：对于端侧大模型使用或推广的挑战，确实是多方面的。如果使用云服务，可能不需要考虑存储、耗电等问题，但在手机或行业终端上使用大模型时，必须考虑性能、稳定性和有限资源消耗等基本问题。
端侧大模型面临的挑战可归纳为三大类：
（1）模型使用场景的复杂性：不同用户的主要使用场景可能迥异，如娱乐或办公。模型是否能够适配不同终端用户的多样化诉求成为一大挑战。
（2）模型使用的安全问题：终端上的模型如何确保输入的安全性，以及输出的道德、伦理和隐私问题都是挑战，这些都需要在模型设计和应用中得到充分考虑。
（3）模型的维护和升级困难：与云端模型不同，端侧模型的部署和升级更为复杂。一旦模型出现问题，不像云端那样可以通过简单的部署和代码更新来解决，端侧模型的维护和升级成本相对较高。
03 谈发展路径：开源 VS 闭源
陈俊琰：开源和闭源是大模型商业化的两种方式，前者代表是Meta 发布了 Llama（羊驼）、上海人工智能实验室的书生，后者是OpenAI的GPT-4，如何看待这两种方式的商业价值和意义？
乔宇：目前在通用人工智能大模型领域，开源和闭源模型共存，开源模型如llama以及国内的书生等均取得显著进展，这些高质量的开源模型在推动垂直领域模型的发展中起到了重要作用。而闭源模型，以OpenAI和Google为代表，其性能标志着当前大模型的最高水平。
开源与闭源模型的共存并不是对立的。OpenAI和Google出于竞争和安全考虑，选择闭源策略，这在技术领先和探索技术前沿方面是有优势的。然而，一个技术要惠及人类，终将走向开放。整个计算机和人工智能技术的发展史证明了开放的重要性。
开源不仅意味着模型的开放，也包括数据、工具链、评价标准等。对于中小企业或非人工智能主导的大企业而言，没有开源资源，他们难以从零开始建设模型。开源保证了这些企业和学术研究者有一个共享的基础，能够在此基础上进行创新和应用的发展。开源和闭源将在一段时间内和谐共存，共同推进人工智能领域发展。
陈俊琰：开源与闭源模型的状态是阶段性的。闭源模型有可能转向开源，而开源模型在商业化道路上也可能转变为闭源。
胡莉莉：围绕AI大模型应用、预训练模型，中国形成了怎样的发展路径？
薛超：当前大模型主要聚焦于基础的预训练模型，沿着开源和闭源两条路径发展。以OpenAI的GPT和百度文心为代表的闭源模型，与mata的llama等开源模型并行。很多业界人士将开源与闭源的大模型之争比作历史上操作系统之战，如Windows与Linux，iOS与Android。普遍预期最终将有少数闭源系统和一个开源系统脱颖而出。
然而，大模型与传统软件生态存在本质区别。例如，Linux和Android开发门槛较低，普通开发者容易参与。相对而言，大模型开发对算力要求较高，这增加了参与门槛，从而带来不确定性。因此，不能完全按照传统软件生态的演进逻辑来推断大模型的发展。
在中国，大模型的发展与全球趋势并行，没有本质区别。无论是百度文心、通义千问等优秀的闭源模型，还是不断涌现的开源模型，都显示出了中国在大模型领域的活跃发展。预计开源和闭源两种模式将继续并存，共同推动大模型技术的进步和应用。
胡莉莉：京东在开源和闭源两种模式中如何布局？
薛超：鉴于目前开源与闭源的路径存有不确定性，与历史上的Linux等情况不完全相同，京东目前采取的策略是首先研发并在自身的业务场景中广泛应用自有模型，确保这些模型在京东的各种应用场景中真正产业化和实用。京东的最大优势在于覆盖了从消费互联网到产业互联网的全供应链，因此应用场景极其丰富。
一旦在京东内部验证了大模型在数百甚至数千个应用中的效能，将进一步探讨模型的开源或闭源路径。先行确保模型的实用性和效益，再做进一步的战略部署和决策。
04 谈未来生态：决定性的2024
陈俊琰：大模型的赛道上已聚集众多玩家，也出现了手机厂商、金融机构、文娱、教育等等跨界选手。但现在尚未形成真正具有吸引力和竞争力的产业生态。请围绕AI大模型生态，谈一谈我国或者上海的现状、以及未来的发展。
张成文：2023年人工智能领域经历了应用生态和技术发展两个维度的快速发展。国内出现了各式各样的大模型应用，形成了百模大战的局面，从宏观层面看，这不仅锻炼了技术能力，挖掘了应用场景，还增强了使用大模型的信心。
论及国内大模型应用生态，可以分为三种：工具型、智能助手、以及数字化转型的基础设施。例如，将文本转换成图像属于工具型，而将手机助手升级成智能助手则是AI大模型应用更高层次的追求，这种深度赋能也是现阶段的目标。
大模型真正的价值并不仅限于初期的降本增效，早期应用主要集中在补足效率和成本控制上的短板，比如自动化繁琐或耗时任务。大模型的核心价值应在创新上得到体现，尤其是在数字化转型的过程中。在这个过程中，大模型应成为核心驱动力，类似于智能决策中心或“大脑”。集群化、智能化的大模型，将是未来发展的方向，为各领域带来前所未有的创新机会和发展潜力。
当前大模型的发展喜忧参半。一方面，为大模型带来的惊奇功能和美好前景感到兴奋；另一方面，现实存在的挑战和困难，涉及技术、数据处理、评测等多个方面。例如在数据处理以及技术应用方面，特别是在深入某个特定领域，如智能制造或医疗领域时，多模态的要求和通用场景下是不一样的。这就需要更广泛、更深入的技术知识和数据处理思维，要考虑到长尾数据、数据多样性和公平性等问题。
接下来应该注重人才培养。国内在基于Transformer架构的大模型构建中有许多成果，但ChatGPT这类工程路线仍然相对陌生。2024年能否见证大模型的更多成功应用，很大程度上取决于是否能培养出更多创新人才。更具挑战性的其实是培养跨界人才。这包括两方面：一是跨技术界的人才，他们不仅要精通大模型技术，还要懂得将其与5G、区块链、物联网等技术结合使用；二是跨领域的人才，尤其是那些能够在医疗、智能制造、法律、金融等垂直领域内应用大模型技术的专家。
陈俊琰：未来十年或几十年，大模型相关的产业形态将如何演变，以及这些产业形态将如何塑造大模型的生态环境。目前业界普遍预测，将形成三种主要企业生态：提供通用大模型服务的企业、专注于行业大模型服务的企业和提供私有化大模型服务的企业。
张成文：如果大模型的发展在2023年的总结词是“快速”，那么对于2024年则是“竞争”。无论是技术层面还是生态建设，各方面都在激烈竞争中前行。
在工程角度，共有云和私有化部署、云边端一体化协同、数字安全、快速响应等将继续是重点。同时，定制化和专有化也是关键词。定制化可分为非定制和定制，而定制又分为专有大模型定制和共享大模型定制。专有大模型定制适用于拥有丰富数据和资金的实体，用以构建满足特定需求的模型。而共享大模型定制则更多关注于如何利用大厂的算力、模型和通用性能，通过贡献数据形成共享。此外，提一提OpenAI近期推出的GTPS模式，这也是一种共享大模型的定制方式，它更偏向于操作层面，适合于那些拥有数据但缺乏技术深度的实体。
从应用角度来看，2024年将是决定性的一年。人们对大模型的期待是否会由昙花一现的技术变为真正接近AGI的技术，这将是一个重要的观察点。
胡莉莉：在大模型发展中，标准化如何促进AI大模型生态的构建？
王安宇：基于长期从事通信行业的经验，深刻体会到标准化对行业发展的重要性。正如通信行业从1G发展到5G，服务于广大消费者和众多行业，得益于健全的标准体系，标准化在推动和促进行业发展中发挥了关键作用。
对于AI大模型而言，无论国家标准还是行业标准，都在有序进行中，对行业的推动作用显而易见。在此，想分享关于标准化在大模型生态建设中的几个关键功能。
首先，标准化定义了行业的底线要求。无论是京东、阿里云还是OPPO等公司发布的消费者服务或2B服务，都有一些基本的安全和数据保护要求。这些底线要求是标准监管领域的重点，国内权威机构和行业组织在这一领域持续引领标准的发展。
其次，标准化涵盖了能力类指标。许多标准定义了视觉大模型处理、文本大模型处理乃至模型的存储或计算能力等维度。这些能力类标准为行业提供了明确的标杆，促进了技术水平的提升和行业应用的落地。
最后，标准化促进了行业的标杆制定。对于那些特别优秀的案例或突破性进展，相关的标准研究机构和产业机构可以通过标准，协同推广这些成果，服务于各行各业的数字化转型。当前，大模型的应用推广和普及对于各行业的数字化转型至关重要，通过标准的引领和共享，可以将这些尖端技术的能力更广泛地推广使用。
胡莉莉：构建我们大模型生态的一些关键要素有哪些？
缪国成：生态问题包含众多需关注的方面。首先，搭建一个生态平台至关重要，本次由中国信通院华东院举办的ICT大模型峰会便是一个典范。政府、企业、研究机构及第三方机构的参与，加上白皮书的发布与媒体宣传，促成了技术与理念的交流与融合。
平台构建之后，如何运行也是关键。尤其是在大模型领域，技术创新是核心。这包括算法的创新、算力的优化和数据处理等方面。技术创新的步伐极快，需要一个共享平台，以便行业内的专家和机构可以进行交流、合作和升级。
数据作为大模型迭代的核心，其合作与优化需要行业共同努力。数据领域的合作与优化，以及与创新算法的结合，对整个行业的发展至关重要。例如在今早的分享中，廖院用“只有让烈马卧槽，良马才能出来”形容建立数据要素市场的重要性。
人才的教育和培养在大模型领域至关重要，涉及到产学研用的全方位合作。大模型的发展不仅需要高技术人才，更需要大量跨学科人才。这在教育领域是一大挑战，尤其对中国高校而言。人工智能作为一个相对较新的学科，目前产出的应届生还非常有限。因此，加强企业与高校之间的合作，推动实际应用与理论研究的结合，对于培育未来人工智能领域的人才至关重要。
伦理和隐私保护是另一个重要议题，尤其在教育领域的大模型应用中尤为突出。最近参与的一场教育大模型研讨会上，政府教育主管部门、教育专家及产业界代表共同探讨了如何安全、负责任地利用大模型技术。讨论结果显示，虽然教师可以利用这些技术平衡教育资源，但如果直接开放给学生，可能带来不可预测的负面后果。因此，决定采取分步实施策略。
面向这些要素，在政策和监管，需要兼顾大模型技术的健康发展,同时也要保护公众的利益和认知。这两者是相辅相成的，不能一刀切限制整个行业的发展,也不能放任无序发展。更早期的监管部门介入和配套政策的出台非常关键。
另一方面,要推动大模型行业的可持续发展。如刚才多位嘉宾提到的算力问题,算力是核心要素但也是高能耗的。我们应对算力中心进行研究,探讨有序发展算力的路径。各地在这方面也有指标要求,不是每一个地方都能进行大规模算力建设。所以,如何实现绿色可持续发展也需要行业共同推动。
谈技术突破：多模态ChatGPT时代与AI Agent
胡莉莉：下一代AI大模型，技术的突破点将在哪里？考虑到这个问题可能有些宽泛，不妨聚焦在一个具体话题上。以谷歌发布的Gemini为例，标志当前头部大模型的竞争焦点已转向视频与多模态领域。基于此，真正实现多模态的ChatGPT还需多久？在此期间，我们可能会遇到哪些挑战和机遇？
王科：在视频和多模态领域，这里的潜在突破点有两个方向：技术本身的突破，以及技术如何满足市场需求。
首先，观察ChatGPT及其背后的技术，自回归方式基于历史数据预测下一输出，在逻辑性强的语言数据处理上表现出色。但在视觉和视频处理方面，主流模型趋向采用扩散模型，这是一种更全面保留历史信息的生成方式。视频与大语言模型的结合，以及解决相关性和高质量数据生成问题，是技术层面的潜在突破点。
从产品和应用角度看，视频或多模态GPT已经有不少实例，如京东、OPPO等企业的多模态尝试。随着AI生成图像的数量激增，以及社交媒体上短视频的爆炸式增长，预示着多模态GPT的时代即将到来。未来的视频内容创作可能会更加自动化和智能化，实现长视频的叙事和组合。总结来说，多模态ChatGPT时代的到来，既是技术追求的远景，也可能因市场和应用的推动而快速临近。
陈俊琰：AI Agent无疑是当下大模型最激动人心的发展主线，被称为大模型下一场战事“最后的杀手产品”。围绕AI Agent，虎博科技的商业化是如何布局的？
朱俊杰：虎博一直专注于自然语言处理（NLP）领域，并自2017年以来发布了多款大模型产品，例如TigerBot及其不同规模的版本。这些模型定义了我们对AI Agent的理解。
在AI Agent的应用发展上，最初市场上如斯坦福小镇这类产品，主要关注通用能力或娱乐型功能。然而，从2B的角度出发，AI Agent的目标应是满足具体的应用需求并实现实际落地。这包括需要更多的人类参与，引入企业业务逻辑，并确保输出的可靠性。
对于资源有限的企业，不建议独立承担开发大模型的高昂成本，而是建议利用现有的成熟大模型进行开发和应用，成熟的AI Agent应用需要等待更好的大模型发布。企业在选择合作伙伴时，应优先考虑那些有大量用户场景的系统，并能够与不同的业务系统良好交互。AI Agent更多的是调用不同性能的系统，而非直接执行操作。选择能够将技术、产品价值和用户需求有机结合、形成闭环并不断优化迭代的合作伙伴至关重要。
不能只提供单一场景的AI Agent，而需要提供一个整体的、平台级的解决方案，这些方案最好能够开箱即用，并且内含行业知识和业务认知。随着大模型和多模态能力的增强，我们也在关注具身智能或与现实世界物体交互的AI Agent的布局。这不仅包括目前的单体智能或虚拟世界的AI Agent，而且包括那些能够与现实世界交互的智能体。
胡莉莉：两年前中国信通院和京东探索研究院发布了可信AI的白皮书，现在针对大模型的伦理道德和安全，有什么新的看法？
薛超：大模型发展带来的矛盾与挑战是一个严肃的议题。尤其是近期大家关注的由于大模型发展过快所引发的问题，这确实值得深思。
首先，数据层面的合规性至关重要，但这并不足够。近期有一篇著名的论文揭示了即便是经过严格预训练并注重数据安全性的模型，如GPT-4或ChatGPT，也面临严峻挑战。问题的根源在于模型生成的是基于token的序列，这种生成方式本质上难以完全规避危险语句的生成。
因此，必须实施模型输出的后处理阶段。这不仅包括传统的过滤词方法、分类或模型相似度计算，还可以采用缓存类似的过滤方案等。这些措施可能才能提供更为全面的安全保障。纯粹依赖输入数据的处理，难以全面解决安全和伦理问题。因此，除了前期精细的数据准备，后期的审查和处理同样重要，这是一场需要综合施策的长期战役。
了解更多《2023大模型落地应用案例集》信息，请联系：
周女士
中国信通院华东分院
电话：13706699850
邮箱：zhouzhihan@caict.ac.cn
