商业与技术洞察公司Gartner预测，到2030年，生成式AI提供商对1万亿参数大语言模型（LLM）的推理成本将比2025年降低90%以上。
AI Token是生成式AI模型处理的数据单位。本次分析中，1 Token等于3.5字节数据，约合4字符。
Gartner高级研究总监Will Sommer表示：“推动这一成本下降的因素包括半导体和基础设施效率的提升、模型设计方面的创新、芯片利用率的提高、专用推理芯片的普及以及针对特定用例的边缘设备应用。”
基于这些趋势，Gartner预测，到2030年，大语言模型的成本效益将比2022年开发的同等规模早期模型高出多达100倍。
该模型预测结果分为两类半导体场景：
前沿场景：模型处理基于前沿芯片的表征。
传统混合场景：模型处理基于以Gartner预测为基准的现有半导体混合表征。
由于算力较低，“混合”预测场景的建模成本远高于“前沿”场景（见图一）。
图一、Gartner生成式AI推理成本场景预测
来源：Gartner（2026年3月）
Token成本下降不会推动前沿智能普及化
然而，生成式AI提供商的Token成本下降不会完全传导给企业客户。此外，前沿智能所需的Token数量将远超当前主流应用。例如，代理式模型每项任务所需的Token数量是标准生成式AI聊天机器人的5至30倍并且能够执行比人类使用生成式AI更多的任务。
尽管Token单位成本的下降将推动生成式AI技术的进步，但这些进步将导致Token需求急剧增长。由于Token消耗增速快于成本降幅，预计整体推理成本仍将上升。
Sommer表示：“首席产品官（CPO）不应将商品Token成本的下降与前沿推理的普及混为一谈。随着商品化智能的成本趋近于零，支持高级推理所需的计算和系统资源依然稀缺。如果当前首席产品官用廉价的Token掩盖架构的低效，那么将来会在实现代理式应用规模化上遇到难题。”
为了创造价值，平台需要能够编排多种不同模型的工作负载。常规的高频任务必须发送到更高效的小型和领域专用语言模型，这些模型如果能够与专业工作流对齐，则其性能会优于通用解决方案且成本仅为后者的一小部分。此外，必须严格管控前沿级模型的高成本推理并且仅将其用于高利润、复杂的推理任务。
