根据商业与技术洞察公司Gartner的最新预测，到2029年，70%的中国企业将实施 AI 安全测试，以增强其现有的应用安全测试和渗透测试机制，而目前这一比例不足5%。
Gartner高级研究总监赵宇表示：“大语言模型（LLM）和 AI智能体在各个关键领域中的大规模部署正在重塑中国的网络安全格局。对于中国的CIO及其安全团队而言，专业化与持续性的AI安全测试不仅是防御措施， 更是部署高价值 AI、抢占市场份额、确保合规以及实现中国 AI 全球领导力目标的关键推动力。”
AI 大规模融入业务系统
随着国产大语言模型的快速发展，企业机构纷纷将AI大规模地融入业务系统。因此， AI安全测试必须高度自动化，并无缝集成到现有安全工具和工作流程中，以防成为拖慢系统上线速度的瓶颈。
人工测试仍是必须选项
中国的企业机构尚未完全依赖自动化的 AI安全测试（AI-ST）工具，对于自定义的测试场景来说，人工测试仍是必须。
中国的AI安全测试正逐步拓展为 “ 广义安全 ” 测试
为响应各类监管标准，中国的AI安全测试正在从传统的网络安全测试，逐步拓展为涵盖违规、歧视与偏见等问题的 “ 广义安全 ” 测试。这些领域通常超出网络安全团队的传统职责范围，凸显了更高层级的统筹协调与战略规划在 AI 安全测试中的必要性。
企业机构面临新的安全挑战
在尝试使用AI智能体来实现业务流程自动化时，企业机构面临新的安全挑战，主要涉 及四个方面：外部调用安全、AI智能体的身份与访问管理（IAM）、行为可控性以及规划完整性。 AI智能体的测试复杂度远高于通用 AI，测试人员必须具备领域专业知识， 不仅需要懂业务逻辑，还要能够理解智能体应用场景。
Gartner高级研究总监赵宇表示：“中国的CIO必须将AI安全测试视为战略赋能工具，而不仅仅是合规成本，因为其有助于识别风险，并能加快AI在关键职能中的安全采用。”
针对上述一些目前切实存在的情况与挑战，Gartner给出建议如下：
评估并升级现有安全测试工具，研究专用的AI安全测试工具以弥补能力缺口。定期开展针对AI的渗透测试和红队演练。
建立持续测试流程，将AI安全测试集成到持续集成 / 持续交付（CI/CD）流水线和安全运营中。
采用人机结合的混合测试模式，同时利用人类智能与自动化方法，以应对复杂、动态、上下文相关的漏洞。
组建跨职能团队，集合技术、业务和合规方面的专业能力，确保AI安全测试的全面性、相关性，以及与企业目标和外部要求的一致性。
