
未来企业购买的或许不只是算力和模型,而是一种可以验证、可以追溯、可以拒绝越权操作的计算服务。
最近一段时间,企业的 AI 安全开始受到关注。
对于企业来说,把 AI 作为生产力引入,最大的挑战不在模型能力上。
在演示环境中,大模型可以生成报告、分析数据、回答专业问题;一旦进入理赔、医疗、金融风控等真实业务,问题便迅速复杂起来。企业不仅担心数据在上云和调用模型时泄露,也无法确认云端是否使用了约定的硬件、软件和模型。与此同时,AI 幻觉、错误调用工具、遗漏关键步骤,甚至在复杂任务中反复「打转」,都可能把一次小概率错误放大为业务风险。
在云栖大会期间,蚂蚁密算董事长韦韬将这些问题归结为企业 AI 的「可信」难题。
「企业需要的不是更聪明的 AI,而是可信的 AI。」在他看来,过去两年,不少企业 AI 项目仍停留在试用阶段。通用模型可以掌握公共知识,但要处理一笔理赔、核验一项交易,必须调用企业内部合同、实时记录和业务规则;任务完成之后,还要证明授权没有被突破、关键步骤没有被跳过、结果能够核验和追溯。
这意味着,企业面对的已经不只是传统的数据安全问题。AI 云计算把数据变成了提示词、知识库、上下文、记忆和中间结果,安全边界也从「数据有没有被拿走」,延伸到「计算过程是否按约执行」和「智能体是否可靠完成任务」。
蚂蚁密算给出的第一个答案是密态算力。
其基本思路是将密码学、可信硬件和系统安全结合起来,让企业在不交出数据控制权的情况下使用云端算力、模型和智能体。数据在存储、传输和计算过程中均处于受保护状态,平台管理员或模型服务商无法未经授权接触相关内容。
按照韦韬的介绍,密钥由数据提供方与可信计算系统共同管理,数据及其衍生结果还会保留血缘关系。只有获得数据源方许可,结果才能被进一步使用或输出。
密态计算试图解决的另一个问题,是云服务的「黑箱」。依靠可信芯片的远程度量能力,企业可以核验服务商使用的硬件、软件和模型配置是否符合约定。如果运行环境发生变化,数据便不会被发送。这一能力也可以用于验证模型服务商是否按合同提供了相应模型,而不是在用户不可见的情况下进行模型路由或降低服务规格。
但保证数据安全,并不意味着 AI 就不会犯错。
当智能体开始自主规划、调用工具和操作业务系统,幻觉不再只是生成一句错误答案,还可能变成一次错误操作。韦韬认为,现阶段更需要警惕的并非 AI「自主作恶」,而是低比例错误在大规模任务中不断累积,最终影响整个业务链路。
为此,蚂蚁密算推出了 HOP 可信原生智能体。它将任务拆分为目标、探索、核验和提交等环节:智能体可以在沙箱中探索解决方案,但质检和授权步骤不能绕过,未经核验的结果不能直接进入业务系统。
这种设计试图在两种需求之间取得平衡:既不能把流程写死,让大模型失去推理和探索能力;也不能只用自然语言提出一个模糊目标,任由智能体自行决定所有步骤。通过结构化的任务描述,行业专家也能理解和检查 AI 的执行逻辑,而不必直接阅读模型生成的代码。
在此基础上,蚂蚁密算又通过可信智能 Fabric,将智能体、知识、数据和安全能力组织到同一架构中,并计划通过企业级平台「密算一号」,提供治数、问数、分析建模和行业智能服务。其目标不是交付一个用完即止的 AI 项目,而是把验证过的数据、规则和流程沉淀为可以持续调用的企业能力。
目前,相关产品正在医保问数、团险理赔、医保智审、征信和小微金融等场景推进。与消费级应用相比,这些领域对错误率、数据权限和审计能力更加敏感,也更能检验「可信智能」能否真正进入生产。
当然,技术并不能自动解决所有问题。公共数据如何合规流通、不同机构之间如何建立统一标准,仍是密态计算规模化应用的制约因素。可信架构也无法彻底消灭模型幻觉,行业专家仍需设定业务底线和准入标准。
但它展示了一种新的可能:未来企业购买的或许不只是算力和模型,而是一种可以验证、可以追溯、可以拒绝越权操作的计算服务。当数据能够在保持控制权的前提下参与计算,AI 才可能真正从试验工具变成企业生产系统的一部分。



