导读部分 返回列表
💀 先说结论:模型不是主战场。 OWASP 2026版LLM应用十大风险榜刚更新。名次变了。越权代理(Excessive Agency)从第六直接窜到第三,无界消耗(Unbounded Consump...
正文内容
💀 先说结论:模型不是主战场。
OWASP 2026版LLM应用十大风险榜刚更新。名次变了。越权代理(Excessive Agency)从第六直接窜到第三,无界消耗(Unbounded Consumption)爬到第六,而输出处理不当(Improper Output Handling)掉到了第十。
别急着说输出处理的风险消失了。没有。是DevOps把下游兜住了——schema校验、参数化查询这些老办法依然管用。真正的问题换了一个层面。
这次榜单的统计口径也升级了:共参考7714起真实事件,其中75%来自社区共识,25%来自实证事故数据。样本够大,名次才敢动。理论追不上现实的时候,现实就会把排名重新排一遍。
💉 代理是另一类问题。工具调用可以结构合法、语义非法。模型调用了已授权的函数,却用在错误的场景、指向错误的资源。传统字符串清洗判不了意图,上下文感知的授权不能让模型自己干。
看一个正在发生的例子。某团队做了个“邮件摘要”代理,连接器直接给了读写权限。第一句prompt还没输进去,权限面已经失控。这不是配置失误的小事,是把钥匙插在门上再讨论门锁强度。
再看账单那一边。单条精简prompt就能触发递归工具链,token数、执行时长、递归深度、累计成本四项指标一起爆。计费表停不下来,因为代理没停。有人以为告警能救场,但执行速度早就甩开了人的反应速度。
这类教训并不新鲜。Anthropic公开模型越狱事件复盘里那三层防线,就是这么被一层层穿掉的。护栏也不再是事后补丁,Harvey收购Guardrails AI,法律AI直接把安全做成了收购标的。

🔥 最小权限,照做就行。
工具定义不是集成管道。每一个连接器、每一个API端点,都在扩大AI应用的影响半径。把写权限和删权限全砍掉,只留读。🔪
硬限制必须放在代理控制之外。🔪 token上限、执行时长、递归深度、累计成本,四项全部设死。超出就直接终止或降速。别把“停不下来”当成系统特性。
评审流程也得扩。模型更新看着无害,连接器的授权上下文一变,就是灾难级漏洞。工具schema、服务身份、权限范围,三样必须进评审。
日志要留全。工具执行、授权身份、目标系统的实际变更,三个字段缺一不可。出事的时候,这条链路是你中断进程、复盘事故的唯一依据。没有它,你连“有没有出事”都说不清。
别把安全押在“模型对齐完美”的假设上。假设它会失败,无论是善意的误解还是恶意的利用。把代理能力压到最低,把用户授权上下文收紧到该有的范围。💀
系统工程的逻辑没变:组件会挂,网络会抖。安全来自对失败的预期,不来自对完美的幻觉。LLM需要的是同样的架构纪律。
🔥 智能体时代,最难的安全问题在模型之外。
本文出自 AI一族,原文链接:https://www.aiyizu.cn/?p=5277
转发请注明出处,禁止未经允许用于任何商业用途。