这项研究由以色列STATE16研究院发布，作家同期担任以色列理工学院（Technion）和赖希曼大学（Reichman University）讲师，并担任谷歌-赖希曼AI技能学校学术总监。论文于2026年5月10日完成，并于2026年5月23日以预印本花样发布于arXiv平台，编号为arXiv:2606.00090，归类于机器东谈主学（cs.RO）限度。感艳羡的读者可通过该编号查询无缺论文。

**一个让东谈主细想极恐的场景**

假定你家里有一台智能机器东谈主管家，它拿着一杯热咖啡向你走来。它的录像头正常运转，步调正常运行，系统潜入一切正常。但履行上，它的舆图数据已历程时了三秒钟——就在三秒前，你的孩子把一把椅子拖到了走廊中间。机器东谈主完全莫得察觉，依然迈着郑重的圭表上前走去，直到热咖啡连同统统这个词托盘一谈撞在椅背上，泼了满地……

这等于这篇论文所说的"静默失效"（silent failure）。系统莫得崩溃，莫得报错，莫得任何警报声响起。它只是安舒畅静地、充满自信地、作念了一件错得离谱的事。

**研究配景：AI正在走出屏幕，投入真实天下**

在昔时几年里，东谈主工智能系统资历了一次深刻的身份蜕变。它们不再只是坐在电脑屏幕背面修起问题、生成笔墨或者识别图片的"编造助手"，而是开动适度真实的物理劝诱：工场里的机械臂、病院走廊里的运载机器东谈主、城市谈路上的自动驾驶汽车、太空中的无东谈主机，以及越来越多的东谈主形机器东谈主。

STATE16研究院的这篇综述论文，把这一类大略胜利适度物理天下举止的AI系全齐称为"物理AI"（Physical AI）。其中最具代表性的是一类叫作念"视觉-谈话-举止模子"（Vision-Language-Action Model，简称VLA）的系统——这类系统大略同期看懂图像、阐明谈话指示，并胜利输出机器东谈主应该实行的算作。打个比方，你对机器东谈主说"把桌上的红色杯子放进柜子里"，VLA模子就会根据录像头拍到的画面和你的指示，胜利生成"先出动到桌旁、伸出机械臂、收拢杯子、回身、大开柜门、放入"这一系列具体算作。

这类技能正在以惊东谈主的速率发展。谷歌的RT-1和RT-2机器东谈主、π0机器东谈主适度模子、英伟达的GR00T N1东谈主形机器东谈主基础模子、OpenVLA等系统，仍是大略在22种不同机器东谈主平台上完成卓越50万个不同任务。更进击的是，这些模子正在从实验室走向真实部署环境。

然而，论文作家发现了一个令东谈主不安的事实：当AI的才略在马上向上时，与之配套的安全机制却在一条完全平行的轨谈上耐心爬行，两条轨谈从未真实相交。这篇论文的中枢任务，等于找出这条"安全轨谈"上最枢纽的那段缺口。

**一、那谈没东谈主在守卫的关隘**

研究的中枢发现不错用一个保安比方来阐明。

一栋进击建筑的门口常常有又名保安。他的职责不是评判访客"看起来像不像好东谈主"，而是核查：你有莫得预约？你的身份证是否灵验？你要去的区域你是否有权限投入？今天这栋楼是否有规章看望的区域？若是你进去之后需要裁撤，出口在那儿？

当今，这栋建筑换成了一台工业机器东谈主，"访客"换成了AI模子提议的一个算作指示，比如"以1.5米每秒的速率上前出动15米"。当前的AI系统有莫得这样又名"保安"？

论文的修起是：莫得，或者说，有，但不无缺，而且分散在不同部门，莫得一个斡旋的岗亭。

在AI安全限度，面前存在多种不同的防护机制。有负责查验"这句话是否无益"的语义过滤器，有负责确保机器东谈主不会超出物理极限的适度表面器具，有负责检测传感器数据是否极端的感知监控系统，还有负责在特定条款下切换到备用适度器的运行时保证系统。但这些机制各司其职，互不连通。

最枢纽的阿谁问题——"这个AI刚刚提议的这个算作，在当前这个真实天下情状下，当今这个时刻，究竟能弗成实行？"——莫得一个机制大略无缺地修起。这等于论文所界说的"授权空缺"（authorization gap）。

论文用一个简约的数学抒发式说明了这个空缺的内容：一个AI模子对某个算作赋予很高的置信度（也等于"我认为应该这样作念"），并不等同于这个算作果真不错安全实行。信心不等于许可，这是这篇论文最中枢的命题。

**二、静默失效：最危急的失败方式**

明白了"授权空缺"是什么之后，就能阐明为什么"静默失效"如斯危急。

普通的系统故障常常有显着的信号：步调崩溃会弹出无理窗口，传感器断连会触发警报，硬件故障会让劝诱住手反映。这些失败是"可见的"，系统会告诉你出了问题。

静默失效完全不同。发生静默失效时，系统的统统组件齐在正常运转，日记潜入一切正常，莫得任何报警。但问题在于，系统赖以作念决策的那幅"天下图景"仍是暗暗地偏离了真实天下。就像一个导航软件潜入前列是流畅无阻的高速公路，但履行上那段路三个月前就仍是阻滞施工了。若是你的车子装备了自动驾驶功能况兼信任了这个导航，它会充满信心性开向一堵施工围墙。

论文梳理了导致静默失效的几种典型机制，每一种齐迫临真实部署场景。

传感器漂移是最常见的一种。机器东谈主或车辆所依赖的各式传感器——录像头、激光雷达、惯性测量单位、GPS——齐可能在莫得任何显着故障信号的情况下，输出迟缓偏移真实值的数据。遐想你的体重秤每隔一段时间就会少潜入两公斤，而你完全不知谈，你只是合计我方越来越轻。

装潢和局部可见性是另一个经典问题。机器东谈主的视线老是有限的，它看不到柱子背面、转弯处除外的地方。当它根据当前可见信息判断"前列安全"时，可见范围之外可能正站着一个东谈主。系统莫得撒谎，它只是不知谈它不知谈什么。

散播偏移则愈加笼罩。AI模子是通过海量测验数据学习的，这些数据覆盖了各式场景，但永恒无法覆盖统统场景。当机器东谈主碰到测验数据中从未出现过的情况——比如一种荒漠的色泽角度、一种没见过的物体摆放方式、一种不寻常的大地纹理——它不会说"我不知谈该奈何办"，它会用我方学到的常识进行类比推断，然后给出一个听起来合理但履行上基于无理前提的举止有筹划。

幻觉式可供性则是物理AI非凡的风险。"可供性"是个情态学术语，简便说等于"这个东西能用来作念什么"。机器东谈主可能会无理地判断某个名义不错承重、某个把手不错抓持、某条旅途不错通行，就像一个东谈主在浓雾中把路边的一根柱子误认为是不错依靠的墙壁。诀别在于，东谈主可能只是轻轻跌了一跤，而一台机械臂若是无理地"认为"一个玻璃瓶能承受它的抓持力，后果可能严重得多。

论文终点提到了三个真实天下中的自动驾驶事故案例，用来说明这类问题不是纯表面的担忧。2018年优步在亚利桑那州坦佩市发生的行东谈主弃世事故，捕快认定根底原因之一是不充分的安全风险评估和对自动化系统的过度依赖。2023年加州车管局暂停了Cruise公司的无东谈主驾驶测试许可，原因是车辆对公众形成了不对理的安全风险。同庚，好意思国国度公路交通安全照顾局对卓越200万辆特斯拉发布调回奉告，因为其自动辅助驾驶系统无法防护被耗费。这些齐是现实天下中，自信运转的自动化系统没能在枢纽时刻被正确地"叫停"的例子。

**三、系统当前的防护网：有用但不够用**

面对这些风险，研究界和工业界固然不是毫无准备的。论文梳理了面前存在的种种安全机制，并憨厚地指出了每种机制的灵验范围和局限鸿沟。

适度障蔽函数（Control Barrier Functions，CBF）是适度表面限度最强盛的器具之一。简便来说，它就像给机器东谈主轨则了一个"安全气泡"，不管模子想要实行什么算作，只须这个算作会让机器东谈主穿出"安全气泡"，适度障蔽函数就会自动修正这个算作，确保机器东谈主历久待在安全区域内。这个器具在数学上极端严格，解释了在已知条款下的安全性。但问题在于，它需要知谈精准的物理动态方程、明确的情状变量，以及事先界说好的"安全鸠合"。关于一个用黑盒神经集聚适度的机器东谈主来说，这些前提条款常常不安闲。

运行时保证（Runtime Assurance）和屏蔽机制（Shielding）提供了另一种想路：让一个"着实的备用适度器"陆续监视主适度器的举止，一朝主适度器想作念出危急算作，备用适度器坐窝收受。这个想路极端正确，亦然论文所提议的框架的胜利前身。但它依然濒临一个挑战：在物理AI系统中，主适度器（也等于阿谁大型神经集聚模子）输出的"算作"可能是复杂的轨迹、当然谈话描述的筹划，致使是潜在空间里的向量，备用适度器很难胜利评估这些输出的安全性。更进击的是，即使备用适度器认为某个算作自己没问题，它也无法判断产生这个算作所依据的"天下图景"是否如故准确的。

语义过滤器（Semantic Guardrails）是针对谈话大模子的安全机制，主邀功能是查验"这条指示是否无益"。比如，若是有东谈主试图主管机器东谈主作念出危急举止，语义过滤器不错识别出这类坏心指示并拒却实行。一项名为"RoboPAIR"的研究发现，通过悉心遐想的教导词，不错告捷辅导谈话模子适度的机器东谈主实行无益的物理算作，而另一项名为"RoboGuard"的职责则展示了怎样通过险阻文感知的执法来减少这类风险——在实验中将不安全实行率从92%裁减到了2.5%以下。然而，语义过滤器的根底局限在于：一条完全无害的指示，相同不错导致物理上危急的算作。"把阿谁箱子放到表层货架上"这条指示自己毫无问题，但若是机器东谈主手臂确当前载荷仍是接近极限，或者传感器潜入阿谁箱子比履行更轻，扫尾可能完全不同。语义安全不等于物理安全。

不笃定性臆想和散播外检测（Out-of-Distribution Detection）是另一个进击器具族。这些方法试图让系统知谈"我当今不笃定"或者"当前情况超出了我的测验范围"。这口角常有价值的才略，但它只可产生一个信号，告诉你"情况可能有问题"，却无法胜利告诉你"应该实行什么替代算作"。而且，研究标明深度学习模子在散播外情况下常常会无理地保持高置信度——也等于说，当系统最不应该自信的时候，它反而最自信。

这四类器具各自处分了问题的一个侧面，但莫得一个大略单独修起阿谁中枢问题：此时此刻，针对当前这个真实天下情状，这个具体的算作提案，能弗成实行？

**四、一张无缺的"算作授权清单"**

阐明了现存器具的局限之后，论文提议了它的中枢孝敬：一个无缺的运行时算作授权框架。用最平日的话来说，等于在AI系统和物理天下之间诞生一个认果真"审批要津"，在职何算作从数字指示变成真实的机械领路之前，必须通过七个维度的查验。

第一个维度是语义灵验性。这条指示自己是否合适任务场所和操作规矩？是否存在被坏心主管的风险？这是现存语义过滤器仍是作念得比较好的部分。

第二个维度是情状灵验性。产生这个算作所依赖的天下情状信息，当今还可靠吗？传感器是否正常？感知扫尾是否一致？是否存在数据退步或散播偏移的迹象？这是面前最薄弱的要津之一，亦然静默失效最常发生的根源。

第三个维度是物理可行性。这个算作在物理上能否被实行？是否违背了机器东谈主的领路学遏抑？是否有潜在的碰撞？速率是否超限？载荷是否超出承受范围？

第四个维度是空间和操作灵验性。这个算作是否被允许在当前地点和当前任务阶段实行？是否违背了地舆围栏（比如禁飞区）、规章区域，或者特定任务的操作规程？

第五个维度是时间灵验性。这个算作不单是当今安全，2026FIFA世界杯赛事官网入口而是在接下来的一段时间内齐安全吗？距离潜在碰撞还有若干时间？当前情状数据是否仍是太退步，不再顺应营为举止依据？

第六个维度是回退职权。若是这个算作不被授权，系统应该奈何办？是修改算作、胜利住手、切换到备用适度器，如故肯求东谈主工介入？一个莫得明确回退有筹划的安全机制，自己等于不无缺的。

第七个维度是可审计性。此次授权或拒却的决定，能否在过后被无缺重建？筹划的传感器数据、遏抑条款、决策事理是否齐被纪录下来了？这不仅对事故捕快至关进击，亦然统统这个词安整体系取得监管招供的基础。

论文将这七个维度组合在一谈，形成了一个无缺的"授权事件"观念。每一次AI系统提议一个物理算作，齐应该生成这样一个无缺的纪录：我在什么情况下提议了什么算作，历程哪些查验，得到了什么论断，若是被拒却了下一步是什么。

**五、阿谁仓库里的机器东谈主：静默失效的无缺故事**

论文用一个极端具体的例子来说明统统这个词框架的运作逻辑，值得无缺地讲解出来。

一台自主出动机器东谈主正在仓库的货架通谈里职责。它的适度系统收到指示："去取场所托盘"。基于这条指示和当前的传感器数据，AI模子诡计出了一个旅途，建议机器东谈主以1.2米每秒的速率上前出动。

当今，这台机器东谈主需要一个"运行时授权系统"来决定这个算作能否实行。枢纽的安全诡计是这样的：以当前速率1.2米每秒，加上感知和适度之间0.25秒的延长，加上机器东谈主的最大制动减慢度1.6米每秒的平方，加上0.2米的安全余量，机器东谈主需要至少0.95米的净空距离才智安全停驻。

但与此同期，有一个托盘稍稍偏离了模范位置，部分装潢了机器东谈主的视线。历程不笃定性修正后，当前可靠的安全净空唯有0.8米，不及以保证在0.95米内完全制动。

正确的授权决定应该是：拒却当前算作有筹划，要求机器东谈主降速、再行规划，或者恭候东谈主工阐明。

当今，来看静默失效是奈何发生的。若是机器东谈主的占用舆图数据是几秒钟前的（情状灵验性查验失败），AI模子看到的是一条通达的走廊，于是提议高速直行。语义查验发现"去取托盘"完全合理，莫得任何无益意图，于是通过。底层适度器收到速率指示，查验了速率是否卓越硬件上限，莫得卓越，于是实行。扫尾，机器东谈主以满速冲向了履行上存在终止的区域。

全程莫得任何报错，莫得任何告诫。唯有一声撞击声。

这等于为什么情状灵验性查验必须是一个寂寞的、明确的步调——而不是藏在AI模子里面，由模子我方来判断我方的信息是否可靠。

**六、更好的评测方式：弗成只看任务告捷率**

论文的另一个进击孝敬是提议了怎样评估"运行时授权机制"的灵验性。这个问题比名义看起来要复杂得多。

面前评估机器东谈主AI系统的主要方针是"任务告捷率"——给机器东谈主一个任务，看它完成了若干次，失败了若干次。这个方针固然有价值，但它无法修起咱们真实柔顺的安全问题。一个任务告捷率95%的系统，它那5%的失败究竟是什么性质的？是优雅地停驻来肯求匡助，如故暗暗地冲向了终止物？

论文提议了三个中枢量化方针，成心用于评估安全干豫机制的质料。

第一个是"不安全算作干豫率"（UAIR）：在统统本应被胁制的危急算作中，履行被告捷胁制的比例有若干？这是最胜利的安全方针。一个UAIR等于100%的系统意味着每一个危急算作齐被胁制了；UAIR等于0%则意味着安全机制形同虚设。

第二个是"误胁制率"（FBR）：在统统蓝本安全可实行的算作中，有若干被无理地胁制了？这个方针揣度的是"过度严慎"的代价。一个安全机制若是把统统算作齐胁制下来，UAIR是100%但FBR亦然100%，履行上机器东谈主就完全无法职责了。安全性和可用性之间存在真实的张力，好的授权机制必须在两者之间找到均衡。

第三个是"预提交干豫率"（PCIR）：在统统被告捷胁制的危急算作中，有若干是在算作真实变成硬件领路之前就被胁制的？这个方针关注的是时机。一个在算作仍是实行了一半才发出警报的安全机制，与一个在算作刚刚被提议时就进行查验的机制，安全价值各异雄壮。

除了这三个量化方针，论文还提议了需要进行定性查验的维度：系统是否大略在传感器数据被浑浊或退步时正确识别出情状不可靠？它是否大略在模子高度自信时仍然实行物理可行性查验？它是否在不同的机器东谈主平台、不同的环境下齐能一致地实行遏抑条款？它的回退举止是否自己亦然安全的？

论文还成心计划了仿真平台（Simulation Platforms）的变装，比如英伟达的Isaac Sim、平日使用的MuJoCo物理引擎、用于自动驾驶测试的CARLA环境，以及用于室内导航研究的Habitat平台。这些仿真环境不错生成多数边际案例用于测试，不错叠加运行归拢场景，不错在莫得真实硬件耗损的情况下测试危急情况。但论好意思丽确指出：仿真平台能帮你发现问题，但弗成替你作念授权决策。仿真告诉你"这种情况可能出现"，而授权机制告诉你"这种情况出当前该奈何办"。

**七、为什么才略和安全老是走在不同的路上**

论文的一个进击不雅察是，昔时几年间，物理AI的才略向上和安全机制的向上一直沿着相互平行但从未真实相交的两条轨谈发展。

才略方面的向上令东谈主目不暇接。OpenVLA是一个领有70亿参数的模子，在97万个机器东谈主操作示范上测验，与前代最佳的系统比拟，任务完成率擢升了16.5个百分点。一个叫作念VISTA的系统，通过让天下模子生成视觉化的子场所来带领机械臂职责，将超出测验散播的操作任务告捷率从14%擢升到了69%。一个叫作念WoVR的系统，通过明确适度遐想出来的畴昔场景中的幻觉问题，将模范操作任务告捷率从约40%擢升到了约69%，真实机器东谈主的告捷率从61.7%擢升到了91.7%。

这些数字展示的是模子越来越能"猜对"应该奈何作念。但论文的问题是：就算模子猜对了，咱们有莫得寂寞的机制来考证这个料到是否果真安全？任务告捷率不等于授权可靠性。一个在模范测试场景下有95%告捷率的系统，在一个略微不同的部署环境里，面对一个之前从未见过的传感器噪声模式，依然可能悄无声气地作念出危急决定。

这种才略-安全的"双轨并行"景色，论文认为根源在于研究者们来自不同的学术传统，使用不同的器具，评估不同的方针。模子研究者柔顺泛化才略、少样本学习、跨平台移动。适度表面研究者柔顺数学解释的安全鸠合、系统能源学方程。LLM安全研究者柔顺无益内容、逃狱症结、计策合规。真实把这三条线贯穿起来的职责，面前还极为预防。

**八、把统统这些贯穿起来：一个最小纪录模板**

论文临了给出了一个实用性的孝敬：一个"最小授权事件纪录模板"，遐想用于在不同的机器东谈主平台、不同的AI模子、不同的部署环境之间提供一个斡旋的比较基础。

这个模板包含九个字段。不雅察险阻文纪录了那时可用的传感器输入、历史纪录、时间戳和平台信息，内容上是修起"系统那时看到了什么"。算作提案纪录了AI系统提议的具体指示，不管是速率号令、轨迹规划如故当然谈话描述的筹划，宗旨是把"提案"和"实行"在纪录上明确分开。情状臆想纪录了系统认为天下当前的形式，包括周围的物体、终止物、机器东谈主自身的情状。情状灵验性字据则纪录了为什么咱们认为这个"天下图景"是着实的（或者不着实的），包括传感器健康情状、数据延长、不笃定性方针、是否超出测验散播等。活跃遏抑列出了在这个时刻必须安闲的统统执法和规章，从物理上的速率极限到任务规程中的操作规矩。授权决定纪录了最终的论断：授权、修改、拒却、左迁到备用模式，如故肯求东谈主工介入。回退或修改有筹划纪录了当授权决定不是"通过"时，履行实行了什么替代举止。时间字据纪录了提案时间、授权决定时间和最终实行时间，用于过后判断干豫是否有余实时。临了，审计跟踪则纪录了模子版块、遏抑执法编号、枢纽字据的援用，以及授权或拒却的原因代码，扶植事故捕快和跨系统比较。

枢纽在于，这个模板不规矩任何具体的AI模子架构或机器东谈主适度系统。一台仓库出动机器东谈主、一台工业机械臂、一架无东谈主机和一辆自动驾驶车辆，齐不错使用疏浚的模板纪录它们的授权事件，即使它们里面使用的AI系统完全不同。这就使得跨平台的安全比较成为可能。

**结语：当AI从展望天下变成举止于天下**

归根结底，这篇论文要讲的是一件极端具体的事：当一个AI系统的输出不再只是笔墨或图片，而是会让真实机器领路的指示时，咱们需要在"AI说要作念什么"和"机器果真开算作念"之间，设立一谈有明确职责、有无缺纪录、寂寞于AI模子自己运作的审查关卡。

这不是说现存的AI系统不够好，也不是说现存的安全机制毫无价值。论好意思丽确承认，更好的模子不错减少一部分无理，更好的适度器不错防护一部分越界，更好的传感器不错提供更可靠的信息。但洞开天下里永恒存在测验数据覆盖不到的情况，物理天下永恒比任何模子更复杂，而一台高速运转的工业机器东谈主犯错的代价，和一个聊天机器东谈主说错话的代价，完全不在归拢个数目级。

论文为研究界提议了几个尚未处分的枢纽问题，每一个齐值得后续深入研究。不同类型的物理AI系统（无东谈主机、出动机器东谈主、机械臂、东谈主形机器东谈主）在授权层面需要一个什么样的斡旋详细？运行时系统怎样量化地判断当前的天下情状信息是否"有余可靠"来撑持某个具体算作？语义遏抑、空间遏抑、物理遏抑和操作规程遏抑如安在不产生易脆执法系统的前提下组合在一谈？怎样遐想一套评测方法，大略真实测量一个授权机制在减少或发现静默失效方面的后果，而不单是是测量任务完成率？

这些问题面前莫得模范谜底，但它们是物理AI从实验室器具变成着实赖的社会基础设施之前，必须要修起的问题。

这篇发布于arXiv平台（编号arXiv:2606.00090）的综述论文，提供了面前为止对这个问题最系统的梳理，也许不错成为股东这些问题走向处分的一块基石。

---

Q&A

Q1：物理AI的"静默失效"和普通软件崩溃有什么诀别？

A：普通软件崩溃会产生显着的无理信号，比如弹出无理窗口或触发警报，系统会住手运行并奉告用户出了问题。而物理AI的静默失效正巧相背——系统的统统组件齐在正常运转，日记潜入一切正常，莫得任何报警。失败发生在更笼罩的层面：AI系统赖以作念决策的天下情状信息仍是暗暗地偏离了真实情况（比如传感器数据退步、感知扫尾有装潢），但系统自己绝不理会，依然充满信心性络续实举止作，直到形成真实的物理后果。

Q2：现存的AI安全机制为什么不够用？

A：现存的安全机制各自处分了问题的一个侧面：适度障蔽函数能防护机器东谈主违背物理极限，但需要先见精准的能源学方程；语义过滤器能识别无益指示，但无法判断语义无害的指示是否在物理上安全；运行时保证系统能切换到备用适度器，但难以评估AI提议的复杂算作是否基于可靠的天下情状；不笃定性检测能发出"情况可能有问题"的信号，但无法胜利给出安全替代有筹划。问题不在于某个机制自己不够强，而在于莫得一个斡旋的关卡，能在归拢个事件中同期评估情状可靠性、物理可行性、操作合规性和回退有筹划。

Q3：评估物理AI安全性为什么弗成只看任务告捷率？

A：任务告捷率只告诉你系统"作念成了若干次"，却无法揭示那些失败的内容：是优雅地停驻来肯求匡助，如故暗暗冲向终止物？更进击的是，一个在模范测试场景下告捷率很高的系统2026世界杯官方网站，在真实部署中碰到测验数据未覆盖的边际情况时，依然可能在毫无告诫的情况下作念出危急决定。论文提议用"不安全算作干豫率""误胁制率"和"预提交干豫率"三个方针来成心揣度安全机制自己的质料，要点不是任务完不完成，而是危急算作有莫得在变成真实领路之前被正确识别和胁制。