RAS应用STPA支持ISO/PAS 8800
ISO/PAS 8800:2024（Road vehicles — Safety and artificial intelligence）是首个涉及AI系统安全的汽车标准，但它并未规定具体的分析方法，而是要求识别AI组件的性能不足经由哪些路径演变为整车层面的危害，并将结果与AI安全要求和安全论证关联起来。
STPA可以直接回应这一要求。将AI组件作为控制器置于控制结构中，训练数据偏差、分布偏移、置信度校准不当等AI特有的错误原因便可归入STPA的标准类别“过程模型缺陷”。FMEA和FTA难以处理没有失效率的软件错误，而STPA从一开始就将无故障情况下发生的不安全控制行为作为分析对象。
本白皮书以基于摄像头神经网络的行人识别AEB为假设示例，通过MCP在VisualPro STPA模块中构建了分析。
| 项目 | 数量 | 说明 |
|---|---|---|
| 损失 | 4 | 行人伤亡、乘员受伤、财产损失、信任与法规符合性丧失 |
| 危害 | 4 | 未保持避撞距离、不必要的急减速、控制权不明确、在ODD之外运行 |
| 系统约束 | 4 | 每个危害对应1条 |
| 控制行为 | 5 | 其中1个为AI组件的输出 |
| 不安全控制行为（UCA） | 12 | 其中5个针对AI组件的输出 |
| 损失场景 | 16 | 其中9个为AI组件特有原因 |
| 对策 | 10 | 采用AI安全要求的形式 |
MCP调用35次，失败0次。16个损失场景中有9个源于AI组件特有的原因（数据集代表性、分布外输入、置信度校准、鲁棒性、执行时间、遮挡下的跟踪以及部署后的性能退化），这9个场景与8800的数据、验证和监控活动直接对应。10项对策具备8800所描述的AI安全要求的形式，且16个损失场景全部至少关联了1项对策。
| 活动 | 要求内容 | 交付物 |
|---|---|---|
| AI安全要求的导出 | 根据相关项安全要求和ODD，导出AI系统与AI组件必须满足的要求 | AI安全要求、ODD定义 |
| AI技术与架构的选择 | 通过监控器、冗余、不确定性估计等设计措施抑制性能不足 | 架构措施 |
| 数据集要求与管理 | 规定并证明代表性、标注质量、分布覆盖度以及对薄弱案例的涵盖 | 数据规范、数据集 |
| AI组件的验证与确认 | 测量性能不足；测试鲁棒性与分布偏移 | 测试结果、验收准则 |
| AI安全分析 | 识别性能不足、分布偏移、偏离ODD、错误置信等AI特有原因，并分析其通向危害的因果路径 | 原因与路径分析结果 |
| 安全论证与部署后监控 | 将证据整合为论证；监控现场性能退化；管理重新训练与重新验证 | 安全案例、现场指标 |
| STPA要素 | ISO/PAS 8800概念 | 对应说明 |
|---|---|---|
| 控制器 | AI系统、AI组件 | 将包含AI组件的控制器或AI组件本身作为控制器 |
| 过程模型 | 训练模型的内部表征 | 大多数性能不足表现为过程模型缺陷 |
| 控制算法 | 推理逻辑、后处理、判定阈值 | 置信度阈值和融合规则属于此类 |
| UCA | AI输出引发的不安全行为 | 漏检、误检、延迟和跟踪丢失与UCA的四种类型相吻合 |
| 损失场景 | AI错误原因、触发条件 | 分布偏移、偏离ODD、数据偏差、置信度校准不当、传感器性能下降 |
| 系统约束 | 相关项层面的安全要求 | 导出AI安全要求的出发点 |
| 对策 | AI安全要求、设计措施、数据集要求 | 针对每个损失场景导出，保持追溯链路 |
| 控制结构 | AI系统架构、ODD边界 | 将环境要素纳入控制结构，可使ODD边界变得明确 |
不过，STPA不对发生概率进行量化，因此8800的验证与确认活动仍须依靠定量测试和数据覆盖度指标。STPA的作用在于上游：确定需要测试什么以及需要哪些要求。
示例为AEB-P功能：利用神经网络处理前视摄像头图像来识别行人，并执行自动紧急制动。AI组件是Pedestrian Recognition AI Module（根据图像帧计算行人位置、TTC和置信度）；决策控制器是AEB Decision Controller（将检测结果与雷达和车辆状态融合，决定是否发出警告和紧急制动）；其余部分包括前视摄像头、前向雷达、制动执行器、驾驶员以及道路环境。ODD假设：城市及郊区道路，白天和夜间，车速10～60 km/h，摄像头视野清晰的天气条件。
| UCA类型 | AI性能不足 | 示例中的UCA |
|---|---|---|
| 未提供 | 漏检（false negative） | 有行人但没有检测结果 |
| 不安全地提供 | 误检（false positive）、置信度校准不当 | 无行人却检测到；将低置信度报告为高置信度 |
| 过早或过晚 | 延迟（latency）、丢帧 | 检测结果在超过TTC极限后才到达 |
| 过早停止或持续过久 | 跟踪丢失、幽灵轨迹 | 遮挡期间检测中断 |
过去对检测器错误类型往往是自由地头脑风暴，现在取而代之的是针对每个控制行为系统地询问四种类型的流程——这是保证分析完整性的机制。应用UCA的四种类型后，分析对象从漏检和误检扩展到了延迟、跟踪丢失和置信度校准不当，12个UCA中有5个落在AI组件的输出上。
| ID | 引导词分类 | 损失场景 | 8800主题 |
|---|---|---|---|
| LS-1 | Class 1 过程模型 | 在夜间逆光的图像帧中认为前方没有行人，但实际上有行人正在横穿。训练数据缺乏夜间和逆光样本 | 数据集代表性 / 分布偏移 |
| LS-4 | Class 1 算法 | 将印有行人图案的广告牌解读为“正在横穿的行人”。缺乏区分分布外输入的机制 | 分布外（OOD）检测 |
| LS-6 | Class 3 控制执行 | 由于高分辨率图像帧的推理超时和总线拥塞，检测结果延迟，在超过TTC制动极限后才到达 | 执行时间预算 / 调度 |
| LS-8 | Class 1 算法 | 输出层将分布外输入解读为“置信度0.95的行人”。置信度未按实际准确率进行校准 | 不确定性估计 / 置信度校准 |
| LS-16 | Class 4 受控过程 | 摄像头安装角度逐渐偏移，但模块仍然依赖初始标定的假设。未监控部署后的性能退化 | 部署后监控 / 性能退化 |
16个场景中有11个属于Class 1（控制器行为不当），其中大多数是训练所得过程模型和算法的缺陷。AI系统的损失场景集中在控制器内部，即训练所得的过程模型和决策算法，而非反馈故障。8800之所以高度重视数据集要求和不确定性估计，其原因在STPA的结果中得到了直接印证。
| ID | 对策（AI安全要求） | 对应场景 | 8800活动 |
|---|---|---|---|
| CM-1 | 按光照条件、天气和行人类型定义最小样本数和覆盖度指标，并证明其得到满足 | LS-1, LS-2 | 数据规范与管理 |
| CM-2 | ODD监控器：当照度、镜头脏污或模糊指标超出ODD范围时，限制功能并通知驾驶员 | LS-3, LS-15 | ODD定义与监控 |
| CM-3 | 利用分布外检测器和不确定性估计校准置信度，仅将校准后的置信度传递给决策控制器 | LS-4, LS-8 | 不确定性估计 |
| CM-6 | 设定推理执行时间预算并进行WCET监控，超过截止时间时转入安全状态 | LS-6 | AI组件验证 |
| CM-10 | 现场监控：收集误检、漏检事件和标定偏差，运行性能退化告警和重新训练触发机制 | LS-1, LS-14, LS-16 | 部署后监控 |
本文示例为假设性示例，实际应用中ODD定义和数据集规范需要精确得多。STPA不提供发生概率，因此8800验证与确认所需的定量指标必须另行获取。作为下一步，VWAY正在考虑为VisualPro STPA增加AI专用引导词集、AI组件标记属性，以及将对策导出为AI安全要求的功能。
ISO/PAS 8800所要求的，是AI错误演变为危害的路径及其依据。请借助从一开始就以该路径为分析对象的STPA，以及将分析结果保存为可追溯数据的VisualPro，开启AI安全分析。