RAS AIISO/PAS 8800を支援するためのSTPA適用
AIシステムの安全を扱う初の自動車規格であるISO/PAS 8800:2024（Road vehicles — Safety and artificial intelligence）は、分析手法を規定していません。その代わりに、AIコンポーネントの性能不足がどのような経路で車両レベルのハザードになるかを特定し、その結果をAI安全要求と安全論証に結び付けることを求めています。
STPAはこの要求に正面から応えます。AIコンポーネントをコントロールストラクチャ内のコントローラとして配置すると、学習データの偏り、分布シフト、信頼度の較正不良といったAI特有のエラー原因が「プロセスモデルの欠陥」というSTPAの標準カテゴリに収まります。故障率を持たないソフトウェアエラーを扱いにくいFMEAやFTAと異なり、STPAは故障なしに発生する非安全なコントロールアクションを最初から分析対象とするためです。
本ホワイトペーパーでは、カメラのニューラルネットワークに基づく歩行者認識AEBを仮想例として取り上げ、MCPを介してVisualPro STPAモジュールに分析を構築しました。
| 項目 | 件数 | 注記 |
|---|---|---|
| ロス | 4 | 歩行者の死傷、乗員の負傷、財産の損害、信頼と規制適合性の喪失 |
| ハザード | 4 | 衝突回避距離の未確保、不要な急減速、制御権限の不明確化、ODD外での動作 |
| システム制約 | 4 | ハザードごとに1件 |
| コントロールアクション | 5 | そのうち1件がAIコンポーネントの出力 |
| 非安全なコントロールアクション（UCA） | 12 | AIコンポーネントの出力に5件 |
| ロスシナリオ | 16 | AIコンポーネント固有の原因が9件 |
| 対策 | 10 | AI安全要求の形式 |
MCP呼び出し35回、失敗0回。16件のロスシナリオのうち9件がAIコンポーネント固有の原因（データセットの代表性、分布外入力、信頼度の較正、ロバスト性、実行時間、オクルージョン下での追跡、デプロイ後の性能劣化）によるもので、この9件が8800のデータ、検証、監視の各活動に直接つながります。10件の対策は8800が定めるAI安全要求の形式を備えており、16件のロスシナリオすべてが少なくとも1件の対策に紐付けられました。
| 活動 | 要求内容 | 成果物 |
|---|---|---|
| AI安全要求の導出 | アイテムの安全要求とODDから、AIシステムとAIコンポーネントが満たすべき要求を導出 | AI安全要求、ODD定義 |
| AI技術とアーキテクチャの選定 | モニタ、冗長化、不確実性推定などの設計対策で性能不足を抑制 | アーキテクチャ対策 |
| データセット要求と管理 | 代表性、ラベル品質、分布カバレッジ、脆弱なケースの包含を規定し、実証 | データ仕様、データセット |
| AIコンポーネントの検証と妥当性確認 | 性能不足の測定、ロバスト性と分布シフトの試験 | 試験結果、合格基準 |
| AI安全分析 | 性能不足、分布シフト、ODD逸脱、誤った確信などAI特有の原因を特定し、ハザードに至る因果経路を分析 | 原因・経路の分析結果 |
| 安全論証とデプロイ後の監視 | 証拠を論証にまとめ、フィールドでの性能劣化を監視し、再学習と再検証を管理 | セーフティケース、フィールド指標 |
| STPAの要素 | ISO/PAS 8800の概念 | 対応の説明 |
|---|---|---|
| コントローラ | AIシステム、AIコンポーネント | AIコンポーネントを含むコントローラ、またはAIコンポーネント自体をコントローラとして配置する |
| プロセスモデル | 学習済みモデルの内部表現 | 性能不足の大部分はプロセスモデルの欠陥として表現される |
| 制御アルゴリズム | 推論ロジック、後処理、判定しきい値 | 信頼度しきい値と融合ルールはここに属する |
| UCA | AIの出力が引き起こす非安全な挙動 | 未検出、誤検出、遅延、追跡喪失がUCAの4類型と一致する |
| ロスシナリオ | AIのエラー原因、トリガー条件 | 分布シフト、ODD逸脱、データの偏り、信頼度の較正不良、センサの劣化 |
| システム制約 | アイテムレベルの安全要求 | AI安全要求を導出する出発点 |
| 対策 | AI安全要求、設計対策、データセット要求 | ロスシナリオごとに導出され、トレースラインを維持する |
| コントロールストラクチャ | AIシステムのアーキテクチャ、ODDの境界 | 環境の要素をコントロールストラクチャに配置すると、ODDの境界が明示される |
ただし、STPAは発生確率を定量化しないため、8800の検証と妥当性確認の活動は引き続き定量的な試験とデータカバレッジ指標に頼る必要があります。STPAが力を発揮するのは、何を試験すべきか、どの要求が必要かを決める上流の段階です。
例として取り上げるのは、前方カメラの映像をニューラルネットワークで処理して歩行者を認識し、自動緊急ブレーキを作動させるAEB-P機能です。AIコンポーネントはPedestrian Recognition AI Module（映像フレームから歩行者の位置、TTC、信頼度を算出）、判定コントローラはAEB Decision Controller（検出結果をレーダーと車両状態と融合し、警報と緊急ブレーキを判定）であり、そのほかに前方カメラ、前方レーダー、ブレーキアクチュエータ、ドライバー、道路環境で構成されます。ODDの前提は、市街地および郊外の道路、昼間と夜間、車速10～60 km/h、カメラの視界が確保される気象条件です。
| UCA類型 | AIの性能不足 | 例におけるUCA |
|---|---|---|
| 提供されない | 未検出（false negative） | 歩行者がいるのに検出結果がない |
| 不適切に提供される | 誤検出（false positive）、信頼度の較正不良 | 歩行者がいないのに検出、低い信頼度を高く報告 |
| 早すぎる、または遅すぎる | 遅延（レイテンシ）、フレーム落ち | 検出結果がTTC限界を過ぎてから到着 |
| 停止が早すぎる、または適用が長すぎる | 追跡喪失、ゴーストトラック | オクルージョン中に検出が途切れる |
検出器のエラー類型を自由にブレインストーミングしていたところに、コントロールアクションごとに4類型を体系的に問う手順が入るため、これは分析の網羅性を保証する仕組みになります。実際にUCAの4類型を適用したところ、未検出と誤検出にとどまっていた分析対象が遅延、追跡喪失、信頼度の較正不良まで広がり、12件のUCAのうち5件がAIコンポーネントの出力に該当しました。
| ID | ガイドワード分類 | ロスシナリオ | 8800のテーマ |
|---|---|---|---|
| LS-1 | Class 1 プロセスモデル | 夜間逆光のフレームで前方に歩行者はいないと判断するが、実際には歩行者が横断中。学習データに夜間・逆光のサンプルが不足 | データセットの代表性 / 分布シフト |
| LS-4 | Class 1 アルゴリズム | 歩行者の絵が印刷された広告看板を「横断中の歩行者」と解釈。分布外入力を識別する仕組みがない | 分布外（OOD）検出 |
| LS-6 | Class 3 制御実行 | 高解像度フレームでの推論時間超過とバスの輻輳により検出結果が遅れ、TTCのブレーキ限界を過ぎてから到着 | 実行時間バジェット / スケジューリング |
| LS-8 | Class 1 アルゴリズム | 出力層が分布外入力を「信頼度0.95の歩行者」と解釈。信頼度が実際の精度に合わせて較正されていない | 不確実性推定 / 信頼度の較正 |
| LS-16 | Class 4 被制御プロセス | カメラの取付角度が徐々にずれていくが、モジュールは初期キャリブレーションの前提に依存し続ける。デプロイ後の性能劣化を監視していない | デプロイ後の監視 / 性能劣化 |
16件中11件がClass 1（コントローラの不適切な挙動）に属し、その大部分は学習済みプロセスモデルとアルゴリズムの欠陥です。AIシステムのロスシナリオは、フィードバックの不具合よりもコントローラの内部、すなわち学習済みプロセスモデルと判定アルゴリズムに集中します。8800がデータセット要求と不確実性推定を重視する理由が、STPAの結果によって直接裏付けられます。
| ID | 対策（AI安全要求） | 対応シナリオ | 8800の活動 |
|---|---|---|---|
| CM-1 | 照明条件、天候、歩行者の種類ごとに最小サンプル数とカバレッジ指標を定義し、それを満たすことを実証する | LS-1, LS-2 | データ仕様と管理 |
| CM-2 | ODDモニタ：照度、レンズ汚れ、ブレの指標がODDの範囲を外れたら機能を制限し、ドライバーに通知する | LS-3, LS-15 | ODDの定義と監視 |
| CM-3 | 分布外検出器と不確実性推定で信頼度を較正し、較正済みの信頼度のみを判定コントローラに渡す | LS-4, LS-8 | 不確実性推定 |
| CM-6 | 推論の実行時間バジェットとWCET監視を設け、デッドライン超過時には安全状態に遷移する | LS-6 | AIコンポーネントの検証 |
| CM-10 | フィールド監視：誤検出・未検出イベントとキャリブレーション偏差を収集し、性能劣化アラートと再学習トリガーを運用する | LS-1, LS-14, LS-16 | デプロイ後の監視 |
ここで取り上げた例は仮想のものであり、実際の適用ではODDの定義とデータセット仕様をはるかに精密にする必要があります。STPAは発生確率を与えないため、8800の検証と妥当性確認のための定量指標は別途確保しなければなりません。次のステップとして、VWAYはVisualPro STPAにAI専用のガイドワードセット、AIコンポーネントを示す属性、対策のAI安全要求としてのエクスポートを追加することを検討しています。
ISO/PAS 8800が求めているのは、AIのエラーがハザードになる経路とその根拠です。その経路を最初から分析対象とするSTPAと、その結果を追跡可能なデータとして残すVisualProで、AI安全分析を始めましょう。