VisualPro Tech Brief
ISO/PAS 8800을 지원하기 위한 STPA 적용
AI 기반 차량 기능의 안전 분석을 VisualPro STPA와 MCP로 수행한 가상 예제
AI 안전 분석 | STPA · MCP 연동 | VWAY 백서 요약
ISO/PAS 8800STPAISO 26262ISO 21448MCP 연동
본 문서의 예제는 설명을 위한 가상 사례이며 실제 차량 데이터가 아닙니다.
01개요 (TL;DR) — 규격은 기법을 지정하지 않는다, STPA가 그 자리를 채운다
AI 시스템의 안전을 다루는 첫 자동차 규격 ISO/PAS 8800:2024(Road vehicles — Safety and artificial intelligence)는 분석 기법을 따로 지정하지 않습니다. 대신 AI 컴포넌트의 성능 불충분성이 어떤 경로로 차량 위험원이 되는지 식별하고, 그 결과를 AI 안전 요구사항과 안전 논증으로 연결하라고 요구합니다.
STPA는 이 요구에 정면으로 대응합니다. AI 컴포넌트를 제어구조 안의 제어기로 두면 학습 데이터의 편향, 분포 이동, 확신도 오보정 같은 AI 오류 원인이 “프로세스 모델 결함”이라는 STPA의 표준 범주로 정리됩니다. 고장률이 없는 소프트웨어 오류를 다루기 어려운 FMEA·FTA와 달리, STPA는 고장 없이도 발생하는 위험 제어행동을 처음부터 분석 대상으로 삼기 때문입니다.
이 백서는 카메라 신경망 기반 보행자 인식 AEB를 가상 예제로 삼아 VisualPro STPA 모듈에 MCP로 분석을 구축했습니다.
| 항목 | 건수 | 비고 |
|---|
| 손실(Loss) | 4 | 보행자 사상, 탑승자 부상, 재산 손실, 신뢰·규제 적합성 상실 |
| 위험원(Hazard) | 4 | 충돌 회피 거리 미유지, 불필요한 급감속, 제어권 불명확, ODD 밖 동작 |
| 시스템 제약 | 4 | 위험원마다 1건 |
| 제어행동 | 5 | 그중 1건이 AI 컴포넌트 출력 |
| 위험 제어행동(UCA) | 12 | AI 컴포넌트 출력에 5건 |
| 손실 시나리오 | 16 | AI 컴포넌트 고유 원인 9건 |
| 대책 | 10 | AI 안전 요구사항 형태 |
MCP 호출 35회, 실패 0회. 16개 손실 시나리오 가운데 9건이 AI 컴포넌트 고유 원인(데이터 대표성, 분포 외 입력, 확신도 보정, 강건성, 실행 시간, 가림 추적, 배포 후 성능 저하)이었고, 이 9건이 8800의 데이터·검증·감시 활동과 직접 연결됩니다. 대책 10건은 8800이 말하는 AI 안전 요구사항의 형태를 갖추었으며, 손실 시나리오 16건 전부가 최소 1개 대책에 연결됐습니다.
신경망이 야간 역광에서 보행자를 놓치는 것은 고장이 아니다. 모델은 학습된 대로 동작했고, 학습이 그 상황을 대표하지 못했을 뿐이다.
[ [그림 1] 보행자 인식 AEB 제어구조. AI 컴포넌트(보행자 인식 AI 모듈)를 별도 제어기로 두고 그 출력을 제어행동으로 모델링했다. ]
02왜 STPA인가 — 규격이 STPA를 필요로 하는 3가지 이유
1적용 대상은 아이템이 아니라 AI 시스템이다적용 범위
ISO/PAS 8800의 적용 대상은 도로 차량의 전기·전자 시스템 안에서 안전 관련 기능을 구현하거나 그 기능에 영향을 주는 AI 시스템입니다. ISO 26262가 말하는 아이템을 기준으로 보면, 그 아이템을 구성하는 요소 가운데 AI가 들어간 부분에 범위가 한정됩니다. 규격은 그 아이템이 ISO 26262(기능안전)와 ISO 21448(SOTIF) 범위 안에 있다는 것을 전제하며, 아이템 수준 위험원 분석과 안전 목표는 두 규격에서 오고 8800은 거기서 AI 안전 요구사항을 도출하는 지점부터 시작합니다. 안전과 무관한 AI, 운행 중 지속 학습하는 시스템, 사이버보안(ISO/SAE 21434 영역)은 범위 밖입니다.
2AI 오류는 고장이 아니다핵심 논지
전통 안전 분석은 부품 고장에서 출발합니다. FMEA는 고장 모드를 나열하고 FTA는 고장 확률을 조합합니다. 그러나 ISO 21448이 “기능 불충분성”, ISO/PAS 8800이 “성능 불충분성”이라 부르는 오류는 고장률 없이 발생합니다. STPA는 처음부터 고장 없는 사고를 분석하려고 만들어졌습니다. 위험 제어행동(UCA)은 제어기가 정상 동작하면서도 상황에 맞지 않는 명령을 내는 경우를 포함하고, 손실 시나리오는 그 원인을 프로세스 모델 결함, 피드백 부적절, 제어 실행 부적절, 피제어 프로세스 이상의 네 범주에서 찾습니다. 학습된 신경망은 이 틀에서 “제어기의 프로세스 모델”에 해당합니다.
3AI 안전 분석 활동은 기법을 지정하지 않는다규격의 빈자리
규격이 요구하는 활동은 여섯 가지 — AI 안전 요구사항 도출, AI 기술·아키텍처 선택, 데이터셋 요구사항·관리, AI 컴포넌트 검증·확인, AI 안전 분석, 안전 논증과 배포 후 감시 — 로 정리됩니다. 이 가운데 “AI 안전 분석” 활동은 기법을 지정하지 않아서, 어떤 방법을 쓰든 AI 오류 원인이 위험원으로 이어지는 경로를 체계적으로 찾아내면 됩니다. 이 백서는 그 자리에 STPA를 제안합니다.
03ISO/PAS 8800이 요구하는 것과 STPA의 대응
AI 안전 수명주기의 여섯 활동
| 활동 | 요구 내용 | 산출물 |
|---|
| AI 안전 요구사항 도출 | 아이템 안전 요구사항과 ODD에서 AI 시스템·컴포넌트가 지켜야 할 요구사항을 도출 | AI 안전 요구사항, ODD 정의 |
| AI 기술·아키텍처 선택 | 감시기, 중복, 불확실성 추정 같은 설계 대책으로 성능 불충분성을 억제 | 아키텍처 대책 |
| 데이터셋 요구사항·관리 | 대표성, 라벨 품질, 분포 커버리지, 취약 사례 포함을 명세하고 증명 | 데이터 명세, 데이터셋 |
| AI 컴포넌트 검증·확인 | 성능 불충분성 측정, 강건성, 분포 이동 시험 | 시험 결과, 합격 기준 |
| AI 안전 분석 | 성능 불충분성·분포 이동·ODD 이탈·잘못된 확신 같은 AI 특유 원인을 식별하고 위험원과의 인과 경로를 분석 | 원인·경로 분석 결과 |
| 안전 논증과 배포 후 감시 | 증거를 논증으로 묶고, 필드에서 성능 저하를 감시하며 재학습·재검증을 관리 | 안전 케이스, 필드 지표 |
STPA 요소와 8800 개념의 대응
| STPA 요소 | ISO/PAS 8800 개념 | 대응 설명 |
|---|
| Controller(제어기) | AI 시스템, AI 컴포넌트 | AI 컴포넌트를 담은 제어기 또는 AI 컴포넌트 자체를 제어기로 둔다 |
| Process Model(프로세스 모델) | 학습된 모델의 내부 표현 | 성능 불충분성의 대부분이 프로세스 모델 결함으로 표현된다 |
| Control Algorithm(제어 알고리즘) | 추론 로직, 후처리, 판단 임계값 | 확신도 임계값과 융합 규칙이 여기에 속한다 |
| UCA(위험 제어행동) | AI 출력이 유발하는 위험한 행동 | 미탐, 오탐, 지연, 추적 손실이 UCA 4유형과 일치한다 |
| Loss Scenario(손실 시나리오) | AI 오류 원인, 트리거 조건 | 분포 이동, ODD 이탈, 데이터 편향, 확신도 오보정, 센서 열화 |
| System Constraint(시스템 제약) | 아이템 수준 안전 요구사항 | AI 안전 요구사항 도출의 출발점 |
| Countermeasure(대책) | AI 안전 요구사항, 설계 대책, 데이터셋 요구사항 | 손실 시나리오마다 도출되어 추적선을 유지한다 |
| 제어구조(Control Structure) | AI 시스템 아키텍처, ODD 경계 | 환경 요소를 제어구조에 두면 ODD 경계가 명시된다 |
기존 기법과의 비교 FMEA/FTA는 부품 고장 모드에서 출발해 고장 없는 오류를 다루기 어렵고, 8800의 성능 불충분성을 표현하려면 별도 확장이 필요합니다. HAZOP은 가이드워드 재정의가 필요합니다. STPA는 고장 없는 오류가 기본 분석 대상이고, 성능 불충분성이 프로세스 모델 결함으로 자연스럽게 표현되며, 시스템 제약과 대책이 요구사항 형태로 나옵니다.
다만 STPA는 발생 확률을 정량화하지 않으므로 8800의 검증·확인 활동은 여전히 정량 시험과 데이터 커버리지 지표가 담당해야 합니다. STPA는 무엇을 시험해야 하는지와 어떤 요구사항이 필요한지를 정하는 앞단에서 힘을 발휘합니다.
04가상 예제: 보행자 인식 AEB에서 무엇이 나왔나
예제는 전방 카메라 영상을 신경망으로 처리해 보행자를 인식하고 자동 긴급제동을 수행하는 AEB-P 기능입니다. AI 컴포넌트는 보행자 인식 AI 모듈(영상에서 보행자 위치·TTC·확신도 산출), 판단 제어기는 AEB 판단 제어기(검출 결과·레이더·차량 상태를 융합해 경고와 긴급제동 결정), 그 밖에 전방 카메라·레이더·제동 액추에이터, 운전자와 도로 환경으로 구성됩니다. ODD는 주간·야간 도심 및 교외 도로, 차속 10~60 km/h, 카메라 시야가 확보된 기상 조건으로 가정했습니다.
AI 컴포넌트 출력을 제어행동으로 모델링하면 UCA 4유형이 성능 불충분성과 짝을 이룬다
| UCA 유형 | AI 성능 불충분성 | 예제의 UCA |
|---|
| 제공하지 않음 | 미탐(false negative) | 보행자가 있는데 검출 결과 없음 |
| 부적절하게 제공함 | 오탐(false positive), 확신도 오보정 | 보행자가 없는데 검출, 낮은 확신을 높게 보고 |
| 너무 이르거나 늦게 제공함 | 지연(latency), 프레임 드롭 | TTC 한계 뒤에 검출 결과 도착 |
| 너무 빨리 멈추거나 너무 오래 지속함 | 추적 손실, 잔상 | 가림 구간에서 검출이 끊김 |
검출기의 오류 유형을 자유롭게 브레인스토밍하는 자리에 네 유형을 제어행동마다 체계적으로 묻는 절차가 들어서므로, 이 대응은 분석의 완결성을 보장하는 장치가 됩니다. 실제로 UCA 4유형을 적용하자 미탐과 오탐에 머물던 분석 대상이 지연, 추적 손실, 확신도 오보정까지 넓어졌고, 12건 중 5건이 AI 컴포넌트 출력에 걸렸습니다.
대표 손실 시나리오 — AI 고유 원인이 8800 주제로 곧장 연결된다
| ID | 가이드워드 분류 | 손실 시나리오 | 8800 주제 |
|---|
| LS-1 | Class 1 프로세스 모델 | 야간 역광 프레임에서 ‘보행자 없음’으로 믿지만 실제로는 횡단 중. 학습 데이터에 야간·역광 표본 부족 | 데이터셋 대표성 / 분포 이동 |
| LS-4 | Class 1 알고리즘 | 보행자 그림이 인쇄된 광고판을 ‘횡단 보행자’로 해석. 분포 외 입력을 구분하는 장치 없음 | 분포 외 입력(OOD) 탐지 |
| LS-6 | Class 3 제어 실행 | 고해상도 프레임 추론 시간 초과와 버스 혼잡으로 검출 결과가 TTC 제동 한계 뒤에 전달 | 실행 시간 예산 / 스케줄링 |
| LS-8 | Class 1 알고리즘 | 출력 계층이 분포 외 입력을 ‘확신도 0.95의 보행자’로 해석. 확신도가 실제 정확도와 일치하도록 보정되지 않음 | 불확실성 추정 / 확신도 보정 |
| LS-16 | Class 4 피제어 프로세스 | 카메라 장착 각도가 서서히 틀어지지만 초기 캘리브레이션 가정에 계속 의존. 배포 후 성능 저하를 감시하지 않음 | 배포 후 감시 / 성능 저하 |
16건 중 11건이 Class 1(제어기 행동 부적절)에 속하며, 그 대부분이 학습된 프로세스 모델과 알고리즘 결함입니다. AI 시스템의 손실 시나리오는 피드백 고장보다 제어기 내부, 즉 학습된 프로세스 모델과 판단 알고리즘에 몰립니다. 8800이 데이터셋 요구사항과 불확실성 추정에 큰 비중을 두는 이유가 STPA 결과에서 그대로 확인됩니다.
대책은 그대로 AI 안전 요구사항의 초안이 된다
| ID | 대책(AI 안전 요구사항) | 대응 시나리오 | 8800 활동 |
|---|
| CM-1 | 조명·기상·보행자 유형별 최소 표본 수와 커버리지 지표를 정의하고 충족을 증명한다 | LS-1, LS-2 | 데이터 명세·관리 |
| CM-2 | ODD 감시기: 조도·렌즈 오염·블러 지표가 ODD를 벗어나면 기능을 제한하고 운전자에게 알린다 | LS-3, LS-15 | ODD 정의·감시 |
| CM-3 | 분포 외 입력 탐지기와 불확실성 추정으로 확신도를 보정하고, 보정된 확신도만 판단 제어기에 전달한다 | LS-4, LS-8 | 불확실성 추정 |
| CM-6 | 추론 실행 시간 예산과 WCET 감시를 두고, 마감 초과 시 안전 상태로 전환한다 | LS-6 | AI 컴포넌트 검증 |
| CM-10 | 오탐·미탐 이벤트와 캘리브레이션 편차를 수집해 성능 저하 경보와 재학습 트리거를 운영한다 | LS-1, LS-14, LS-16 | 배포 후 감시 |
추적선이 곧 요구사항의 근거 “무엇을 데이터셋에 포함해야 하는가”, “어떤 감시기가 필요한가”, “어떤 시험을 통과해야 하는가”가 손실 시나리오에서 근거를 갖고 나오므로, 대책 문장은 그대로 AI 안전 요구사항의 초안이 됩니다. 8800이 요구하는 “요구사항의 근거”도 STPA 추적선으로 자동 확보됩니다. 추적 매트릭스에 대책이 없는 시나리오가 남아 있으면 거기서 요구사항 도출이 빠졌다고 읽으면 됩니다 — 이번 예제는 16건 모두 연결됐습니다.
[ [그림 2] ISO/PAS 8800 활동과 STPA 산출물의 대응. AI 안전 분석 활동이 STPA의 중심 산출물과 연결된다. ]
05VisualPro STPA는 어떻게 지원하나
AI 컴포넌트를 제어기로, 그 출력을 제어행동으로모델링
제어구조에서 AI 컴포넌트가 별도 제어기로 존재하므로 그 출력에 UCA를 물을 수 있습니다. 도로 환경이 구성요소로 들어가 조명·기상·보행자 유형 같은 ODD 변수가 피드백 경로의 출발점으로 드러나고, 운전자의 기능 켜고 끄기 제어행동이 있어 사람-AI 상호작용 시나리오까지 분석 범위에 들어옵니다.
가이드워드 원형에서 손실 시나리오로완결성
손실 시나리오는 VisualPro의 가이드워드 세트(Developing Loss Scenarios by MIT)에서 원형 문장을 고르고 플레이스홀더에 예제의 구체 내용을 채워 작성합니다. 원형과 시나리오의 대응이 유지되므로 분석자가 바뀌어도 시나리오 도출 근거가 남습니다.
추적 사슬이 안전 논증의 뼈대가 된다핵심 가치
손실→위험원→시스템 제약, 위험원→UCA→손실 시나리오→대책의 사슬을 관계로 저장합니다. 이 사슬이 8800의 안전 논증에서 “이 요구사항은 왜 필요한가”에 대한 증거가 되며, 안전 논증에 필요한 근거를 따로 정리할 필요가 없습니다.
MCP 연동 — 분석이 스크립트로 재현된다자동화
VisualPro STPA 모듈은 MCP(Model Context Protocol) 서버를 통해 외부 에이전트가 분석 항목을 읽고 쓸 수 있습니다. 예제 구축은 스크립트 하나로 35회 호출, 실패 0회였습니다. 데이터셋이 바뀌거나 ODD가 확장될 때 같은 절차로 분석을 갱신하고 그 차이를 비교할 수 있습니다.
06자주 묻는 질문 (FAQ)
Q1ISO/PAS 8800은 어떤 시스템에 적용되나요?
도로 차량의 전기·전자 시스템 안에서 안전 관련 기능을 구현하거나 그 기능에 영향을 주는 AI 시스템과 그 AI 컴포넌트에 적용됩니다. 적용 범위는 아이템 전체가 아니라 그 가운데 AI가 들어간 부분이며, 그 아이템은 ISO 26262와 ISO 21448의 범위 안에 있어야 합니다.
Q2STPA가 ISO/PAS 8800에서 필수인가요?
필수는 아닙니다. 규격은 AI 안전 분석 활동을 요구하지만 기법을 지정하지 않습니다. STPA는 고장 없이 발생하는 AI 성능 불충분성을 제어기의 프로세스 모델 결함으로 다룰 수 있어, 이 활동을 채우는 데 적합한 기법입니다.
Q3FMEA나 FTA로는 부족한가요?
부족한 부분이 있습니다. 두 기법은 부품 고장에서 출발하므로 학습 데이터 편향이나 분포 이동처럼 고장률 없이 생기는 오류를 표현하기 어렵습니다. 정량 평가에는 여전히 유용하므로 STPA와 함께 쓰는 것이 현실적입니다.
Q4AI 컴포넌트의 출력을 왜 제어행동으로 모델링하나요?
UCA 4유형(미제공, 부적절 제공, 시점 오류, 지속 오류)이 미탐, 오탐, 지연, 추적 손실이라는 AI 성능 불충분성 유형과 일치하기 때문입니다. 네 유형을 제어행동마다 체계적으로 물으면 분석의 완결성이 높아집니다.
Q5VisualPro STPA에서 MCP로 무엇을 할 수 있나요?
손실, 위험원, 시스템 제약, 제어구조, UCA, 손실 시나리오, 대책과 그 관계를 외부 에이전트가 생성·조회할 수 있습니다. 이 백서의 예제는 35회 호출로 전체 분석을 구축했고, 같은 스크립트로 언제든 재현할 수 있습니다.
07지금 시작하십시오 (Next Step)
이 백서의 예제는 가상이며, 실제 적용에서는 ODD 정의와 데이터셋 명세가 훨씬 정밀해야 합니다. STPA는 발생 확률을 주지 않으므로 8800의 검증·확인 활동에서 정량 지표는 별도로 확보해야 합니다. 브이웨이는 다음 단계로 AI 전용 가이드워드 세트, AI 컴포넌트 표시 속성, 대책의 AI 안전 요구사항 내보내기를 VisualPro STPA에 반영하는 것을 검토하고 있습니다.
ISO/PAS 8800이 요구하는 것은 AI 오류가 위험원이 되는 경로와 그 근거입니다. 그 경로를 처음부터 분석 대상으로 삼는 STPA, 그리고 그 결과를 추적 가능한 데이터로 남기는 VisualPro로 AI 안전 분석을 시작하십시오.
AI 오류가 위험원이 되는 경로를 근거와 함께 — VisualPro STPA로 시작하는 ISO/PAS 8800 대응.
참고 규격: ISO/PAS 8800:2024, Road vehicles — Safety and artificial intelligence · ISO 26262:2018 · ISO 21448:2022 · ISO/IEC TR 5469:2024 · Leveson, N. G., Thomas, J. P., STPA Handbook, MIT, 2018 · 원문: VWAY White Paper 「ISO/PAS 8800을 지원하기 위한 STPA 적용」 (2026-09-11)
AI 시스템의 안전을 다루는 첫 자동차 규격 ISO/PAS 8800:2024(Road vehicles — Safety and artificial intelligence)는 분석 기법을 따로 지정하지 않습니다. 대신 AI 컴포넌트의 성능 불충분성이 어떤 경로로 차량 위험원이 되는지 식별하고, 그 결과를 AI 안전 요구사항과 안전 논증으로 연결하라고 요구합니다.
STPA는 이 요구에 정면으로 대응합니다. AI 컴포넌트를 제어구조 안의 제어기로 두면 학습 데이터의 편향, 분포 이동, 확신도 오보정 같은 AI 오류 원인이 “프로세스 모델 결함”이라는 STPA의 표준 범주로 정리됩니다. 고장률이 없는 소프트웨어 오류를 다루기 어려운 FMEA·FTA와 달리, STPA는 고장 없이도 발생하는 위험 제어행동을 처음부터 분석 대상으로 삼기 때문입니다.
이 백서는 카메라 신경망 기반 보행자 인식 AEB를 가상 예제로 삼아 VisualPro STPA 모듈에 MCP로 분석을 구축했습니다.
MCP 호출 35회, 실패 0회. 16개 손실 시나리오 가운데 9건이 AI 컴포넌트 고유 원인(데이터 대표성, 분포 외 입력, 확신도 보정, 강건성, 실행 시간, 가림 추적, 배포 후 성능 저하)이었고, 이 9건이 8800의 데이터·검증·감시 활동과 직접 연결됩니다. 대책 10건은 8800이 말하는 AI 안전 요구사항의 형태를 갖추었으며, 손실 시나리오 16건 전부가 최소 1개 대책에 연결됐습니다.
다만 STPA는 발생 확률을 정량화하지 않으므로 8800의 검증·확인 활동은 여전히 정량 시험과 데이터 커버리지 지표가 담당해야 합니다. STPA는 무엇을 시험해야 하는지와 어떤 요구사항이 필요한지를 정하는 앞단에서 힘을 발휘합니다.
예제는 전방 카메라 영상을 신경망으로 처리해 보행자를 인식하고 자동 긴급제동을 수행하는 AEB-P 기능입니다. AI 컴포넌트는 보행자 인식 AI 모듈(영상에서 보행자 위치·TTC·확신도 산출), 판단 제어기는 AEB 판단 제어기(검출 결과·레이더·차량 상태를 융합해 경고와 긴급제동 결정), 그 밖에 전방 카메라·레이더·제동 액추에이터, 운전자와 도로 환경으로 구성됩니다. ODD는 주간·야간 도심 및 교외 도로, 차속 10~60 km/h, 카메라 시야가 확보된 기상 조건으로 가정했습니다.
검출기의 오류 유형을 자유롭게 브레인스토밍하는 자리에 네 유형을 제어행동마다 체계적으로 묻는 절차가 들어서므로, 이 대응은 분석의 완결성을 보장하는 장치가 됩니다. 실제로 UCA 4유형을 적용하자 미탐과 오탐에 머물던 분석 대상이 지연, 추적 손실, 확신도 오보정까지 넓어졌고, 12건 중 5건이 AI 컴포넌트 출력에 걸렸습니다.
16건 중 11건이 Class 1(제어기 행동 부적절)에 속하며, 그 대부분이 학습된 프로세스 모델과 알고리즘 결함입니다. AI 시스템의 손실 시나리오는 피드백 고장보다 제어기 내부, 즉 학습된 프로세스 모델과 판단 알고리즘에 몰립니다. 8800이 데이터셋 요구사항과 불확실성 추정에 큰 비중을 두는 이유가 STPA 결과에서 그대로 확인됩니다.
이 백서의 예제는 가상이며, 실제 적용에서는 ODD 정의와 데이터셋 명세가 훨씬 정밀해야 합니다. STPA는 발생 확률을 주지 않으므로 8800의 검증·확인 활동에서 정량 지표는 별도로 확보해야 합니다. 브이웨이는 다음 단계로 AI 전용 가이드워드 세트, AI 컴포넌트 표시 속성, 대책의 AI 안전 요구사항 내보내기를 VisualPro STPA에 반영하는 것을 검토하고 있습니다.
ISO/PAS 8800이 요구하는 것은 AI 오류가 위험원이 되는 경로와 그 근거입니다. 그 경로를 처음부터 분석 대상으로 삼는 STPA, 그리고 그 결과를 추적 가능한 데이터로 남기는 VisualPro로 AI 안전 분석을 시작하십시오.