AI 비상 브레이크란? 나델라가 제안한 7가지 원칙

결론부터 말하면, “AI 비상 브레이크”는 제품도 법도 아니고 하나의 제안이에요. 마이크로소프트의 사티아 나델라 CEO가 2026년 10월 10일(토) 개인 블로그에 Models as Insider Risks in the Super Intelligence Era라는 글을 올리고 X에도 공유했어요. 핵심은 이거예요. 회사는 AI 모델을 권한이 아주 큰 직원처럼 다뤄야 한다. 무조건 믿지 말고, 한 일을 기록하고, 필요하면 언제든 멈출 수 있어야 한다. 이 “멈추는 장치”를 그는 비상 브레이크에 비유했어요.

이 글에서는 나델라의 글에 실제로 무엇이 쓰여 있는지, 무엇은 없는지, 한국의 AI 기본법과는 어떻게 이어지는지, 그리고 회사에서 AI를 쓰는 사람에게 무엇이 달라지는지 차례로 볼게요.

나델라가 제안한 것

나델라는 AI가 늘 옳은 일을 하도록 만드는 문제, 이른바 정렬 문제는 아직 풀리지 않았다고 인정해요. 그 대신 다른 길을 제시해요. 모델을 최대한 덜 믿어도 안전하게 돌아가도록 시스템 쪽을 설계하자는 거예요. 요점은 “지능을 공급하는 것”과 “그 지능을 움직이는 권한”을 떼어 놓는 것이에요.

이유도 구체적이에요. 기존 소프트웨어는 어떤 동작이 코드의 어느 줄에서 나왔는지 추적할 수 있어요. 대형 AI 모델은 그게 안 돼요. 그런데도 우리는 AI에게 민감한 데이터 접근과 실제 작업을 맡기기 시작했어요. 나델라는 모델이 악의적이라고 말하지 않아요. 중요한 시스템에 손댈 수 있는 유능한 존재라면 누구든 실수하거나 탈취될 수 있다는 전제에서 출발해요. 폐쇄형 모델이든 공개형 모델이든 마찬가지라고 해요.

여기서 나온 것이 7가지 원칙이에요.

1. 01다양성: 중요한 결과를 모델 하나에만 맡기지 않고, 모델이 자기 일을 혼자 검사하게 두지 않아요.
2. 02모든 것을 관찰: 의미 있는 작업마다 위조할 수 없고 사람이 읽을 수 있는 기록을 남겨요.
3. 03검증 가능성: 잘된 작업만이 아니라 실패, 공격, 예외 상황까지 포함해 시스템 전체를 계속 시험해요.
4. 04독립적인 통제: 모델이 무엇에 접근하고 무엇을 할 수 있는지는 공급사가 아니라 도입한 조직이 정해요.
5. 05독립적인 감사: 같은 모델이 자기 행동과 그 행동을 평가하는 증거를 동시에 쥐지 않아요.
6. 06봉쇄: 처음부터 모델이 탈취됐을 수 있다고 가정해요. 권한 있는 사람이 작업 도중에도 멈추거나 끌 수 있어야 해요. 이게 비상 브레이크예요.
7. 07공개: 문제가 생기면 영향받는 사람에게 빨리 알리고, 교훈을 업계와 나눠요.

제목을 장식한 비상 브레이크는 7개 중 하나일 뿐이에요. 나머지 6개가 브레이크를 실제로 작동하게 만드는 조건이에요. 기록이 없으면 브레이크를 밟아야 할 순간을 아무도 알아채지 못하니까요.

브레이크를 왜 모델 바깥에 두나요

기술적으로 가장 중요한 부분이에요. 나델라는 안전장치를 모델 안이 아니라 바깥에 둬야 한다고 써요. 모델과, 도구·권한·기억·작업 흐름을 관리하는 주변 소프트웨어를 나누자는 거예요. 프로그램이 자기 권한을 정하는 장치를 스스로 고칠 수 있으면 안 된다는 오래된 보안 원칙을 AI에 그대로 적용한 셈이에요.

그래서 모델이 생각 과정을 보여 주는 것만으로는 부족하다고 해요. 화면에 나오는 이유가 모델 안에서 실제로 일어난 일을 정확히 보여 준다는 보장이 없기 때문이에요. 다른 모델에게 감시를 맡겨도 속이 안 보이는 층이 하나 더 쌓일 뿐이에요. 모델과 앱이 어떻게 다른지부터 정리하고 싶다면 AI 모델이란을 먼저 보면 좋아요.

보안 업계에는 이 위험을 부르는 이름이 이미 있어요. OWASP는 LLM06: Excessive Agency(과도한 권한)로 분류하고, 원인으로 기능 과다, 권한 과다, 자율성 과다 세 가지를 꼽아요. 권장하는 대책도 같은 방향이에요. 영향이 큰 작업 전에는 사람이 승인하고, 모델에게 맡기지 말고 시스템 쪽에서 매번 요청을 확인하라는 거예요.

왜 지금 이 이야기가 나왔나요

TechCrunch는 이 글을 AI 회사들이 자기 모델을 제대로 통제하지 못하는 것처럼 보인 사건들이 이어지는 흐름 속에 놓고 봐요. AI가 에이전트로서 직접 클릭하고, 보내고, 예약할수록 실수 한 번의 대가가 커져요.

Forbes는 이 글을 책임의 이동으로 읽어요. 모델을 만드는 회사에서 모델을 도입해 쓰는 회사로요. 이 부분은 한 걸음 떨어져서 읽을 필요가 있어요. 마이크로소프트도 AI 모델과 주변 도구를 파는 회사예요. 통제 책임을 고객 쪽에 두는 생각은 일리가 있지만, 글쓴이의 이해관계와도 맞아요. 둘 다 사실일 수 있어요. 마이크로소프트가 지금 어떤 AI 도구를 내놓고 있는지는 마이크로소프트 AI: Copilot이 실제로 하는 일에서 정리했어요.

한국 AI 기본법과의 관계

한국에는 2026년 1월 22일 시행된 AI 기본법이 있어요. 원문은 국가법령정보센터에서 볼 수 있어요. 법률신문이 전한 법률 전문가의 설명에 따르면 고영향 AI에는 위험 관리, 설명, 이용자 보호와 함께 사람의 관리·감독 의무가 붙어요. 사람이 지켜보고 개입할 수 있어야 한다는 점에서 나델라의 제안과 방향이 같아요. 다만 법의 의무는 AI 사업자에게 있고, 나델라의 원칙은 강제력이 없는 제안이에요. 법이 직장인 개인에게 무엇을 요구하는지는 메타 AI 개인정보와 AI 기본법에서 자세히 다뤘어요.

또 하나, 나델라의 글은 생각의 틀을 제시한 것이지 구체적인 기능이나 출시 시점을 발표한 것은 아니에요. 마이크로소프트가 자기 제품에 이를 어떻게 넣을지는 아직 알 수 없어요.

회사에서 AI를 쓰는 사람에게는

채팅으로 초안을 받아 쓰는 정도라면 달라지는 건 없어요. 그 글을 쓸지 말지는 내가 정하니까, 브레이크는 이미 내 손에 있어요.

달라지는 건 AI가 직접 작업을 시작할 때예요. 메일을 보내고, 파일을 고치고, 사내 시스템에서 데이터를 가져오는 도구를 쓴다면 7가지 원칙을 작은 체크리스트로 쓸 수 있어요.

• —중간에 멈출 수 있나요? 멈출 수 없다면 실수했을 때 곤란한 일은 맡기지 마세요.
• —나중에 무엇을 했는지 확인할 수 있나요? 모델이 스스로 쓴 요약보다 내가 직접 읽을 수 있는 작업 기록이 더 믿을 만해요.
• —필요한 권한만 줬나요? 일정만 넣는 도구에 회계 데이터 접근은 필요 없어요.
• —다른 누군가가 결과를 확인하나요? 중요한 판단이라면 같은 모델이 아니라 사람이어야 해요.

데이터 연결을 요구하는 새 도구의 구체적인 예는 클로드 대시보드·모션 안전성에서 볼 수 있어요. 직접 챗봇을 만들 계획이라면 챗봇 만들기에서 범위를 좁게 잡는 법부터 확인해 보세요.

아직 모르는 것

1. 01마이크로소프트가 Copilot과 Azure에서 고객이 직접 쓰는 작업 기록이나 정지 기능으로 구현할지.
2. 02다른 AI 회사들이 같은 생각을 따를지, 다른 이름을 내세울지.
3. 03언제 브레이크를 밟아야 하는지 누가 정할지. 밟는 기준이 없는 브레이크는 의지 표명에 그쳐요.

결국 필요한 능력은 소박해요. AI 도구에 무엇을 허락했는지 알고, 결과를 확인하고, 애매하면 멈추는 것. Coursium은 업무에서 AI를 쓰는 법을 휴대폰으로 배우는 iPhone 앱이에요. 스스로 비용을 내고 공부하는 앱이고, 수료증은 과정을 마쳤다는 기록일 뿐 정부 지원이나 자격과는 관계가 없어요.