생성형 인공지능과 AI 에이전트는 단순 질의응답이나 초안 작성 단계를 넘어 공공문서 작성, 결재 보조, 데이터베이스 처리, API 호출, 파일 수정, 코드 실행, 보안 조치, 의료·금융·제조·국방 영역의 판단 보조와 외부 시스템 제어 후보 생성 단계로 확장되고 있다.

인공지능은 본질적으로 복수의 가능 상태를 생성하고, 그중 확률적으로 적합한 결과를 선택·조합하는 방식으로 작동한다. 이러한 높은 자유도는 창작, 탐색, 추론, 가설 생성 과정에서는 강점으로 작용한다.

그러나 동일한 자유도가 공식 기록, 행정 처리, 금융 거래, 의료 기록, 산업 제어, 보안 조치와 같은 실행 영역으로 그대로 전이될 경우 문제의 성격은 달라진다. 이때 환각이나 오류는 단순한 답변 오류가 아니라 실제 손실, 법적 분쟁, 보안 사고, 공공 신뢰 저하, 산업 안전 문제로 연결될 수 있다.

현재 AI 정책은 모델 성능 향상, 데이터 확보, AI 반도체, 클라우드, 보안 필터, 윤리 기준, 사후 로그 관리에 집중되어 있다. 그러나 인공지능이 생성한 출력 후보 또는 실행 후보가 실제 실행으로 전환되기 직전에, 해당 후보가 실행 가능한 확정 상태인지 구조적으로 검증하는 체계는 아직 충분히 정립되어 있지 않다.

따라서 소버린 AI는 국산 모델과 데이터 인프라 확보에 그쳐서는 안 된다. 인공지능이 국가와 산업 시스템에서 실제 실행되기 전, 그 실행 가능성·권한·위험 조건·근거 상태를 자국 기준으로 검증하고 통제할 수 있는 “AI 실행주권”까지 포함하는 개념으로 확장될 필요가 있다.

국내외 AI 산업은 초거대 모델, AI 반도체, 데이터센터, 클라우드, 공공 AI, 산업 AI, AI 에이전트 자동화 방향으로 빠르게 확장되고 있다. 그러나 실제 공공·산업 현장에서 AI 도입의 병목은 단순한 모델 성능 부족이 아니라, AI가 생성한 판단 또는 출력이 실제 실행으로 전환될 때 발생하는 책임, 안전, 보안, 감사 및 신뢰성 문제이다.

공공 행정에서는 AI 생성 문서, 민원 답변, 정책자료 요약, 회의록, 공공 기록 후보가 공식화될 수 있다. 금융 분야에서는 AI 에이전트가 거래, 결제, 승인, 지급, 대출, 보험 심사와 관련된 API 호출 후보를 생성할 수 있다. 의료·헬스케어 분야에서는 진단 보조, 검사 결과 해석, 환자 요약, 건강관리 권고, 의료기기 데이터 기록 후보가 후속 조치에 영향을 줄 수 있다.

반도체·제조 분야에서는 설계 검증 후보, 결함 판단 후보, 설비 이상 판단, 품질 판정, 제어 명령 후보가 후속 공정으로 연결될 수 있다. 국방·보안 영역에서는 위협 판단, 차단, 격리, 경보, 외부 통보 후보가 실제 조치로 이어질 수 있다. 공공 RAG 및 멀티에이전트 시스템에서도 검색 근거, 인용, 요약, 결론, 보고서 후보가 공식 문서나 업무 실행으로 전환되기 전 검증될 필요가 있다.

현재 활용되는 인간 검토, 보안 필터, 정책 기반 가드레일, 사후 로그 기록, 모델 성능 향상만으로는 이러한 실행 리스크를 충분히 해결하기 어렵다. 인간 검토는 모든 실행 후보를 실시간으로 검토하기 어렵고, 사후 로그는 사고 이후 원인 확인에는 도움이 되지만 미확정 실행 자체를 조기에 차단하지 못한다.

보안 필터와 가드레일은 금지어, 권한, 정책 조건을 검사할 수 있으나, 후보 상태가 실제 실행 가능한 확정 상태인지까지 구조적으로 판단하는 데에는 한계가 있다. 따라서 공공·산업 AI의 고위험 실행 유형에 대해 실행 전 확정성 검증, 미확정 실행 보류·차단, 비식별 구조증거 기반 감사체계를 별도 정책·기술 계층으로 검토할 필요가 있다.

구체적 논의주제는 다음과 같다.

첫째, “AI 실행주권”을 소버린 AI의 후속 정책축으로 검토할 필요가 있다. 소버린 AI를 국산 모델과 데이터 확보에 한정하지 않고, AI가 실제 실행되기 전 실행 가능 상태를 자국 기준으로 검증·통제하는 능력까지 포함해야 한다.

둘째, 공공·산업 AI의 고위험 실행 유형을 분류해야 한다. 공식 기록 저장, 결재, API 호출, 데이터베이스 변경, 금융 처리, 의료 기록, 보안 조치, 설비 제어, 외부 통보 등 후속 효과가 큰 실행 유형을 우선 정의할 필요가 있다.

셋째, 실행 전 확정성 검증 기준을 수립해야 한다. AI 후보가 높은 점수나 신뢰도를 갖는다는 이유만으로 실행되는 것이 아니라, 실행 목적, 근거 데이터, 권한 조건, 정책 기준, 위험 조건에 비추어 실행 가능한 확정 상태인지 확인해야 한다.

넷째, 미확정 실행을 보류·차단하고, 허용 또는 차단의 근거를 비식별 구조증거로 기록하는 감사체계를 검토해야 한다. 원본 데이터 전체를 저장하지 않더라도 상태 변화, 확정 조건, 차단 사유, 실행 허용 사유, 식별자, 해시값 등을 통해 감사 가능성을 확보할 수 있어야 한다.

다섯째, 공공 부문 시범사업과 핵심 산업 PoC를 검토해야 한다. 공공 보고서, 민원 답변, 회의록 요약, 공공 데이터베이스 기록, 보안 관제 보고서 등에서 로깅·섀도우 모드로 시작하고, 금융·의료·반도체·제조·국방·보안 분야로 확대할 수 있다.

자문의 기대효과는 AI 활용 확대 과정에서 발생할 수 있는 미확정 실행, 잘못된 API 호출, 공식 기록 오류, 보안 조치 오류, 산업 제어 오류를 사전에 줄이는 것이다. 또한 비식별 구조증거를 통해 개인정보와 산업기밀을 과도하게 저장하지 않으면서도 감사 가능성과 책임 소재를 확보할 수 있다.

이를 통해 공공 AI의 신뢰성을 높이고, 고위험 산업의 책임 분쟁과 운영 리스크를 줄일 수 있다. 나아가 대한민국은 초거대 AI 모델 규모 경쟁을 넘어, AI 실행 신뢰성 표준이라는 새로운 국가 경쟁축을 선도할 수 있다.