AI 기본법 시행이 바꾼 세상, 껍데기만 화려한 규제 속에서 내 권리 찾는 법

요즘 스마트폰을 열면 참 무서운 세상이라는 생각이 든다. 최근 뉴스에서는 영국 매체와 아시아경제가 보도한 성조기 비키니 미녀 관중 사진이 전 세계 SNS를 달궜다. 정교한 피부 질감과 조명 때문에 다들 실제 사람인 줄 알고 신원 추적까지 나섰는데, 알고 보니 생성형 인공지능(AI)이 만든 가짜 이미지였다는 것이다.

황당한 건 첨단 AI 탐지 도구들마저 ‘실제 사진일 확률 높음’이라며 속아 넘어갔다는 사실이다. 이제 눈으로 보는 것조차 믿을 수 없는 고도화된 기술 왜곡 속에서 우리는 살아가고 있다. 단순한 해프닝으로 끝나면 다행이지만, 현실은 그렇게 낭만적이지 않다.

1. 2026년 현실이 된 AI 기본법과 숨겨진 그림자

대한민국은 4년이 넘는 국회 논의 끝에 2026년 1월 22일부터 세계에서 두 번째로 포괄적인 AI 규제 체계인 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법, 즉 AI 기본법을 본격적으로 시행했다. 국가 AI 경쟁력을 키우기 위해 3년마다 기본계획을 세우고 대통령 직속 국가인공지능위원회를 운영하는 등 겉보기에는 거창한 스타트를 끊었다.

하지만 법률을 자세히 뜯어보면 실망스러운 구석이 한두 개가 아니다. 주무부처인 과학기술정보통신부는 기업의 준비 부족과 혼란을 막겠다는 명분으로 사실조사와 과태료 처분을 최소 1년 이상 유예하기로 했다. 인명 사고나 심각한 인권 침해가 터지지 않는 이상 과태료를 안 매기겠다는 계도기간을 준 셈이다.

결국 법은 통과되었는데 현장에는 아무런 처벌 강제력이 작동하지 않는 공백 상태가 벌어졌다. 게다가 AI 챗봇과의 사적 대화 기록이 범죄 수사에서 영장 없이 열람되거나 증거로 채택되는 등 ‘AI 특권’이나 비밀 유지에 대한 세부 기준은 법안에서 완전히 누락됐다. 세계 두 번째 규제국이라는 타이틀이 정밀해야 할 법을 조급하게 만든게 아닐까.

2. 진짜와 가짜의 전쟁: 딥페이크 범죄와 표시 의무의 한계

가장 심각한 문제는 역시 일상 속으로 파고든 가짜 콘텐츠다. 한국소비자연맹이 AI 이용자 1,000명을 대상으로 설문조사를 돌려보니, 사람들이 가장 우려하는 문제 1위가 가짜뉴스와 딥페이크 범죄 악용이었다. 실제로 딥페이크 관련 범죄 신고 건수는 2021년 156건에 불과했지만 지난해 964건으로 무려 6.18 배 폭증했다.

유튜브 쇼츠나 인스타그램을 넘기다 보면 의사 가운을 입은 인물이 나와 건강식품을 소개하는 영상이 흔히 보인다. 이것도 AI가 만든 가짜 의사라는 것을 누가 모르겠냐고 하겠지만, 이런 허위 광고로 무려 81억 원의 부당 매출을 올린 일당이 검찰에 검거되기도 했다. 사정이 이렇다 보니 AI 기술이 사기와 기망의 도구가 되어버린 것이다.

현행 법은 생성형 AI 결과물에 워터마크나 문구로 표시 의무를 부여하도록 규정했다. 특히 딥페이크 영상은 이용자가 명확하게 알 수 있도록 표시해야 한다. 하지만 기술적으로 워터마크를 아주 손쉽게 지워버릴수 있어 실효성이 떨어진다. 플랫폼 유통 단계인 유튜브나 게시자에게까지 표시 의무를 지우는 정보통신망법 개정안이 뒤늦게 발의된 배경이기도 하다.

3. 소비자 피해 발생 시 독박 쓰는 이유: 책임 공백

만약 당신이 알고리즘 추천이나 AI 상담사의 잘못된 자동 판단으로 금융적, 정신적 손해를 입었다면 누구에게 책임을 물어야 할까? 현재로서는 하소연할 곳이 없는것과 마찬가지다. 기존의 소비자보호법은 사람이 말이나 언어로 남을 속이는 ‘기망 행위’를 전제로 설계되었기 때문이다.

데이터와 알고리즘이 결합한 디지털 공간에서는 소비자가 자신이 피해를 보고 있다는 사실조차 인지하기 어렵다. 실제로 인식조사 참여자의 82.5%는 “기업들이 AI의 자동 판단을 핑계로 책임을 회피할 것”이라고 지적했다. 사고 책임 소재가 모호해진다는 뜻이다.

“과거의 소비자문제는 제품 불량처럼 형태가 명확했지만, AI 시대에는 알고리즘 뒤에 숨어 소비자가 피해 사실조차 인식하기 어려운 형태로 진화했습니다.”
– 정지연 한국소비자연맹 사무총장 토론회 발언 중

게다가 현행 제조물책임법은 ‘동산’만을 대상으로 삼고 있어, 무형의 AI 소프트웨어나 시스템 오류로 터진 사고에는 직접 적용하기 어렵다. 법학계에서 AI 시스템까지 제조물 책임을 확대하고 책임보험 가입을 의무화해야 한다고 목소리를 높이고 있다.

결국 법적 장치가 완비되기 전까지는 소비자가 스스로 의심하고 조심하는 수밖에 없다. AI 딥페이크 시대를 맞아 보험회사들은 다양한 보험상품들을 신나게 만들어 판매할 것으로 예상된다.

4. 기업이 생존하기 위한 위험관리방안 거버넌스 구축 전략

상황이 이렇다 보니 서비스를 제공하는 인공지능사업자 들도 발등에 불이 떨어졌다. 법적 제재가 1년 유예되었다 해서 손 놓고 있다가는 금융감독원의 감사나 기업 신뢰도 추락이라는 거대한 부메랑을 맞게 된다. 당장 내부 통제 시스템과 실시간 검증체계를 갖추지 않으면 ‘위험 관리 소홀’ 지적을 피할 수 없다.

특히 사람의 금융 거래나 신용 평가, 의료 등에 밀접한 영향을 미치는 고영향 AI를 다루는 기업이라면 반드시 정교한 위험관리방안을 수립하고 문서로 남겨 5년간 보관해야 한다. 리스크를 사전에 걸러내지 못해 발생하는 소비자 피해는 고스란히 기업의 천문학적 과태료와 법적 소송 비용으로 돌아온다.

김앤장 등 법률 전문가들은 AI 기획부터 폐기까지 전 주기에 걸친 개인정보 처리 흐름을 도식화하고, 내부 윤리지침과 표준계약서를 미리 정비하라고 조언한다. 금융위의 ‘금융분야 AI 가이드라인’이나 금감원의 프레임워크처럼 이미 제시된 자율 가이드라인을 체크리스트 삼아 선제적인 거버넌스를 구축하는 것만이 소송 리스크에서 살아남는 유일한 길이다.

5. 인공지능사업자 유형별 의무 정리

법안이 규정하는 핵심 대상별 의무와 위반 시 제재 수위를 정리해 보았다. 내가 이용하는 서비스가 어디에 속하는지 눈여겨보자.

기술은 저만치 앞서 달려가는데 우리 법체계와 소비자 보호 장치는 여전히 거북이걸음이다. 진짜와 가짜를 구별해내는 눈을 기르는 것, 그리고 부당한 자동화 의사결정에 이의를 제기할 수 있는 권리가 있음을 명확히 인지하는 것만이 인공지능 시대를 안전하게 살아낼 방법이다.

개인적으로 가장 염려되는 것은 보이스피싱 또는 스미싱 범죄이다. AI가 있기 전에도 갈수록 교묘해지는 보이스피싱 때문에 많은 피해자들이 생겼고, 이에 따라 금융서비스 이용에 대한 번거로운 안전장치들이 생겨나 평범한 이용자들은 불편이 늘어나고 있다. 저신뢰 사회가 될 수록 규제는 늘고 불편은 가중된다.

보이스피싱 범죄조직이 AI 기술을 이용하지 않을 이유가 없으므로 금융서비스 이용에 갈수록 많은 규제, 절차, 제한, 인증의 불편함이 기하급수적으로 늘어날 것으로 예상된다. AI가 세상에 꼭 필요한걸까 싶다.

자주 묻는 질문 (FAQ)