I. 배경

국회 과학기술정보방송통신위원회는 2024. 11. 26. ‘AI 발전과 신뢰기반 조성 등에 관한 법률안(이하 “AI 기본법 제정안”)’을 본회의에 부의하기로 의결하였습니다. AI 기본법 제정안은 올해 중에 국회 법제사법위원회를 거쳐 본회의에서 통과될 것으로 전망됩니다. 

최근 인공지능의 성능이 비약적으로 발전함에 따라 인공지능의 활용이 급속히 확대되고 있습니다. 특히, 생성형 인공지능의 등장에 따라 인공지능이 다양한 잠재적 혜택을 가져올 것으로 예상되는 한편, 동시에 인공지능의 위험성에 대한 우려도 제기되어 왔습니다.

이와 같은 배경 하에서 AI 기본법 제정안은 인공지능의 건전한 발전을 지원하고 인공지능사회의 신뢰 기반 조성에 필요한 기본적인 사항을 규정함으로써 대한민국 인공지능의 새로운 기준을 마련하기 위한 목적에서 제안되었습니다.

이하에서는 국회 과학기술정보방송통신위원회에서 통과된 AI 기본법 제정안의 주요 내용 및 위 법률의 제정과 관련하여 주목해야 할 내용 및 시사점에 대해 살펴보겠습니다.

II. 주요 내용

1. 고영향 인공지능, 생성형 인공지능, 인공지능사업자 등 정의
AI 기본법 제정안은 고영향 인공지능, 생성형 인공지능, 인공지능사업자 등의 용어에 대한 정의 조항을 마련하고 있습니다. 

• 고영향 인공지능: 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템으로서 아래 중 어느 하나의 영역에서 활용되는 인공지능시스템(제2조 제4호)

• 생성형 인공지능: 입력한 데이터(「데이터 산업진흥 및 이용촉진에 관한 기본법」 제2조 제1호에 따른 데이터)의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성하는 인공지능시스템(제2조 제5호)

• 인공지능산업: 인공지능 또는 인공지능기술을 활용한 제품(“인공지능제품”)을 개발ㆍ제조ㆍ생산 또는 유통하거나 이와 관련한 서비스(“인공지능서비스”)를 제공하는 산업(제2조 제6호)

• 인공지능사업자: 인공지능산업과 관련된 사업을 하는 자로서 다음의 어느 하나에 해당하는 법인, 단체, 개인 및 국가기관등(제2조 제7호)

      - 인공지능개발사업자: 인공지능을 개발하여 제공하는 자

      - 인공지능이용사업자: 인공지능개발사업자가 제공한 인공지능을 이용하여 인공지능제품 또는 인공지능서비스를 제공하는 자

• 이용자: 인공지능제품 또는 인공지능서비스를 제공받는 자

• 영향받는 자: 인공지능제품 또는 인공지능서비스에 의하여 자신의 생명, 신체의 안전 및 기본권에 중대한 영향을 받는 자

2. 인공지능 기본계획의 수립(제6조) 및 국가인공지능위원회의 설치(제7조 및 제8조)과학기술정보통신부장관은 관계 중앙행정기관의 장 및 지방자치단체의 장의 의견을 들어 3년마다 인공지능기술 및 인공지능산업의 진흥과 국가경쟁력 강화를 위하여 인공지능 기본계획(인공지능에 관한 정책의 기본 방향, 전문인력의 양성 및 인공지능 개발ㆍ활용 촉진 기반 조성 등에 관한 사항 등 제6조 제2항 각호에서 정한 사항을 포함)을 국가인공지능위원회의 심의ㆍ의결을 거쳐 수립ㆍ시행하여야 합니다(제6조).

또한 인공지능산업의 진흥 및 인공지능 신뢰 기반 조성을 위한 주요 정책 등에 관한 사항을 심의·의결하기 위하여 대통령 소속으로 국가인공지능위원회를 두고, 국가인공지능위원회는 인공지능 기본계획의 수립, 인공지능 활용 촉진, 인공지능 관련 데이터센터 등 인프라 확충 방안에 관한 사항, 고영향 인공지능 규율 등에 관한 사항을 심의·의결합니다(제7조, 제8조).

3. 고영향/생성형 인공지능 관련 의무

1) 투명성 확보 의무(제31조)
고영향 인공지능 또는 생성형 인공지능을 이용한 제품 또는 서비스를 제공하는 인공지능사업자는 다음과 같은 투명성 확보 의무가 있습니다.

• 고영향 인공지능 또는 생성형 인공지능을 이용한 제품 또는 서비스라는 사실을 이용자에게 사전에 고지하여야 함(제1항)

• 생성형 인공지능 또는 이를 이용한 제품 또는 서비스를 제공하는 경우 그 결과물이 생성형 인공지능에 의하여 생성되었다는 사실을 표시하여야 함(제2항)

• 인공지능시스템을 이용하여 실제와 구분하기 어려운 가상의 결과물을 제공하는 경우 그 사실을 이용자가 명확하게 알 수 있도록 고지 또는 표시하여야 함(제3항)

제31조 제1항을 위반하여 고영향 인공지능 또는 생성형 인공지능을 이용한 제품 또는 서비스라는 사실에 대해 이용자에게 사전 고지를 이행하지 아니할 경우 3천만 원 이하의 과태료가 부과됩니다(제43조 제1항 제1호).

2) 안전성 확보 의무(제32조)
인공지능사업자는 학습에 사용된 누적 연산량이 대통령령으로 정하는 기준 이상인 인공지능시스템의 안전성을 확보하기 위하여 다음 각 사항을 이행하여야 하며(제1항), 이러한 사항의 의무 이행 결과를 과학기술정보통신부장관에게 제출하여야 합니다(제2항). 

• 인공지능 수명주기 전반에 걸친 위험 식별, 평가 및 완화

• 인공지능 관련 안전사고를 모니터링하고 대응하는 위험관리체계 구축

아직까지 누적 연산량에 관하여 정해지지 아니하였고, 인공지능이용사업자가 이용하는 인공지능개발사업자의 시스템 기준으로 위 규정이 적용될지 여부 등에 관하여 아직 정해진 바가 없으므로, 이에 대한 규제기관의 동향을 주목할 필요가 있습니다.

3) 고영향 인공지능 해당 여부 확인 의무(제33조)
인공지능사업자는 인공지능 또는 이를 이용한 제품ㆍ서비스를 제공하는 경우 그 인공지능이 고영향 인공지능에 해당하는지에 대하여 사전에 검토하여야 하며, 필요한 경우 인공지능사업자는 과학기술정보통신부장관에게 고영향 인공지능에 해당하는지 여부의 확인을 요청할 수 있습니다(제1항).

4) 고영향 인공지능과 관련한 사업자의 책무(제34조)
고영향 인공지능 또는 이를 이용한 제품ㆍ서비스를 제공하는 인공지능사업자는 고영향 인공지능의 안전성ㆍ신뢰성을 확보하기 위한 조치를 이행하여야 합니다(제1항).

• 1. 위험관리방안의 수립ㆍ운영

• 2. 기술적으로 가능한 범위 내에서의 인공지능이 도출한 최종결과, 인공지능의 최종결과 도출에 활용된 주요 기준, 인공지능의 개발ㆍ활용에 사용된 학습용데이터의 개요 등에 대한 설명 방안의 수립ㆍ시행

• 3. 이용자 보호 방안의 수립ㆍ운영

• 4. 고영향 인공지능에 대한 사람의 관리ㆍ감독

• 5. 안전성ㆍ신뢰성 확보를 위한 조치의 내용을 확인할 수 있는 문서의 작성과 보관

• 6. 그 밖에 고영향 인공지능의 안전성ㆍ신뢰성 확보를 위하여 위원회에서 심의ㆍ의결된 사항

5) 인공지능 영향평가(제35조)
인공지능사업자가 고영향 인공지능을 이용한 제품 또는 서비스를 제공하는 경우 사전에 사람의 기본권에 미치는 영향을 평가하기 위하여 노력하여야 하고(제1항), 국가기관등이 고영향 인공지능을 이용한 제품 또는 서비스를 이용하려는 경우에는 영향평가를 실시한 제품 또는 서비스를 우선적으로 고려하여야 합니다(제2항).

4. 국내대리인 지정제도(제36조)
국내에 주소 또는 영업소가 없는 인공지능사업자 중 이용자 수, 매출액 등 대통령령으로 정하는 기준에 해당하는 자는 안전성 확보 이행 결과 제출(제32조 제2항), 고영향 인공지능 해당 여부 확인의 신청(제33조 제1항), 안전성ㆍ신뢰성 확보 조치의 이행에 필요한 지원(제34조 제1항) 등을 대리하는 자를 국내대리인으로 서면 지정하고, 이를 과학기술정보통신부장관에게 신고하여야 합니다(제36조 제1항). 국내대리인이 위 대리업무와 관련하여 법을 위반한 경우, 해당 국내대리인을 지정한 인공지능사업자가 그 행위를 한 것으로 간주됩니다(제36조 제3항). 국내대리인을 지정하지 않을 경우 3천만 원 이하의 과태료가 부과됩니다(제43조 제1항 제2호). 

5. 사실조사 및 중지ㆍ시정명령
과학기술정보통신부장관은 소속 공무원으로 하여금 인공지능사업자에 대하여 자료 제출 요구 및 사무소ㆍ사업장에 출입하여 장부ㆍ서류, 그 밖의 자료나 물건을 조사할 수 있도록 하고, 조사 결과 법 위반이 인정될 경우 위반행위 중지 및 시정명령을 내릴 수 있습니다(제40조 제3항). 해당 중지명령이나 시정명령을 이행하지 아니한 경우 3천만 원 이하의 과태료가 부과됩니다(제43조 제1항 제3호). 

III. 시사점

AI 기본법은 인공지능 산업의 발전과 혁신에 기여하는 동시에 인공지능 산업의 신뢰도를 제고하고, 기술 혁신이 안전하게 이루어질 수 있는 기반을 마련하는 역할을 할 것으로 전망됩니다. 본 법안은 고영향ㆍ생성형 인공지능 등에 대한 명확한 정의와 인공지능사업자의 책임 범위와 의무를 구체화하고 있는바, 이러한 기준에 맞춰 사업자들은 인공지능의 투명성과 안전성을 확보하는 조치를 취해야 할 것으로 보입니다. 또한, AI 고지 의무 미이행, 시정명령 위반, 국내 대리인 미지정의 경우 최대 3천만 원의 과태료가 부과될 수 있는 만큼 다국적 기업의 국내 사업 운영 방식에도 변화가 예상됩니다. 이에 따라 국내외 기업은 법적 리스크를 최소화하기 위해 컴플라이언스 체계를 재점검할 필요가 있습니다. 
AI 기본법이 본회의에서 통과된 이후에는 향후 인공지능사업자의 안전성 확보 의무, 국내대리인 지정 대상 외국 인공지능사업자 기준 등을 구체화하는 시행령이 도입될 예정이고, AI 기술의 표준화를 통해 기업과 정부가 규제 요건을 충족할 수 있도록 하는 지침이 제시될 것으로 예상됩니다. 따라서 AI 기본법 관련 국회의 동향, 향후 제정될 시행령의 내용 등에 대한 지속적인 모니터링이 필요합니다.