과학기술정보통신부는 최근 AI 기본법 시행령·시행규칙 제정안과 함께 고시 및 가이드라인(안)을 순차적으로 공개하였습니다. 해당 가이드라인에는 분야별 고영향 인공지능 판단 및 그에 대해 유의할 사항을 안내하고 있습니다. 

특히 사람에 대한 판단 또는 평가 목적으로 이용되는 채용 분야 인공지능시스템은 직업선택의 자유 등 기본권에 중대한 영향을 미칠 수 있어, 인공지능 활용에 있어 각별한 주의를 요합니다. 이하에서는 채용 분야의 고영향 인공지능의 개념 및 채용 분야 고영향 인공지능사업자로서 준수해야 할 법적 의무와 실무상 유의점에 관하여 살펴보겠습니다.

I. 채용 분야의 고영향 인공지능의 개념 및 판단 기준

1. 채용 분야의 고영향 인공지능 개념

AI 기본법(“법”)은 (i) “사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능 시스템”이면서, 동시에 (ii) 동 시스템이 11개의 분야에서 활용되는 경우 이를 고영향 인공지능이라고 정의합니다(제2조 제4호). 11개 중 한 분야는 ‘채용’으로 사용 영역은 아래와 같습니다. 

여기서 채용이란, 사용자가 필요로 하는 인적자원을 확보하기 위한 모든 활동을 의미하며, 모집(사용자가 필요로 하는 인재를 찾기위한 일련의 활동)과 선발(지원자들 가운데 사용자가 필요로 하는 인력을 선별하는 활동으로, 지원자가 사용자가 필요로 하는 역량을 갖추었는지 직무에 적합한지 등을 심사하는것)을 포괄합니다. 

2. 채용 분야의 고영향 인공지능 해당 여부 판단 및 유의점 

고영향 인공지능에 해당하는 경우 이를 개발하거나, 고영향 인공지능을 이용한 제품 및/또는 서비스를 제공하는 사업자는 아래 II.와 같은 여러 책무를 부담합니다. 이에 법 33조에 따른 고영향 인공지능 해당여부에 대한 사전 검토가 필요합니다. 언급된 책무를 부담하지 않기 위해서는 가급적 고영향에 해당하지 않는 것이 그 운영 등을 위해 바람직합니다.  

채용분야에서 활용되는 인공지능시스템의 경우 고영향 인공지능에 해당하기 위한 두 가지 요건 중 분야 요건을 바로 충족하게 됩니다. 이에 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 없도록 시스템을 구성하는 것이 중요합니다. 이를 판단하기 위해서는 해당 시스템의 의도된 목적, 기능, 활용 맥락을 다양한 관점에서 종합적으로 고려하여야 합니다. 

채용 분야의 경우, 근로계약을 체결하거나 유지하려는 자의 직업선택의 자유 등 노동권 및 평등권이 침해될 수 있다는 점에서, 사람에 대한 판단 또는 평가 목적으로 이용되는 인공지능시스템에 의하여 도출되는 결과가 차별, 편향성을 가지지 않도록 하고, 사람에 의한 실질적 개입이 가능하도록 하여 지원자가 불합리하게 채용의 기회를 박탈당하지 않도록 구성함이 중요합니다. 

이에 채용 분야에서의 고영향 인공지능 해당여부에 대한 판단할 시에는 (i) 인공지능이 도출한 결과가 지원자 채용 여부에 대하여 영향을 미치는지 여부 및 (ii) 실질적이고 의미 있는 인적 개입이 있는지 여부를 살펴보게 됩니다. 채용 과정에서 정당한 권한을 가진 사람에 의한 실질적인 개입이 없다면, 즉 인적 개입이 있더라도 인공지능이 도출한 결과에 의존하거나 이를 중대한 근거로 활용하여 의사결정을 내리는 등 형식적인 절차만을 운영하고 있다면, 이는 ‘고영향 인공지능’에 해당됩니다.

예컨대, 특정 지원자의 의사와 무관하게 인공지능 자체의 분석∙결정에 따라 기업에게 그 개인의 정보를 제공하거나, 기업의 검토 없이 인공지능만으로 지원자의 채용 여부를 결정하는 등 개인의 자율성, 직업선택의 자유, 평등권 등을 제한하고 차별적 결과를 야기할 위험성이 높은 인공지능이 이에 해당합니다. 아래는 그 예시입니다만, 이는 일률적으로 적용될 수 없으며, 개별 채용의 전체적인 절차 및 성격, 특수성, 채용을 진행하는 기업의 제반 사정 등을 종합적으로 고려하여 고영향 여부를 판단합니다. 

II. 고영향 인공지능사업자의 책무

1. 채용 분야 고영향 인공지능사업자의 유의사항

채용 분야에서 활용되는 인공지능이 법 33조에 따른 사전검토 결과 고영향인 것으로 확인되는 경우 고영향 인공지능사업자는 다양한 책무를 부담합니다. 명확히 하면, 해당 책무는 고영향 AI개발사업자(예. 영상·음성 분석 AI 모델 개발 기업) 또는 고영향 AI이용사업자(예.AI 면접 시스템 제공 기업)이 부담하는 것입니다. 단순히 (i) AI이용사업자가 제공하는 AI 면접시스템을 활용하여 지원자를 선별하고 평가업무를 수행하는 채용 기업 또는 (ii) 해당 시스템을 통한 채용 과정에 참여하는 지원자는, 각 AI 서비스의 이용자 및 영향을 받는 자로, 위 책무를 부담하지 않음을 주의하실 필요가 있습니다. 

1) 채용 분야 고영향 인공지능사업자의 책무

고영향 인공지능 또는 이를 이용한 제품·서비스를 제공하는 경우, 고영향 인공지능의 안전성 등을 확보하기 위하여 다음의 내용을 포함하는 조치를 취하여야 합니다(법 제34조). 

-    위험관리방안의 수립 및 운영 
-    기술적으로 가능한 범위내에서 AI가 도출한 최종결과, 그에 활용된 주요 기준, AI의 개발 활용에 사용된 학습용 데이터의 개요 등에 대한 설명 방안의 수립 및 시행 
-    이용자 보호방안의 수립 및 운영 
-    고영향 인공지능에 대한 사람의 관리 및 감독 
-    안전성 신뢰성 확보를 위한 조치 의 내용을 확인할 수 있는 문서의 작성과 보관 
-    그 밖의 고영향 인공지능의 안전성 신뢰성 확보를 위하여 위원회에서 심의 의결된 사항 

더하여 AI 사업자는 위 조치 중 위험관리 정책 및 조직 체계 등 위험관리방안의 주요 내용,이용자 보호 방안 등을 자신의 홈페이지 등에 게시하여야 합니다(법 시행령(안) 제26조). (i) 위 위험관리 방안에는, 위험관리정책 및 위험관리 조직체계의 수립 및 이행에 대한 내용이 포함 되어 있어야 하며(사업자 책무 고시(안)(“고시”) 제4조), (ii) AI가 도출한 최종결과, 그에 활용된 주요 기준 설명방안 등과 관련하여서는 가능한 범위내에서 투명성 등을 확보하고, 동 방안을 이용자가 제공받을 수 있도록 하여야 하며(고시 제5조), (iii) 개발과정에서의 이용자 보호방안에는 적법하고 안전한 데이터 수집 및 관리, 적대적 공격 등에 대응하기 위한 안전한 알고리즘 설계 등을 포함하여야 하고, 운영과정에서의 이용자 보호방안에는 이용자의 권리를 보장하고 피해 발생시 이를 보상할 수 있는 방안 등을 포함하여야(고시 제6조) 합니다.    

2) 채용 분야 인공지능 영향평가

고영향 인공지능을 이용한 제품 또는 서비스를 제공하는 경우, 사전에 인공지능이 개인의 기본권에 미칠 영향을 평가하기 위하여 노력하여야 합니다(법 제35조). 인공지능 영향평가에는 (i) 이해관계자와 기본권의 종류, (ii) 인공지능이 미치는 사회·경제적 영향, (iii) 사용 목적과 방식, (iv) 평가 지표와 측정 방법, (v) 위험 예방·손실 복구 방안 및 개선 이행계획이 포함되어야 합니다. 
채용 분야의 고영향 인공지능사업자는 영향평가를 진행하는 경우 그 특성상 지원자 평가기준의 공정성과 데이터의 편향 여부를 면밀히 검토할 필요가 있습니다. 이에 다양한 시나리오를 가정하고, 개별적 영향 수준(즉 불공정한 채용 결과 등 관련 영향의 내용, 영향의 규모, 기간, 그 발생가능성)을 개별적으로 살피고, 그를 위한 관리방안(HR 담당자가 최종 확인하여 판단할 수 있도록 하거나, 지원자의 사전 동의를 받은 정보 또는 합리적으로 공개된 정보만 분석대상으로 하는 등)을 확인 후 필요 시 이를 보완해 나갈 필요가 있습니다. 

3) 투명성 확보 의무
고영향 인공지능을 활용한 채용관련 제품·서비스는, 제품·서비스명 이용자의 화면이나 제품 겉면에 표시된 문구 등을 고려할 때 고영향 인공지능 기반 운용사실이 명백한 경우 등을 제외하고는, 동 서비스 등이 고영향 인공지능에 기반하여 운용된다는 사실을 이용자에게 사전 고지하여야 합니다(법 31조 제1항 및 제4항). 이때 그 고지는 제품 등에 직접 기재하거나, 계약서 등에 기재, 혹은 이용자의 화면 또는 단말기 등에 표시하는 방법 등을 택할 수 있습니다(법 시행령 제22조). 이에 채용관련 고영향 인공지능을 이용한 제품 또는 서비스를 제공하려는 경우 서비스 명 등에 이를 명백히 하거나, 사전에 이용자들에게 이를 고지할 필요가 있습니다. 

III.    시사점

채용 분야의 인공지능을 제공하는 사업자는 결과의 편향 가능성을 상시 점검하고, 인공지능의 판단이 인사 결정에 바로 미치는 영향을 최소화할 수 있는 인적 개입 절차 또는 검증 프로세스를 사전에 마련하는 것이 바람직합니다.