｢금융분야 인공지능(AI) 가이드라인｣이 시행됩니. 금융권 AI 활용을 활성화하고 AI 기반 금융서비스에 대한 신뢰를 제고하기 위한 모범규준 마련·발표

｢금융분야 인공지능(AI) 가이드라인｣이 시행됩니. 금융권 AI 활용을 활성화하고 AI 기반 금융서비스에 대한 신뢰를 제고하기 위한 모범규준 마련·발표

등록일 2021-07-08

 

 

첨부파일

[모두말씀] 금융분야 AI 가이드라인 관련 부위원장 말씀자료.hwp  [모두말씀] 금융분야 AI 가이드라인 관련 부위원장 말씀자료.pdf  [보도] 금융분야 AI 가이드라인이 시행됩니다(v.3).hwp  [보도] 금융분야 AI 가이드라인이 시행됩니다(v.3).pdf  [안건] 금융분야 AI 가이드라인 주요내용.hwp  [안건] 금융분야 AI 가이드라인 주요내용.pdf  금융분야 AI 가이드라인.hwp  금융분야 AI 가이드라인.pdf

 

제 목 : ｢금융분야 인공지능(AI) 가이드라인｣이 시행됩니다.- 금융권 AI 활용을 활성화하고 AI 기반 금융서비스에 대한 신뢰를 제고하기 위한 모범규준 마련·발표 -

 

◈ 제1차 ｢디지털 금융협의회 데이터 분과회의(도규상 부위원장 주재)｣를 통해 AI활성화 및 신뢰제고를 위한 ｢금융분야 AI 가이드라인｣ 발표

 

◈ 금융분야 AI 가이드라인은 다음의 주요내용으로 구성

 

 ∎ AI윤리원칙-AI전담조직-위험관리정책 수립의 3重 내부통제장치 마련

 ∎ AI학습 데이터에 대한 조사·검증 강화, 개인신용정보 오·남용 방지

 ∎ 불합리한 소비자 차별 등이 없도록 시스템 위험관리 및 공정성 제고

 ∎ 소비자에 AI서비스에 대한 충분한 설명 및 권리행사를 보장

 

 

1

 

 디지털금융협의회 개요 

 

 

□ 금융위원회 도규상 부위원장은 ‘21.7.8.(목) 14:00 제1차 ｢디지털금융협의회 데이터 분과회의｣를 개최하였습니다.  

 

 

‣ 일시 / 장소 : ‘21.7.8.(목) 14:00~15:00 / 온라인 영상회의

‣ 참석 : 금융위 부위원장(주재), 금감원 김동성 부원장보 

 

  - (분과위원) 동국대 강경훈 교수, KCB 이욱재 상무, 신한은행 김철기 디지털혁신단장

 

  - (AI 활성화 T/F위원) 서울대 고학수 교수, 농협은행 김봉규 센터장, 하나금융TI 이성만 실장, 에이젠글로벌 강정석 대표

 

  - (금융유관기관) 신용정보원 심현섭 센터장, 지능정보산업협회 임선경 국장, 보험개발원 양경희 팀장

 

 

□ 금번 회의에서는 인공지능(Artificial Intelligence, 이하 AI) 기반 금융서비스 개발을 위한 ｢금융분야 AI 가이드라인｣이 발표되었습니다.

 

2

 

 부위원장 모두말씀

(☞ 모두말씀 원문 별첨)

 

□ 도규상 금융위 부위원장은 모두발언을 통해 이하 내용을 언급.

 

 ㅇ 최근 우리 금융산업은 금융규제 혁신과 새로운 혁신적 Player들에 의해 금융의 외연이 확장되는 양적 변화를 경험

 

 ㅇ 앞으로는 AI 등 기술혁신이 금융의 질적변화를 주도할 전망

 

   - AI를 통해 비정형·비금융 데이터 활용이 활성화되면서 금융데이터가 부족한 금융소외계층을 포용할 수 있게 되고,

 

   - 데이터 처리의 속도와 정확성이 제고되면서 금융거래비용은 낮아지고 금융 중개기능의 효율성은 높아질 것임

 

     * 美 10대 대형은행 주택담보대출 심사시간 단축(1시간→ 5분), 英 Monzo사 AI 사기방지시스템 운영으로 직불카드 사기율 하락(0.84%→0.01%)

 

 ㅇ 반면, AI 기술의 안전성 등에 대한 사회적 신뢰가 충분하지 않은 만큼, ｢금융분야 AI 가이드라인｣을 통해 AI 금융서비스에 대한 사회적 신뢰를 공고히 하고 지속가능한 금융혁신 환경 조성 추진

 

□ ｢AI 가이드라인｣에서는 4가지 핵심가치를 구현하고자 하였음

 

  ❶ 금융산업의 책임성 강조

 

   - 서비스 개발·운영에 따른 발생가능한 위험을 명확히 인지하고 금융서비스 목적에 맞게 위험을 통제하기 위한 전사적 노력 추진

 

  ❷ AI 학습용 데이터의 정확성·안전성 확보 

 

   - 안전하고 효율적인 데이터 관리를 위해 AI 학습데이터의 품질을 엄격히 관리하고 개인정보보호 체계도 한층 강화

 

  ❸ AI 금융서비스의 투명성·공정성 담보 

 

   - 금융서비스가 합리적이고 공정한 기준에 따라 제공·관리된다는 금융소비자의 믿음을 확보할 수 있도록 일반적이고 건전한 상식·사회규범에 어긋나지 않는 AI 서비스 운영 도모

 

  ❹ 금융소비자 권리의 엄격한 보장 

 

   - 사람에 의한 금융서비스를 제공받을 때와 같이, 금융소비자가 서비스를 이해하고, 자신의 권리를 불편함없이 행사토록 지원

 

□ AI 기술혁신의 과실이 금융소비자에게 돌아갈 수 있도록 금융권의 지속적인 협조와 노력을 당부 

 

3

 

 금융분야 AI 가이드라인 주요내용

(☞ 가이드라인 원문 별첨)

 

❶ AI 서비스의 책임있는 운영을 위해 AI 윤리 원칙 마련, AI 조직 구성, 위험관리정책 수립의 3重 내부 통제장치가 마련됩니다. 

 

 

□ (대상) AI를 금융거래 및 대고객서비스에 적용한 全금융업권

 

 ㅇ 비금융업이라도 AI 활용의 결과가 금융거래에 미치는 영향이 큰 경우(예 : 신용평가회사의 개인신용평점 개발) 확대 적용

 

□ (AI윤리) 금융회사는 회사별 가치, AI 활용 상황(고객군, 서비스 내용 등)등에 따라 AI 서비스 개발·운영시 준수해야할 원칙·기준 수립

 

□ (AI조직) AI의 잠재적 위험을 평가·관리할 구성원의 역할·책임·권한을 서비스 全단계(기획·설계·운영·모니터링)에 걸쳐 구체적 정의

 

□ (위험관리) AI 서비스 자체 평가·관리정책을 마련하고, 개인권리에 중대한 위험을 초래할 수 있는 서비스에는 강화된 위험관리 적용

 

 ㅇ (고위험AI) AI 의사결정이 개인의 금융거래계약의 체결·유지*에 중대한 영향을 가져오는 경우, 이에 대한 내부통제·승인절차 등을 마련하고 별도의 책임자를 지정

 

     * 예 : 신용평가, 대출심사, 보험심사, 카드발급 심사 등 

 

 ㅇ (통제가능성) AI가 사람의 의사결정과정을 대체하는 경우, 필요시 사람에 의한 AI시스템 감독·통제가 가능*하도록 시스템 설계

 

     * 이자율 산정 등 금융관련 중요 의사결정을 대체한 AI에 대해 결과의 설명 및 사후검증을 할 수 없다면 금융거래 투명성 및 신뢰성 저하 발생

 

 ㅇ (모니터링) AI시스템 성능을 주기적으로 모니터링하고, AI 개발 환경의 보안취약성 점검 시스템 마련 등 위험완화 조치 시행

 

 

☞ AI 가이드라인 적용 例

 

 ㅇ AI를 통한 신용평가 및 여신심사시스템을 운영하고자 하는 경우,

   

  - (1단계) AI의 결정이 금융거래계약 체결·유지에 중대한 영향을 미치므로 미리 지정된 승인책임자가 위험관리정책에 비추어 AI가 신용평가시스템에 활용되어도 효율성·안정성·신뢰성에 영향이 없는지 내부점검 후 활용승인

 

  - (2단계) AI의 결정이 기존 사람의 신용평가결정을 대체하므로, 사람에 의한 통제가능성 확보를 위해 필요시 사람에 의한 신용평가의 적정성 점검·보완 등이 가능토록 하고, 외부 이의제기시 사람에 의한 신용평가 절차 등 마련

 

 

❷ AI 개발·학습단계에서 질 좋은 데이터가 활용되도록 하고, 개인신용정보 오·남용이 없도록 정보보호를 강화하겠습니다.

 

 

□ (학습데이터 관리) AI 학습에 사용되는 데이터의 출처·품질·편향성·최신성 등을 조사·검증하고 개선노력 지속

 

 

문제상황의 인식

선제적 개선

‣AI시스템의 성능은 학습데이터에 좌우

 - 데이터에 오류·불균형·편향성이 존재할 경우, AI시스템이 잘못된 학습을 통해 오류·불균형·편향성 확대 재생산

 

예) ‘21. AI 챗봇 ’이루다‘ 개발과정에서 편향된 데이터, 혐오발언 등이 정제되지 않고 AI학습에 활용되면서, 여성·장애인·동성애 등에 대한 다양한 차별·혐오발언을 생산

 

‣금융회사가 AI학습 데이터의 품질을 지속조사하고 개선하는 시스템 구축

 * 데이터 출처 파악, 규격 문서화, 품질 검증(누락, 중복, 불일치 등), 편향되지 않은 충분한 데이터 확보, 무결성 검증, 주기적 갱신 등

 

→AI 시스템의 오류·불균형·편향성 발생 가능성을 시스템적으로 통제가능하며, AI 결과에 대한 객관성·신뢰성 제고

 

 

□ (개인정보 보호) AI 개발 과정에서 개인신용정보 오·남용을 방지하고, 불필요한 개인신용정보 처리를 최소화하는 시스템 마련

 

 ㅇ 특히, 사생활정보 등 민감정보를 활용하고자 하는 경우, 비식별 조치 등 안전한 정보 활용을 위한 충분한 조치를 거친 뒤 

 

 ㅇ 해당 정보 미사용시 AI 시스템에 성능 저하가 발생하는지, 해당 정보 사용시 효과와 혜택을 보는 집단은 누구인지* 등 정보활용 필요성을 면밀히 평가하고 재식별·유출 등 방지 

 

     * 예 : 해당 정보를 활용하지 않는 경우 보호대상 집단에 불이익이 초래되는 경우 등에는 해당 정보를 활용해야 할 정당성이 인정

 

 

문제상황의 인식

선제적 개선

‣AI 학습에 활용된 다양한 개인신용정보의 처리과정에서 동의없는 정보처리 등 정보 오·남용, 과도한 프라이버시 노출 등 다양한 개인정보 문제 발생 가능 

‣AI 학습용 데이터는 동의받은 데이터, 엄격한 비식별조치를 갖춘 데이터 등으로 안전하게 관리·활용됨에 따라 개인신용정보 오·남용 사례 축소

 

‣사생활정보 등 민감정보는 사생활 노출 우려 등이 없도록 안전하게 처리되고 금융소외계층 등 다수의 금융 소비자 편익을 제고할 수 있는 경우 등 필요최소한의 범위에서 처리

 

 

❸ AI 활용결과 불합리한 소비자 차별 등이 나타나지 않도록 서비스 특성별로 위험요인을 통제하고, 서비스 공정성을 제고하겠습니다.

 

 

□ (성능평가) AI 시스템 운영과정에서 나타날 수 있다는 다양한 위험요인*을 서비스 특성에 맞게 합목적적으로 통제

 

     * 은행이 대출부적격자를 걸러내기 위해 여신심사를 강화하는 경우 대출적격자(True)에 대한 여신이 거절(False)되는 경우도 증가

 

 

 

❶ 소비자에게 금융거래 기회를 제공하는 서비스*는 적격자의 금융거래가 거절될 수 있는 위험을 최소화하는데 초점

 

* 신용평가, 대출심사, 신용카드 발급 심사 등

 

❷ 사기탐지, 규제 미준수 등 위법·부당사례를 탐지하는 서비스의 경우, 사기·불법 거래 등을 탐지하지 못하는 위험을 최소화

 

 

□ (공정성 제고) AI에 따른 집단간 차별 등 기본권 침해행위가 발생하지 않도록 서비스 특성별 공정성 기준을 설정·평가

 

 ㅇ 금융소외계층에 대한 금융접근성 제고를 목적으로 한 정책금융상품 등 결과적 평등이 중요한 금융상품의 경우, 집단간 대출 승인율 등 인구통계적 동등성 지표를 기준으로 공정성 평가  

 

 ㅇ 소속 집단 등과 무관하게 자격이 있는 소비자를 판단해야 하는 신용평가, 카드발급심사 등의 경우, 집단간 재현율* 등 기회의 균등 기준을 기준으로 공정성하게 서비스가 개발되었는지 평가

 

     * 재현율(True Positive Rate) : 전체 대출적격자 중 AI가 대출적격자로 예측한 비율

 

 

문제상황의 인식

선제적 개선

‣AI 평가 등이 특정집단 차별 등 공정성을 담보하지 못한다는 지적이 제기

 

예) ‘19.11. 애플사가 발급한 애플카드가 동일 신용도에도 불구 남성의 신용카드한도를 여성 대비 10~20배 이상 높게 설정했다는 이슈가 제기되어 AI 차별이 이슈화

 

‣AI 금융서비스에 따른 예기치 못한 차별 발생 가능성을 선제적으로 차단→ 금융소비자의 금융신뢰를 확보하고, 정확하고 공정한 신용평가 등으로 자금의 효율적 배분 기능 제고

 

 

❹ 금융소비자가 AI 서비스에 대한 충분한 설명을 듣고, 자신의 권리를 충분히 행사할 수 있도록 지원하겠습니다. 

 

 

□ 금융소비자에게 AI가 활용된다는 사실을 사전고지하고, 소비자의 권리 및 이의신청·민원제기 등 권리구제 방안 등을 알기쉽게 안내

 

 ㅇ 특히, AI를 통해 신용평가, 보험가입 등 금융거래·계약체결 여부 결정 등을 한 경우 ‘설명요구·정정요구권*’이 있음을 고지

 

     * ｢신용정보법｣ 제36조의2 ‘프로파일링(Profiling) 대응권’

 

   - 소비자는 AI 평가결과 및 주요 평가기준, 사용된 기초정보에 대한 설명을 들을 수 있고, AI 평가에 활용된 자신에 대한 정보의 정정·삭제요구, 결과 재산출 등을 요구할 수 있음

 

 

☞ AI 가이드라인 적용 例

 

 ㅇ AI를 통한 신용평가 및 여신심사 시스템을 운영하고자 하는 경우,

   

  - (1단계) 대출신청 단계에서부터 ‘신용평가가 AI에 의해 이루어진다는 사실’을 안내하고, AI 평가결과에 불만족할 경우 이의제기·설명요구를 할 수 있다는 사실 및 이의제기·민원제기 채널 등을 고지

 

  - (2단계) 금융회사는 미리 마련된 위험관리정책 등에 따라 금융소비자에게 신용평가결정의 기준, 사용된 정보의 종류 등에 대한 충분한 설명을 제공하고, 필요시 금융소비자가 제공한 신규 데이터를 반영하여 재평가·재심사 등 실시

 

 

 

❺ AI 서비스 외부위탁 개발·운영시에도 금융회사가 직접 개발·운영할 때와 똑같이 안전한 개발·운영이 가능하도록 하겠습니다.

 

 

□ (위험관리) 외부기관에 대한 AI시스템 개발·운영 위탁시 수탁기관이 준수하여야 할 위험관리지침을 마련하고, 주기적 보고·점검

 

□ (손해배상) AI 서비스로 인한 소비자 피해 발생시 조속한 피해구제가 가능하도록 명확한 손해배상 처리 절차 등을 마련

 

     * 예 : 문제사례별 명확한 책임주체 및 손해배상 절차 등을 상세히 마련

 

4

 

 향후 추진계획

 

 

가. 가이드라인 등 시행

 

□ (가이드라인) 금융권의 내실있는 ｢금융분야 AI 가이드라인｣ 이행을 위하여 충분한 준비기간을 거쳐 가이드라인이 연내 시행되도록 할 계획입니다. 

 

□ (실무지침) 금융업권 및 기능·서비스별 특성을 고려하여 가이드라인을 구체화한 세부 실무지침도 마련할 계획입니다.

 

 ㅇ 가이드라인은 AI 활용 활성화를 위해 AI서비스 신뢰제고에 필요한 필요최소한의 준칙을 제시하는데 초점을 맞추었습니다. 

 

   - 반면, AI 서비스 개발·운영 과정에서의 규제 불확실성 등을 해소하기 위해서는 업권·기능·서비스 특성 등을 고려한 보다 구체적 행위지침이 필요하다는 금융권 실무자들의 의견이 있었습니다. 

 

 ㅇ 이에 금융업권협회 등을 중심으로 실무지침 제정반을 구성·운영하여 3분기 내 실무지침을 마련할 예정입니다. 

 

   - 금융서비스 특성 등에 맞추어 실무지침을 세부적으로 마련하고, 금융업법상 규제를 AI 서비스에 적용할 때 나타날 수 있는 규제 불확실성을 해소*할 수 있도록 지원하겠습니다.

 

     * 예 : AI 챗봇을 통한 금융상품 설명시 금융업법상 설명의무를 이행한 것으로 간주될 수 있는 적정한 AI 설계·운영 절차 등 

 

나. 금융분야 AI 활성화 추가방안

 

□ 금융권의 AI 활용을 촉진·지원하기 위한 ｢AI 인프라 정비 방안｣도 Working Group 논의 등을 거쳐 3분기 중 발표할 계획입니다.

 

 ㅇ AI 개발 데이터를 제공하는 ‘데이터 인프라(Data Library)’와 소규모 핀테크 회사 등도 손쉽게 AI 서비스를 개발하고 검증할 수 있도록 지원하는 ‘AI 테스트베드’ 등이 구축될 예정입니다.

 

참고1 

 

 가이드라인 관련 금융권 주요 관심사항 및 답변

 

 

 

◇ AI 가이드라인 준수 여부에 대한 과도한 검사·감독이 이루어질 경우, AI 활성화 저해 가능

 

 

□ AI 가이드라인은 모범규준으로 컨설팅 위주의 접근을 통해 금융회사에 과도한 부담이 없도록 할 계획

 

 ㅇ 금융회사도 소비자 보호 이슈가 발생하지 않도록 책임감있는 AI 도입을 당부드림

 

 

◇ 금융권에 요구되는 AI 관련 기준이 지나치게 높을 경우, 관련 기준의 적용을 받지 않는 빅테크 업체 등과 경쟁형평이 저해될 우려가 있음

 

 

□ 동 가이드라인은 원칙적으로 금융권에 적용하되

 

 ㅇ 금융상품 추천, 신용평가 등 금융연관 서비스를 제공하는 업무에 AI 시스템을 직·간접적으로 활용하거나 활용하고자 하는 비금융회사에도 적용되도록 하였음 

 

□ 아울러, 동 AI 가이드라인은 AI 금융서비스에 대한 신뢰확보를 위한 최소한의 방향성을 제시한 것으로 준수부담이 크지 않음

 

 

◇ 소규모 금융회사의 경우 자체적인 AI위험관리정책 수립 등이 어려울 수 있어 표준안을 제시할 필요

 

 

□ 실무지침 제정반 논의 등을 거쳐 필요시 소규모 금융회사 등을 위한 표준 AI 위험관리정책 등을 수립하는 방안 검토

 

 

참고2 

 

 인포그래픽

 

 

 

 

 

 

 

 

☞ 본 자료를 인용 보도할 경우 출처를 표기해 주십시오.

http://www.fsc.go.kr

금융위원회 대 변 인

prfsc@korea.kr

 

 

 

“혁신금융, 더 많은 기회 함께하는 성장”

 

 

디지털금융협의회 데이터 분과회의

 

 

 

 

 

금융분야 AI 가이드라인 및 주요 검토 필요사항

 

 

 

 

 

 

 

 

 

 

2021. 7. 8. 

 

 

 

 

 

 

 

금융혁신기획단

금융데이터정책과

목 차

 

 

Ⅰ. 금융분야 AI 규율 형식 1 

 

Ⅱ. AI 가이드라인 주요내용 2

 

Ⅲ. 향후 추진계획 15

 

Ⅰ. 금융분야 AI 규율 형식 

□ 해외 주요국은 통상 비규제적 지침·가이드라인 형태로 AI 위험을 규율하나, 최근 법률적 규제 도입을 위한 움직임도 대두

 

ㅇ 규율형식 차이에도 불구, AI 활용원칙-거버넌스 구축-감사·평가 절차 등 내용적인 측면에서는 대부분*이 유사

 

* 예외 : 최근 EU ｢AI규제(초안)｣의 경우, 인간의 기본권 등에 미치는 영향에 따라 AI위험수준을 3단계로 나누고 최고위험단계(Unacceptable risk)는 서비스 금지 등 강력한 규제를 적용

 

규제강도 구분 예시

강 법적 규제 AI 규제 초안 EU 집행위

금융투자업의 AI 및 머신러닝 활용규칙 초안 국제증권관리위원회

↕ AI 및 기계학습 시스템 보고 의무 인도 증권위

지침, 美 기업의 AI 및 알고리즘 이용에 관한 지침 美 FTC

약 가이드라인 AI 윤리가이드라인 & 신뢰할 수 있는 AI 자체평가 EU집행위

AI 및 데이터 보호 가이드라인 英 ICO

AI 기반 의사결정에 대한 규제지침 英 ICO

자동화된 의사결정에 대한 지침 캐나다 정부

전략, 싱가포르 금융 AI윤리원칙 싱가포르

보고서 AI윤리 프레임워크 호주

빅데이터 및 고급분석 보고서 EU 은행청

AI 규제 권장사항 獨 데이터 윤리위원회

 

□ 소비자 및 금융산업·시장 건전성 보호를 위해 AI 운영의 방향성을 제시하되, AI 활성화를 위해 ‘약한 규제’ 형식의 가이드라인 필요

* ｢신용정보법｣상 자동화신용평가 대응권, ｢자본시장법｣상 로보어드바이저 운영 등 개별 법률에 기초적인 AI 활용 규제 수단이 있는 점을 고려

 

ㅇ ‘강한 규제’에 해당하는 법규마련, 금감원 행정지도가 아닌 모범규준(Best Practice), 업권별 자율규제 형식으로 2단계 규율

 

❶ 금융업권·서비스별 AI 활용사례 및 잠재위험 등이 상이함을 고려하여 모범규준으로 총론 규제를 설정 (→ 가이드라인)

 

❷  실제 운영상 불확실성을 제거하기 위해 업권별 자율규제로 서비스별 실무지침 등 운영(→ 가이드라인을 바탕으로 마련)

 

□ 시장 초기에는 필요최소한의 규제를 적용하고, AI 활용이 활성화된 이후 기능별·업권별 체계적·통일적 법률 형식으로 전환 검토

Ⅱ. AI 가이드라인 주요내용

 

가이드라인 추진경과

 

 

 

□ (‘20.7.~) ｢금융분야 AI Working Group｣ 논의를 통해 금융업권 AI 실제 활용 현황 및 애로사항, 규제시 고려사항 등 논의 

 

□ (‘20.10.~’21.3.) 연구용역을 통해 AI 가이드라인 초안 마련 

 

* ｢금융분야 AI 활성화를 위한 가이드라인 등 마련｣ 고학수(서울대) 외 6인

 

□ (’21.4.13) 디지털금융협의회를 통한 가이드라인 초안 논의

 

□ (’21.5.~6.) 6개 금융업권협회 의견수렴 등을 통한 가이드라인 보완

 

 

가. 목적과 범위

 

□ (목표) 금융분야 AI 시스템의 개발, 사업화 및 활용의 전 과정에서 신뢰성을 제고하여 AI 활성화에 기여

 

□ (적용) 금융권 AI 시스템 전반을 대상으로 하되 금융기관이 AI서비스의 특성을 감안하여 가이드라인 적용 여부 자율결정

√ 가이드라인 적용 대상

 

- (대상업권) AI를 금융거래 및 금융서비스 등에 적용한 全금융업권

 

→ 실무지침의 경우 AI 활성화 정도 등을 감안하여 은행, 보험, 금융투자업권 등 대형 금융업권 위주로 마련하되, 

· 금융연관분야라 하더라도 AI활용에 따르는 금융서비스 등에 미치는 위험이 크다고 판단되는 경우(예:CB사, 전자금융업 등) 확대 적용 

 

- (활용분야) AI를 접목한 全금융서비스를 대상으로 하되, 금융소비자에 미치는 영향이 없는 Back Office 관련 분야(예:RPA 등)의 경우 제외 

나. 거버넌스의 구축 

 

□ (조직 내 AI윤리 마련) 조직 내 가치, AI 활용 상황 등을 고려하여 인공지능 이용에 관한 내부윤리 원칙과 기준을 수립

 

□ (책임·권한의 정의) AI시스템의 위험 평가·관리를 위한 구성원의 역할·책임·권한을 구체적으로 정의(필요시, AI윤리위 별도 설치)

 

√ AI 조직의 역할 예시 

 

① AI 활동에 대한 책임과 감독

② AI 정책 및 절차 관리 

③ AI 활용에 대한 영향평가

④ AI 서비스에 대한 자체평가 

⑤ 소비자 권리보장을 위한 체계 운영(이의제기 처리, AI서비스 공시 등)

⑥ 기업 內 AI 책임 문화 확산 촉진

⑦ AI 모델 및 학습데이터 거버넌스 관리

⑧ AI 관련 이슈 발생시 감독당국과의 설명 등 소통

 

□ (위험관리정책 마련) AI 시스템의 위험에 대한 평가·관리 정책 마련

 

ㅇ 개인권리에 중대한 위험을 초래할 수 있는 AI 활용사례에는 내부통제 및 승인절차를 마련하고, 승인책임자 지정을 권고 

 

√ 개인권리에 중대한 위험을 초래할 수 있는 AI 활용사례란?

 

- AI 활용에 따라 개인의 금융거래계약의 체결·유지 등에 직접적인 차별이 발생하는 경우 (예 : 신용평가, 대출심사, 보험심사 등)

 

- 다만, 실제 사례별·기능별 차이를 감안하여 금융회사가 개인권리에 중대한 위험을 초래할 수 있는지 자체평가하여 결정

 

< 참고 : EU 집행위의 위험단계 구분 및 금융분야 예시(Annex 기준) >

Risk Level  정의  금융분야 예시

용인불가 위험 인간의 기본권에 명확한 위협으로 작용하는 시스템 -

고위험  인간의 생명·건강·기본권 등을 위험하게 할 수  신용평가 등 

있는 AI시스템

제한된 위험 AI 사용에 심각한 위험이 없는 AI 챗봇

최소한의 위험 AI 사용에 거의 위험이 없어 자유롭게 활용 가능 -

 

√ 승인책임자의 지위 등? 회사의 AI 활용사례별 특성에 맞추어 책임있는 업무수행이 가능한 지위(임원 등)로 하되, 유사 직책*과 겸직 허용

 

* 예 : 최고위험관리책임자(CRO), 신용정보보호관리인, 최고정보보호책임자(CISO) 등

 

√ AI 위험관리정책 사항 (예시)

AI 도입 및  - AI 도입 시 적합성 검토 및 영향평가(위험식별 등) 실시

적용 절차 - AI 적용 시 학습데이터 관리(데이터 품질 평가, 비식별 조치 등)

- AI 모델 개발 절차(보안성 준수, 설계 및 테스트 절차 등)

- AI 조달 및 계약 시 고려사항 등

AI 자체 평가 - AI 편향성 평가 절차(학습데이터 평가, 편향성 완화조치 평가 등)

- AI 성능 평가(AI 성능 측정지표, AI 전략 달성여부 등)

- 보안성 평가(AI 서비스 보안조치, 학습데이터 보안조치 등) 

- AI 내부 감사 절차 등

금융소비자 보호 - AI 적용기술 및 데이터 유형 등 공개

- AI에 대한 금융소비자 권리(설명요구권 등) 및 사고시 통지절차 등 안내

- 금융소비자 이의제기시 처리절차 및 기준

- AI 결과에 대한 설명요구 수준 및 절차･기준 등

AI 운영･관리 - AI 서비스 백업 및 장애시 처리절차

- AI 서비스에 대한 인적개입 수준 및 개입 절차

- AI 성능･결과･보안성 모니터링 기준

- AI 기술에 대한 사내 교육 훈련 기준

- AI 모델 개선(업데이트) 및 재학습 절차 등

 

다. 기획·설계 단계

 

□ (기획) AI 활용목적이 윤리원칙에 부합하는지 여부, AI시스템 활용의 사회적·경제적·문화적 영향, 잠재적 피해 가능성 등 평가

 

□ (설계) AI가 인간의 의사결정과정을 대체하는 경우, AI시스템을 감독·통제하고 책임성을 유지할 수 있도록 시스템을 설계

 

√ <참고> 보험상품 설명시 음성봇 활용 요건 (보험업법 시행령 입법예고안)

 

①  설명속도, 음량 등을 조절할 수 있는 기능을 제공할 것

 

②  소비자가 AI 음성봇 사용 중단을 요청하면 즉각 중단

 

③ 소비자가 설명내용에 대해 질문이나 추가설명을 요청하면, 설계사가 실시간으로 직접 응대할 수 있는 시스템을 갖출 것

 

④ 음성봇이 상품설명을 한다는 사실 및 ①‧②‧③에 대해서 소비자에게 미리 안내하고 동의를 받을 것

라. 개발 단계

 

□ (데이터) AI 학습 데이터의 품질 검증·개선 및 최신성 유지 등

 

* 예시 : 데이터 출처의 정확한 파악, 데이터 규격 문서화, 데이터 품질 검증(누락, 중복, 불일치 등), 편향되지 않은 충분한 학습데이터 확보, 무결성 검증 및 주기적 갱신 등 관리 활동 수행

 

□ (개인정보) 사생활 정보, 민감정보 등을 활용하는 경우 비식별조치 등 충분한 안전조치 후 개인정보 활용 필요성 등을 평가

 

√ 국제표준화기구(ISO), AI 관련 데이터 생명주기별 프라이버시 위협 고려사항

구 분 고려 사항

데이터 확보 - AI 성능을 위한 데이터 확보와 개인정보보호를 위한 데이터 최소화 원칙 간 관계 고려

 

- 공격자의 데이터 스토리지 손상 위협에 대한 대비 

데이터 전처리 및 모델링 - AI를 활용하여 일반 정보에서 민감정보를 추론하거나 비식별화된 데이터의 재식별 가능성 등이 있으므로 이에 대비

모델 쿼리(Query) - 공격자가 모델 탈취 공격으로 민감정보를 유출하거나 본래 목적과 다르게 AI 모델을 악용할 수 있으므로 이에 대비

 

□ (설명가능성) 신뢰성, 통제가능성 확보 등을 위하여 설명가능한 AI 기술 도입 노력

 

마. 평가·검증 단계

 

□ (성능) AI 시스템 오류 유형간 통계적 상충관계* 등을 고려하여 적합한 성능 목표 및 성능평가지표를 선정하고 충족여부 확인

 

* 예: 은행이 대출부적격자를 걸러내기 위해 여신심사를 강화하는 경우 대출적격자(True)에 대한 여신이 거절(False)되는 경우도 증가 

 

√ 서비스 특성별 성능 판단기준(예시)

 

ㅇ 소비자에 금융거래 기회를 제공하는 기능을 수행하는 경우(예 : 신용평가, 대출심사, 보험심사 등) : False Negative 오류(True를 False로 구분) 최소화

 

ㅇ 사기탐지, 규제 미준수 등 위법·부당사례 탐지 기능을 수행하는 경우(예 : FDS, Reg-tech) : False Positive 오류(False를 True로 구분) 최소화

□ (공정성) AI 시스템 공정성 평가지표를 선정·측정, 불균형이 발견된 경우 공정성 개선을 위한 기술적·관리적 노력 제고

 

 

√ 서비스 특성별 공정성 판단기준(예시)

 

ㅇ 특정 계층·집단에 대한 결과적 평등을 고려할 필요가 있는 경우(예 : 금융소외계층 금융접근성 제고) : 인구통계적 동등성 기준 적용

(예 : 집단간 대출승인율 동등)

 

ㅇ 소비자에 금융거래 기회를 제공하는 기능을 수행하는 경우(예 : 신용평가, 대출심사, 보험심사 등) : 기회의 균등 기준을 적용(예 : 집단간 재현율* 동등)

 

* 재현율(True Positive Rate) : 전체 대출적격자 중 AI가 대출적격자로 정확하게 예측한 비율

 

□ (설명가능성) 상황에 맞는 설명이 도출되는지 여부를 확인하고, 설명가능성을 합리적 수준으로 개선하기 위해 노력

 

바. 도입·운영·모니터링

 

□ 대고객 AI시스템 운영시 고객에게 AI 이용을 사전고지하고, 자동화평가(Profiling) 대응권* 등 소비자의 권리 및 이의신청·민원제기 방식 등 권리구제 방안을 고지 

 

* AI 등 자동화평가 결과에 대해 설명요구, 이의제기, 기초데이터의 제출·정정, 결과의 재산정을 요구할 수 있는 권리 (｢신용정보법｣ §36-2)

 

□ AI시스템 성능을 주기적으로 모니터링하고, 재학습 필요성 여부를 검토하는 등 성능 개선 가능성 확인 및 개선 추진

 

□ AI시스템 이용자에 의한 오용·악용 가능성을 방지, AI 개발 환경의 보안취약성 상시통지 시스템 마련 등

 

√ 국제표준화기구(ISO), AI위험 완화 조치 전략 (☞참고2)

 

- AI 시스템 운영에 따르는 위험을 완화하기 위한 10가지 전략*을 제시하고, 서비스 생명주기 전반에 대해 위험완화 조치의 주기적 수행 권고

 

* 투명성, 설명가능성, 통제가능성, 편향성 완화, 프라이버시, 신뢰성·복원력·견고성, 하드웨어 결함 완화, 기능적 안전성, 테스트·평가, 활용·적용성

 

사. AI 업무위탁에 관한 특례

 

□ (지침 마련) AI 시스템 개발·운영 등을 외부기관에 위탁할 경우 수탁기관이 준수하여야할 위험관리지침을 마련·공유

 

ㅇ AI 윤리 및 위험관리정책의 주요내용을 포함하여 마련함으로써 수탁기관도 위탁기관의 AI 운영원칙에 따라 시스템 개발·운영 

 

* 소규모 금융회사로 자체적인 AI 시스템 운영 없이 외부기관 위탁만으로 AI시스템을 개발·운영하는 경우 위험관리지침으로 위험관리정책을 갈음

 

□ (주기적 점검) 위탁한 AI시스템 개발·운영이 위험관리지침에 따라 이루어졌는지 주기적인 보고·점검 체계 구축·운영 

ㅇ 개인권리에 중대한 위험을 초래할 수 있는 AI 활용사례에 대해서는 내부통제 및 승인절차에 준한 사전 점검을 거칠 수 있도록 함

 

* 예시 : AI 개발·운영 계획(사용 데이터, 잠재적 위험에 대한 발생가능성에 대한 평가 및 조치내역 등) 등에 대한 위탁기관의 사전확인,

AI 시스템 관련 소비자 피해 발생시 조치 및 보고 절차 마련 등

 

√ EU ｢신뢰할 수 있는 AI 자체평가｣ 세부내용 中

 

- 제3자(공급업체, 이용자, 근로자 등)가 AI시스템의 잠재적인 취약성, 위험, 편향을 보고할 수 있는 절차를 마련했는지? 

 

- 이러한 보고절차가 위험관리 절차의 개선에 반영되는지? 

 

□ (소비자 피해) 소비자 피해 발생에 따른 책임주체를 명확히 하고, 위탁계약 체결시 손해배상 지연 등을 방지하기 위한 명확한 책임조항 및 손해배상 처리 절차 등을 기재 

참고1  금융분야 AI 운영 가이드라인 (안) 

 

 

1. 목적과 적용 범위

 

가. 가이드라인은 금융분야에서의 인공지능(이하 ‘AI’라 한다.) 시스템의 개발, 사업화 및 활용과 관련한 기획·설계, 평가·검증, 도입·운영 및 모니터링의 전 과정에서 신뢰성을 제고하여 AI 활성화를 제고하고 금융서비스에 대한 고객신뢰를 확보하는데 기여하는 것을 목적으로 한다.

 

나. 가이드라인은 금융서비스 및 금융상품의 제공을 위한 업무에 AI 시스템을 직·간접적으로 활용(금융회사 내부 직원관리, 단순 업무 효율화 등 AI 시스템 활용으로 고객에 미치는 영향이 없는 경우를 제외한다.)하거나 활용하고자 하는 금융회사, 상품추천·신용평가 등 금융연관 서비스 제공을 위한 업무에 AI시스템을 직·간접적으로 활용하거나 활용하고자 하는 비금융회사(이하 ‘금융회사 등’이라 한다.) 등에 적용한다. 

 

다. AI 시스템이란 특정 목표가 주어진 상태에서, 데이터를 획득하여 환경을 인식하고, 획득된 데이터를 해석하며, 지식을 추론하거나 정보를 처리하고, 해당 목표를 달성하기 위한 최선의 행동을 결정함으로써 물리적 또는 디지털 차원에서 작동하는 인간이 설계한 소프트웨어 또는 하드웨어 시스템을 의미한다. 

 

라. 금융회사 등은 AI 시스템이 활용된 서비스의 특성 및 고객 특성, AI 시스템이 활용된 서비스의 고객 수 등을 종합적으로 고려하여 AI 활성화 및 금융서비스에 대한 고객신뢰 확보라는 가이드라인의 취지를 훼손하지 않는 범위 내에서 가이드라인의 적용 범위 등을 조정할 수 있다. 

2. 거버넌스의 구축

 

가. 금융회사 등은 조직이 추구하는 가치와 주된 AI 활용 맥락 등을 고려하여 AI 활용에 관한 윤리원칙과 기준을 수립한다.

 

나. 금융회사 등은 AI 시스템의 잠재적 위험을 평가하고 이를 관리하기 위하여 구성원의 역할·책임·권한 등을 AI 시스템의 전 과정에 걸쳐 구체적으로 정의한다. 금융회사 등은 AI 윤리원칙과 기준에 맞는 조직 관리를 위하여 AI 윤리위원회를 별도로 설치할 수 있다.

 

다. 금융회사 등은 AI 시스템의 전 과정에 걸쳐 AI 활용에 따라 나타날 수 있는 잠재적 위험을 인식·평가하고, 이를 관리·최소화하는 방안을 검토하는 등 AI 활용으로 인한 잠재적 위험을 관리하는데 필요한 위험관리정책을 마련한다. 위험관리정책은 소비자 권리보장을 위한 시스템 운영, AI 모델 및 학습데이터의 관리, AI 시스템 관련 문제 발생시 감독당국과의 소통, 회사 내 AI 책임 문화 확산의 촉진 등의 업무 처리에 관한 내용을 포함한다. 

라. 금융회사 등이 개인에 대한 부당한 차별 등 개인의 권익와 안전, 자유에 대한 중대한 위험을 초래할 수 있는 서비스(이하 ‘고위험 서비스’라 한다.)에 대해 AI 시스템을 활용하는 경우, 적절한 내부통제 활동 및 승인절차를 마련하고, 승인 책임자를 지정한다, 승인책임자는 책임있는 업무 수행이 가능한 지위로 하되 최고위험관리책임자, 신용정보보호·관리인, 최고정보보호책임자 등 유사업무와 겸직할 수 있다. 

 

3. AI 시스템의 기획 및 설계 단계

 

가. 금융회사 등은 AI 시스템의 활용 목적이 윤리원칙에 부합하는지 검토하고, 활용 맥락을 고려하여 AI 활용으로 나타날 수 있는 사회적, 경제적, 문화적 영향 및 잠재적 피해 가능성을 평가하여야 한다.

 

나. 금융회사 등은 AI 시스템의 목적 및 특성, 고객의 특성 등을 고려하여 탄력적으로 AI 시스템을 활용할 수 있다. 다만, AI 시스템이 인간의 의사결정을 전면적으로 대체하거나, 중요 의사결정을 대체하는 경우 금융회사 등은 AI 시스템을 효과적으로 감독·통제하고 책임성을 유지할 수 있도록 AI 시스템을 설계한다. 

 

4. AI 시스템의 개발 단계

 

가. 금융회사 등은 올바른 AI 학습을 위하여 데이터의 출처, 품질, 편향성 등을 조사·검증하고 주기적인 데이터 갱신 등 데이터 품질 개선을 위한 방법을 검토한다. 

 

나. 금융회사 등은 AI 시스템이 ｢개인정보 보호법｣ 제23조제1항 및 시행령 제18조에 따른 민감정보, 또는 이와 유사한 사생활 관련 정보 등을 활용하는 경우 사전 동의 획득 또는 비식별조치 등 안전한 정보 활용을 위한 충분한 조치를 거쳐야 하며, 해당 정보 활용의 필요성을 평가하고, 데이터 처리 과정에서 해당 정보의 재식별, 유출, 악용가능성이 없도록 한다.

 

다. 금융회사 등은 관련 법령 등에 따라 고객에 대한 설명의무가 있는 금융서비스 등에 AI 시스템을 활용하는 경우 또는 고위험 서비스에 AI 시스템을 활용하는 경우에는 개발 단계에서부터 설명 가능성을 고려하고, 가용한 설명 가능한 인공지능 기술 등을 확인하여 이를 도입하기 위한 노력을 기울인다.

 

5. AI 시스템의 평가 및 검증 단계

 

가. 금융회사 등은 AI 윤리원칙, AI 시스템의 목적, 오류 사례에 따른 고객 영향 및 잠재적 피해의 정도, AI 성능 측정 지표의 상충관계 등을 종합적으로 고려하여 AI 시스템의 적절한 성능 목표 수준 및 성능측정 지표를 선정·관리한다. 

나. 금융회사 등은 AI 윤리원칙, AI 시스템의 목적, 공정성 평가 지표별 고객 영향 및 잠재적 피해의 정도, AI 공정성 평가 지표의 상충관계 등을 종합적으로 고려하여 AI 시스템의 적절한 공정성 목표 수준 및 공정성 판단 지표를 선정·관리한다. 선정된 공정성 판단 지표에 따라 불균형이 발견된 경우, 공정성을 개선시킬 수 있는 기술적·관리적 노력을 기울인다. 

 

다. 금융회사 등은 관련 법령 등에 따라 고객에 대한 설명의무가 있는 금융서비스 등에 AI 시스템을 활용하는 경우 또는 고위험 서비스에 AI 시스템을 활용하는 경우 설명가능 인공지능 기술 등 적절한 인공지능 기술을 투명하게 적용하여 맥락에 맞는 설명이 도출되는지 여부를 확인하고, AI 시스템의 안정성·신뢰성 등을 훼손하지 않는 범위 내에서 설명가능성을 합리적인 수준으로 개선하기 위해 노력해야 한다. 

 

6. AI시스템의 도입, 운영 및 모니터링 단계

 

가. 금융회사 등은 대고객 AI 시스템 운영시 고객에 AI 이용 여부, 설명·이의제기권 등 관련 법령에 따른 소비자의 권리, 이의신청·민원제기 방식 등 AI 시스템의 성격에 맞추어 적절한 권리구제 방안을 고지해야 한다. 

 

나. 금융회사 등은 도입된 AI 시스템의 성능을 주기적으로 모니터링하고, 데이터 재학습 필요성 검토 등 성능 개선 가능성을 확인한다. 

 

다. 금융회사 등은 AI 시스템에 고객 또는 제3자에 의한 데이터 오염 공격, 적대적 공격 등 오용·악용 가능성이 있는지 여부를 확인하고, 가용한 기술 범위 내에서 오용·악용 사례를 최소화할 수 있는 방안을 도입하기 위해 노력한다. 금융회사 등은 오픈소스 기반 AI 개발 프레임워크 등 AI 개발 환경의 보안 취약성에 관해 상시적으로 통지를 받을 수 있는 절차를 반영하고, 최선의 보안 시스템을 구축하기 위하여 노력한다. 

 

7. AI 시스템 업무위탁에 관한 특례 

 

가. 금융회사 등은 AI 시스템의 개발·운영 등을 외부기관에 위탁하고자 할 경우, 수탁기관이 동 가이드라인 및 가이드라인에 기초하여 마련된 AI 윤리원칙 및 위험관리정책을 준수하여 AI 시스템을 개발·운영할 수 있도록 하기 위한 위험관리지침을 마련하고 금융회사가 직접 AI 시스템을 개발·운영하는 경우에 비해 AI 시스템 운영에 따르는 위험이 확대되지 않도록 한다. 

 

나. 금융회사 등은 외부기관에 의한 AI 시스템 개발·운영이 위험관리지침에 따라 이루어졌는지 주기적인 보고·점검 체계를 구축·운영하고, 고위험서비스에 대해서는 AI 개발·운영계획 등에 대한 금융회사 등의 사전확인, 소비자 피해 발생시 조치 및 보고 절차 마련 등 엄격한 사전 점검이 이루어질 수 있도록 한다.

 

다. 금융회사 등과 외부기관은 AI 시스템 개발·운영 등에 따라 소비자 피해가 발생한 경우 손해배상 지연 등을 방지하기 위한 명확한 책임조항 및 손해배상 처리 절차 등을 마련한다. 

참고2  AI 위험 완화 전략 세부 내용(ISO)

구분 주요 내용

투명성 - 동일 조건에 반복 가능한 결과를 도출하는 AI 시스템 구축

- 데이터, 특징, 모델, 알고리즘, 학습방법 등 품질을 보장하기 위한 방법과 절차를 외부에 공개

- AI 시스템에 대한 외부의 제3자 평가를 수용 

- 공정성 및 사회적 윤리 가치를 고려하여 AI에 반영 

- 수집 데이터, 데이터 출처, 수집 근거 등을 제공 

- AI 처리 과정 및 결과에 대한 상세한 설명 제공 및 사람의 개입 요청 시 대응

- AI 시스템에 등급, 기호, 아이콘, 마크 등을 사용 

- 일반 이용자가 이해할 수 있도록 AI의 동작방식을 설명

- AI 알고리즘이 활용 목적에 부합

설명 가능성 - AI 시스템을 활용하기 전에 일반적인 특성 및 기능 관련 정보를 이용자에게 사전 설명

- AI가 결과 도출 후 결정 관련 특성 및 특징에 대한 사후 설명

- 사후설명은 전반적 AI 처리 과정을 설명하거나 개별 입력값 및 출력값에 대한 AI 모델의 처리 절차를 세부적으로 설명*

* ① 인과관계 설명 ② 기능적 설명 ③ 결과의 타당성 설명 

- 결과의 타당성 설명은 AI 시스템에 대한 기술적 설명을 넘어 관련 법·규제 및 기업의 처리 절차 등을 설명

- 이해관계자의 요구, 데이터, AI 시스템 유형 및 제반 환경* 등을 고려하여 설명의 수준 고려 

* 민감정보 활용, AI 실패가 개인에게 중대한 영향, AI가 이용자의 자율성을 제한, 성평등과 같은 사회적 이슈 발생 가능성 등 

- 일관된 설명을 제공하는지에 대해 평가 수행 

통제 가능성 - 운영자가 AI의 제어권을 넘겨받을 수 있는 메커니즘 구현 

- 최종 의사결정 및 AI 시스템 개선시 사람의 개입 절차 고려 

편향성 완화 - 적절한 임계값 설정, 법규제 등을 고려한 시스템 요건 정의 

- 데이터 출처 및 데이터 완전성 분석, 데이터 수집 절차 검토 

- AI 학습시 편향을 탐지하고 완화하기 위한 관련 기법 적용

- 편향성 탐지 테스트 및 기술 적용 

- 정기적인 운영 검토를 통해 편향 관련 문제 식별 

구분 주요 내용

프라이버시 - K-익명성, 차분 프라이버시 등 개인정보 비식별 처리 기법 적용 

- 비식별 정보의 재식별 위험성 관리 

신뢰성, 복원력 및 견고성 - AI 시스템이 필요한 기능을 수행할 수 있도록 신뢰성 확보 

- AI 시스템의 내결함성(Fault Tolerance) 확보

- AI 시스템의 복원력 및 견고성* 확보 

* 잡음(Noise)이 많은 대규모 데이터를 이용한 학습 등을 통해 달성

하드웨어  - 인프라 이중화(Redundancy) 및 결함에 안전한(Fail-safe) 하드웨어 구현*

결함 완화 * 전자장치 안전관련 시스템의 기능 안전성 표준(IEC 61508) 참고

기능적 안전성 - 시스템의 기능 안전성을 보장하기 위해 시스템 통제* 관련 표준 등을 참고하여 구현 

* AI 결과를 모니터링하여 허용범위 내에 있지 않은 경우 제어하는 등

테스트 및 평가 - 소프트웨어 검증을 위해 인공신경망에 대한 평가* 

* AI 결과 도출의 불확실성, 학습데이터의 안정성 등 평가 

- AI 시스템에 대한 실증 테스트* 

* 벤치마킹, AI 결과에 대한 전문가 검토, AI 입출력 테스트 등

- AI 결과와 사람이 도출한 결과를 비교 평가

- 가상환경 및 실제 환경에서의 AI 시뮬레이션 테스트 

- AI 시스템 목적에 따라 측정지표를 설정하여 견고성 테스트*

* AI 시스템이 예측 가능하고 허용 범위 내 결과를 출력하는지 점검

- 프라이버시 측정기준 수립 및 평가 

- AI 시스템의 예측가능성 평가*

* AI의 행동을 추론하여 실제 결과와 맞는지 비교 평가 

활용 및  - 각종 법·규제 및 표준 준수 

적용성 - AI 시스템에 라벨(기본적 안내) 표시*

* AI 목적, AI 활용 위험, 재교육 빈도, 평가 수행여부, 데이터 출처 등

- 인지과학 등 사람과 AI 간 상호작용 고려 

Ⅲ. 향후 추진계획

 

□ (7.8.) ｢금융분야 AI 가이드라인｣ 발표 및 금융업권 전파

 

ㅇ 다만, 회사별 AI 윤리 마련, 위험관리정책 수립 등이 내실있게 운영되도록 가이드라인 이행을 위한 충분한 준비기간을 부여

 

□ (3분기 중) 최종 가이드라인을 바탕으로 업권별 특성 등을 반영한 ‘금융업권/서비스별 세부실무지침’ 마련 추진

 

ㅇ (금융업권) AI 서비스 활용도가 높은 은행·금투·카드업권 등을 중심으로 금융업법상 규제와의 정합성을 고려한 지침 마련

 

- 기존 금융업법상 규제를 AI 서비스에 적용할 경우, 나타날 수 있는 규제 불확실성을 해소하는 보완장치를 마련함에 초점

 

* 예 : 법령상 규제 준수로 볼 수 있는 적정한 AI 설계·운영 절차 등

 

ㅇ (서비스별) 신용평가, 챗봇 등 고객응대, 설명의무 수행 등 주요 기능·서비스에 대해서는 세부준칙 마련

□ (연내) ｢금융분야 AI 가이드라인｣ 전면 시행

 

ㅇ AI 기술의 발전, 금융분야 규제 변화, 금융분야의 AI 수용도 등을 고려하여 상시적으로 ｢금융분야 AI 가이드라인｣ 개선·보완

 

< 향후 추진일정 > 

7월 3분기 연내

AI 가이드라인 가이드라인 최종안 마련 및 발표 AI 가이드라인 적용 준비 → 전면

시행

실무지침 실무지침 제정반 실무지침 마련 실무지침 발표·전파

구성·운영

 

 금융분야 AI 운영 가이드라인

 

 

 

1. 목적과 적용 범위

 

가. 가이드라인은 금융분야에서의 인공지능(이하 ‘AI’라 한다.) 시스템의 개발, 사업화 및 활용과 관련한 기획·설계, 평가·검증, 도입·운영 및 모니터링의 전 과정에서 신뢰성을 제고하여 AI 활성화를 제고하고 금융서비스에 대한 고객신뢰를 확보하는데 기여하는 것을 목적으로 한다.

 

나. 가이드라인은 금융서비스 및 금융상품의 제공을 위한 업무에 AI 시스템을 직·간접적으로 활용(금융회사 내부 직원관리, 단순 업무 효율화 등 AI 시스템 활용으로 고객에 미치는 영향이 없는 경우를 제외한다.)하거나 활용하고자 하는 금융회사, 상품추천·신용평가 등 금융연관 서비스 제공을 위한 업무에 AI시스템을 직·간접적으로 활용하거나 활용하고자 하는 비금융회사(이하 ‘금융회사 등’이라 한다.) 등에 적용한다. 

 

다. AI 시스템이란 특정 목표가 주어진 상태에서, 데이터를 획득하여 환경을 인식하고, 획득된 데이터를 해석하며, 지식을 추론하거나 정보를 처리하고, 해당 목표를 달성하기 위한 최선의 행동을 결정함으로써 물리적 또는 디지털 차원에서 작동하는 인간이 설계한 소프트웨어 또는 하드웨어 시스템을 의미한다.  

 

라. 금융회사 등은 AI 시스템이 활용된 서비스의 특성 및 고객 특성, AI 시스템이 활용된 서비스의 고객 수 등을 종합적으로 고려하여 AI 활성화 및 금융서비스에 대한 고객신뢰 확보라는 가이드라인의 취지를 훼손하지 않는 범위 내에서 가이드라인의 적용 범위 등을 조정할 수 있다. 

2. 거버넌스의 구축

 

가. 금융회사 등은 조직이 추구하는 가치와 주된 AI 활용 맥락 등을 고려하여 AI 활용에 관한 윤리원칙과 기준을 수립한다.

 

나. 금융회사 등은 AI 시스템의 잠재적 위험을 평가하고 이를 관리하기 위하여 구성원의 역할·책임·권한 등을 AI 시스템의 전 과정에 걸쳐 구체적으로 정의한다. 금융회사 등은 AI 윤리원칙과 기준에 맞는 조직 관리를 위하여 AI 윤리위원회를 별도로 설치할 수 있다.

 

다. 금융회사 등은 AI 시스템의 전 과정에 걸쳐 AI 활용에 따라 나타날 수 있는 잠재적 위험을 인식·평가하고, 이를 관리·최소화하는 방안을 검토하는 등 AI 활용으로 인한 잠재적 위험을 관리하는데 필요한 위험관리정책을 마련한다. 위험관리정책은 소비자 권리보장을 위한 시스템 운영, AI 모델 및 학습데이터의 관리, AI 시스템 관련 문제 발생시 감독당국과의 소통, 회사 내 AI 책임 문화 확산의 촉진 등의 업무 처리에 관한 내용을 포함한다. 

 

라. 금융회사 등이 개인에 대한 부당한 차별 등 개인의 권익와 안전, 자유에 대한 중대한 위험을 초래할 수 있는 서비스(이하 ‘고위험 서비스’라 한다.)에 대해 AI 시스템을 활용하는 경우, 적절한 내부통제 활동 및 승인절차를 마련하고, 승인 책임자를 지정한다, 승인책임자는 책임있는 업무 수행이 가능한 지위로 하되 최고위험관리책임자, 신용정보보호·관리인, 최고정보보호책임자 등 유사업무와 겸직할 수 있다. 

 

3. AI 시스템의 기획 및 설계 단계

 

가. 금융회사 등은 AI 시스템의 활용 목적이 윤리원칙에 부합하는지 검토하고, 활용 맥락을 고려하여 AI 활용으로 나타날 수 있는 사회적, 경제적, 문화적 영향 및 잠재적 피해 가능성을 평가하여야 한다.

 

나. 금융회사 등은 AI 시스템의 목적 및 특성, 고객의 특성 등을 고려하여 탄력적으로 AI 시스템을 활용할 수 있다. 다만, AI 시스템이 인간의 의사결정을 전면적으로 대체하거나, 중요 의사결정을 대체하는 경우 금융회사 등은 AI 시스템을 효과적으로 감독·통제하고 책임성을 유지할 수 있도록 AI 시스템을 설계한다. 

 

4.  AI 시스템의 개발 단계

 

가. 금융회사 등은 올바른 AI 학습을 위하여 데이터의 출처, 품질, 편향성 등을 조사·검증하고 주기적인 데이터 갱신 등 데이터 품질 개선을 위한 방법을 검토한다. 

 

나. 금융회사 등은 AI 시스템이 ｢개인정보 보호법｣ 제23조제1항 및 시행령 제18조에 따른 민감정보, 또는 이와 유사한 사생활 관련 정보 등을 활용하는 경우 사전 동의 획득 또는 비식별조치 등 안전한 정보 활용을 위한 충분한 조치를 거쳐야 하며, 해당 정보 활용의 필요성을 평가하고, 데이터 처리 과정에서 해당 정보의 재식별, 유출, 악용가능성이 없도록 한다.

 

다. 금융회사 등은 관련 법령 등에 따라 고객에 대한 설명의무가 있는 금융서비스 등에 AI 시스템을 활용하는 경우 또는 고위험 서비스에 AI 시스템을 활용하는 경우에는 개발 단계에서부터 설명 가능성을 고려하고, 가용한 설명 가능한 인공지능 기술 등을 확인하여 이를 도입하기 위한 노력을 기울인다.

 

5. AI 시스템의 평가 및 검증 단계

 

가. 금융회사 등은 AI 윤리원칙, AI 시스템의 목적, 오류 사례에 따른 고객 영향 및 잠재적 피해의 정도, AI 성능 측정 지표의 상충관계 등을 종합적으로 고려하여 AI 시스템의 적절한 성능 목표 수준 및 성능측정 지표를 선정·관리한다.  

나. 금융회사 등은 AI 윤리원칙, AI 시스템의 목적, 공정성 평가 지표별 고객 영향 및 잠재적 피해의 정도, AI 공정성 평가 지표의 상충관계 등을 종합적으로 고려하여 AI 시스템의 적절한 공정성 목표 수준 및 공정성 판단 지표를 선정·관리한다. 선정된 공정성 판단 지표에 따라 불균형이 발견된 경우, 공정성을 개선시킬 수 있는 기술적·관리적 노력을 기울인다.  

 

다. 금융회사 등은 관련 법령 등에 따라 고객에 대한 설명의무가 있는 금융서비스 등에 AI 시스템을 활용하는 경우 또는 고위험 서비스에 AI 시스템을 활용하는 경우 설명가능 인공지능 기술 등 적절한 인공지능 기술을 투명하게 적용하여 맥락에 맞는 설명이 도출되는지 여부를 확인하고, AI 시스템의 안정성·신뢰성 등을 훼손하지 않는 범위 내에서 설명가능성을 합리적인 수준으로 개선하기 위해 노력해야 한다. 

 

6. AI시스템의 도입, 운영 및 모니터링 단계

 

가. 금융회사 등은 대고객 AI 시스템 운영시 고객에 AI 이용 여부, 설명·이의제기권 등 관련 법령에 따른 소비자의 권리, 이의신청·민원제기 방식 등 AI 시스템의 성격에 맞추어 적절한 권리구제 방안을 고지해야 한다. 

 

나. 금융회사 등은 도입된 AI 시스템의 성능을 주기적으로 모니터링하고, 데이터 재학습 필요성 검토 등 성능 개선 가능성을 확인한다. 

 

다. 금융회사 등은 AI 시스템에 고객 또는 제3자에 의한 데이터 오염 공격, 적대적 공격 등 오용·악용 가능성이 있는지 여부를 확인하고, 가용한 기술 범위 내에서 오용·악용 사례를 최소화할 수 있는 방안을 도입하기 위해 노력한다. 금융회사 등은 오픈소스 기반 AI 개발 프레임워크 등 AI 개발 환경의 보안 취약성에 관해 상시적으로 통지를 받을 수 있는 절차를 반영하고, 최선의 보안 시스템을 구축하기 위하여 노력한다. 

 

7. AI 시스템 업무위탁에 관한 특례 

 

가. 금융회사 등은 AI 시스템의 개발·운영 등을 외부기관에 위탁하고자 할 경우, 수탁기관이 동 가이드라인 및 가이드라인에 기초하여 마련된 AI 윤리원칙 및 위험관리정책을 준수하여 AI 시스템을 개발·운영할 수 있도록 하기 위한 위험관리지침을 마련하고 금융회사가 직접 AI 시스템을 개발·운영하는 경우에 비해 AI 시스템 운영에 따르는 위험이 확대되지 않도록 한다.    

 

나. 금융회사 등은 외부기관에 의한 AI 시스템 개발·운영이 위험관리지침에 따라 이루어졌는지 주기적인 보고·점검 체계를 구축·운영하고, 고위험서비스에 대해서는 AI 개발·운영계획 등에 대한 금융회사 등의 사전확인, 소비자 피해 발생시 조치 및 보고 절차 마련 등 엄격한 사전 점검이 이루어질 수 있도록 한다.

 

다. 금융회사 등과 외부기관은 AI 시스템 개발·운영 등에 따라 소비자 피해가 발생한 경우 손해배상 지연 등을 방지하기 위한 명확한 책임조항 및 손해배상 처리 절차 등을 마련한다.