앞으로 금융회사는 인공지능(AI) 서비스를 개발할 경우 AI 보안 가이드라인을 통해 점검해야 한다. AI 서비스가 확대되며 개인정보가 유출되거나, 학습데이터가 조작되는 등 다양한 보안사고가 발생할 수 있다는 판단에서다.

금융위원회는 17일 이 같은 내용을 담은 AI 보안 가이드라인을 마련했다고 밝혔다. 앞서 금융위는 지난해 8월 AI 활용 환경을 구축하기 위해 '금융분야 인공지능 활용 활성화 및 신뢰확보 방안'을 발표한 바 있다. 이에 따른 후속조치다.

우선 금융위는 신용정보제공회사(CB)가 이용하는 AI신용평가모형을 객관적으로 검증할 수 있도록 AI 기반 신용평가모형 검증체계를 마련했다.

AI 기반 신용평가모형 검증체계는 신용평가에 활용하는 비금융·비정형 데이터에 대한 관리체계가 적절히 구축되어있는지 점검한다. 신뢰성 높은 출처로부터 데이터를 수집해 데이터의 일관성·정확성을 확인한다.

최적화된 AI 신용평가모형을 선택했는지도 점검한다. 현재 신용평가사는 신경망, 의사결정나무 등의 알고리즘을 통해 모형을 개발하고 있다. 알고리즘의 선정 목적, 변수 선정과정 등을 통해 모형개발의 상세과정을 확인하겠다는 설명이다. 

아울러 금융소비자에게 신용평가 결과를 설명할 수 있는지 확인한다. 신용정보법에 따르면 개인은 신용평가결과, 평가기준, 평가에 이용되는 정보에 대해 설명을 요구할 수 있다. 평가결과에 대한 설명의무가 있는 만큼 모형의 해석가능성을 점검하겠다는 것이다.

이밖에도 금융위는 이날 AI 보안 가이드라인을 마련했다. 금융회사의 AI서비스가 확대되고 있지만, 보안성을 충분히 확보하지 못한 경우 오작동하거나 악의적인 공격에 노출될 수 있기 때문이다.

AI 보안 가이드라인은 ▲AI 모델 개발단계별 보안 고려사항 ▲AI챗봇 서비스에 대한 보안성 체크리스트를 담고 있다.

계발단계별로 보면, 데이터 수집시 데이터 출처 및 수집시점을 파악할 수 있는 관리체계를 구축해야 한다. 신뢰성 높은 출처에서 데이터를 수집하고, 시점등을 파악해 정확성을 높이겠다는 것이 다.

또 데이터 학습전 이상치를 확인·처리하고, 적대적예제와 생성·학습을 통해 적대적 공격을 예방한다.

AI모델 설계시에는 단순한 설계를 지양하고, 모델을 세부변형하는 보안기법을 활용한다. 잠재적 공격자가 AI 모델에 대한 정보를 쉽게 유추할 수 없도록 하기 위해서다. 검증시에는 선제적인 적대적 공격을 통해 공격을 탐지 방어할 수 있는지 보고, 입·출력 횟수를 제한해 잠재적 공격자가 개인정보를 수집할 수 없도록 한다.

금융위는 올해 중 개인신용평가체계 검증위원회를 통해 개인사업자 신용정보제공회사를 검증하고, 이들의 AI신용평가모형에 대해 검증을 실시한다. AI 보안 가이드라인은 금융보안 레그테크 포털에 게시하고, 새로운 보안위협·대응기법을 고려해 지속적으로 개선·보안할 계획이다.