카카오뱅크가 인공지능(AI) 서비스의 기획·개발·출시·운영 전 과정을 체계적으로 관리하는 'AI 프로덕트 평가 프레임워크'를 금융권 최초로 자체 도입한다고 13일 밝혔다.

'AI 프레임워크'는 AI 서비스 품질을 수치화하고 리스크를 체계적으로 관리하기 위한 AI 품질관리 표준 체계로, 현재 운영 중인 AI 검색, AI 금융 계산기 등 기존 서비스는 물론 향후 공개될 신규 AI 서비스 전반에도 적용한다.

우선 AI 프레임워크는 ▲서비스 기획 ▲모델 평가 ▲기능 테스트 ▲품질 및 신뢰성 검증 ▲보안 점검 ▲대고객 출시 ▲운영 및 개선 등 AI 서비스의 전 생애주기를 아우르는 관리 절차로 구성됐다.

특히 대형언어모델(LLM)의 특성상 같은 질문에도 답변이 달라질 수 있는 점을 보완하기 위해, 평가 결과를 수치화하고 반복 검증하는 정량 평가 체계를 도입했다. 이를 통해 AI 응답의 불확실성 등 AI 리스크를 사전에 차단하고 개발 효율성과 안정성을 동시에 제고한다.

카카오뱅크는 AI 프레임워크 도입으로 AI 서비스 품질 평가·검증의 내부 표준을 확립했다. 이를 기반으로 개발자, 기획자, 운영자가 동일한 기준으로 서비스 완성도와 신뢰성을 점검할 수 있게 됐다.

또한 AI 서비스의 평가 결과와 노하우를 내부에 축적·공유해, 신규 서비스 개발과 고도화에 활용한다. 기획-개발-운영-개선의 전 과정이 유기적으로 순환하는 AI 생태계를 구축하고, 고객이 믿고 이용할 수 있는 혁신적인 서비스를 지속 선보여 AI 리더십을 공고히 할 예정이다.

카카오뱅크는 "AI 서비스가 빠르게 확산되는 지금, 품질과 안전을 보장하는 체계적 기준이 금융권의 새로운 경쟁력이 되고 있다"며 " 이번 프레임워크 도입은 카카오뱅크가 'AI 네이티브 뱅크'로 자리매김하고 있는 만큼 책임 있는 AI를 실천하고, AI 품질관리 표준을 제시하는 중요한 출발점이 될 것"이라고 말했다.