울산과학기술원(UNIST) 인공지능대학원이 이미지 생성 AI의 핵심 기술인 확산 모델의 강건성을 대폭 높일 수 있는 학습 설계 원리를 제시했다.

인공지능대학원 윤성환·유재준 교수 연구팀은 손실 함수의 평평한 최소점에 도달하도록 설계하면 모델의 강건성과 일반화 성능을 동시에 향상할 수 있다는 사실을 이론과 실험으로 입증했다고 22일 밝혔다.

확산 모델은 현재 DALL·E와 스테이블 디퓨전 같은 이미지 생성 AI에 활용되고 있다. 지브리풍이나 고흐의 화풍으로 사진을 변환하거나, 상상 속 풍경을 현실적인 사진처럼 표현할 수 있다.

그러나 생성 과정에서 오차가 누적되거나, 소형 기기로 옮기기 위한 압축 과정에서 양자화 오류가 발생하고, 적대적 공격에 취약한 문제가 있었다.

연구팀은 이 같은 문제가 모델의 근본적인 일반화 성능 부족에서 비롯된다고 진단했다. 일반화 성능은 새로운 데이터나 환경에서도 모델이 안정적으로 작동하는 능력을 의미한다.

해결 방법으로 손실 함수의 최저값 지점 모양에 주목했다. 최저값이 좁고 가파르면 작은 흔들림에도 성능이 무너지지만, 넓고 평평한 최소점에 도달하면 새로운 상황이나 방해에도 성능이 안정적으로 유지된다.

연구팀이 적용한 SAM(Sharpness-Aware Minimization) 알고리즘은 가장 효과적인 것으로 드러났다. SAM을 적용한 확산 모델은 짧은 생성 과정에서 오차 누적의 영향을 적게 받았으며 압축 과정에서도 품질 저하가 작았다. 특히 기존 모델보다 7배 강한 적대적 공격에도 성능을 유지했다.

이태환, 서경국 연구원이 제1저자로 참여한 이번 연구는 2025 ICCV(International Conference on Computer Vision)에 채택됐다. ICCV는 인공지능 분야의 권위 있는 학회로, 미국 하와이에서 19일 개막해 23일까지 개최된다.

연구팀은 "단순히 이미지 품질을 높이는 것을 넘어 다양한 산업과 실제 환경에서도 믿고 쓸 수 있는 생성형 AI의 설계 원리를 제시했다는 점에서 의미가 크다"며 "대규모 생성 모델을 소량 데이터만으로도 안정적으로 학습하는 기반이 될 것"이라고 말했다.