인공지능(AI) 모델이 고도화되면서 메모리, 전력, 연산 자원 등 하드웨어 부담이 급격히 증가하고 있다. 파운데이션 모델과 대규모 언어 모델(LLM)의 발전은 산업 전반에 AI 활용을 가속했지만, 엣지 디바이스 환경(중앙 서버 대신 현장 기기에서 AI 연산을 직접 수행하는 환경)에서 무거운 모델은 걸림돌로 작용한다. 이에 최소한의 자원으로 높은 성능을 뽑아내는 'AI 모델 경량화' 기술이 주목받고 있다.

11일 정보통신기획평가원(IITP)이 최근 발간한 '인공지능 모델 경량화 기술 동향' 보고서에 따르면, AI 경량화는 ▲효율적인 모델 설계 ▲네트워크 가지치기 ▲토큰 병합 등 세 가지 축을 중심으로 발전하고 있다.

모델 설계 단계에서의 경량화는 기존 구조를 최적화하거나 연산량을 줄이는 방식으로 이뤄진다. 대표적인 예가 구글의 '모바일넷(MobileNet)'과 '이피션트넷(EfficientNet)'이다.

모두 AI 경량화 분야에서 널리 쓰이는 합성곱 신경망(CNN) 기반 이미지 인식 모델로, 모바일넷은 계산 단계를 나눠서 처리해 속도를 높였고, 이피션트넷은 모델의 깊이·너비·해상도를 균형 있게 조정하는 '컴파운드 스케일링' 기법으로 성능 대비 자원 효율을 극대화했다. 최근에는 챗GPT와 같은 트랜스포머 구조를 가볍게 만드는 연구가 활발하게 진행 중이다.

불필요한 부분을 잘라내는 '네트워크 가지치기(Network Pruning)'도 주요 경량화 방법이다. 이미 학습이 끝난 AI 모델에서 성능에 큰 영향을 주지 않는 연결이나 뉴런(연산 단위)을 제거해 계산량과 메모리 사용을 줄이는 방식이다. 특히 자동차처럼 여러 AI 기능을 동시에 구동해야 하는 환경에서 유용하다.

이외에 비슷한 데이터를 합치는 '토큰 병합(Token Merging)' 기술도 이용된다. 트랜스포머 기반의 AI는 입력 데이터를 잘게 쪼개 처리하는데, 이 중 비슷한 것끼리 묶어 계산량을 줄인다. 모델 구조를 변경하지 않고도 연산량을 30~40% 절감할 수 있다.

보고서에 따르면 이러한 AI 경량화 기술들은 자율주행, 의료 등 실시간성과 안정성이 핵심인 산업 현장에서 빠르게 실용화되고 있다. 자율주행차는 객체 탐지, 운전자 모니터링, 차선 인식 등 수많은 AI 모듈이 동시에 작동해야 하므로 경량화가 필수적이다. 인텔 자회사 모빌아이는 전용 SoC(시스템 온 칩·단일 칩 시스템 반도체) '아이큐' 시리즈에 경량 모델을 적용해 저전력 환경에서도 엔비디아 젯슨(AI 엣지 컴퓨팅 플랫폼) 대비 2.6~2.8배 빠른 추론 성능을 구현했다.

의료 업계에도 경량화 기술이 확산하는 중이다. 의료 분야는 네트워크 지연 없이 즉시 결과를 제공해야 하는 의료 영상 분석, 진단 보조 등의 업무 특성상 온디바이스 AI에 대한 수요가 높다. 국내 의료 AI 스타트업 뷰노는 삼성전자와 함께 흉부 엑스레이 판독 AI를 이동식 장비에 탑재해 촬영 직후 수 초 내에 결과를 제공하는 시스템을 개발했다.

보고서는 "최근 좋은 성능을 보여주는 모델들이 대규모 크기를 갖고 있어 온디바이스로 동작하기에는 아직 어려움이 크다"면서 "산업 현장에서 인공지능 모델의 필요성이 높아질록 AI 모델 경량화에 관한 관심이 지속적으로 증가할 것으로 예상된다"고 전망했다.