메타가 19일(현지시각) 최신 대규모 언어모델(LLM) '라마3(Llama 3)'를 오픈소스로 공개했다.

차세대 대규모 언어모델 라마3는 사전훈련과 미세조정을 마친 80억 개(8B·비트)와 700억 개(70B) 매개변수 모델 두 가지로 공개됐다. 두 모델은 '대규모 다중작업 언어 이해(MMLU)'를 포함한 다양한 업계 표준 벤치마크에서 높은 성적을 받았으며 추론과 코드 생성, 지시 수행을 전보다 크게 개선했다.

라마3의 성능 향상은 모델의 사전 훈련과 사후 훈련 과정을 고도화함으로써 이루어졌다. 사전 훈련을 위해 데이터셋의 양을 늘리고, 필터링 과정을 거쳐 고품질 데이터만을 선별했다. 라마3는 라마2 대비 7배 많은 15조 이상의 토큰으로 훈련돼 라마2 대비 7배 이상 많으며 코드량은 4배 더 많다.

오픈소스인 라마3 모델의 안전하고 책임감 있는 개발과 사용을 위한 다양한 안전장치도 마련했다. 지시 미세조정된 모델은 전문가와 자동화된 도구를 활용한 레드팀 훈련을 통해 부적절한 답변의 가능성을 최소화했다.

또한 '라마 가드2(Llama Guard 2)', '코드 쉴드(Code Shield)', '사이버 보안 평가 기준2(CyberSec Eval 2)'와 같은 안전 장치와 더불어 새로운 안전 도구들도 도입했다.

라마3 모델은 홈페이지에서 다운로드가 가능하며 AWS, 데이터브릭스, 구글 클라우드, 허깅페이스, IBM 왓슨x, 마이크로소프트 애저 등 다양한 플랫폼에도 공개될 예정이다. 하드웨어 측면에서는 AMD, AWS, 델, 인텔, 엔비디아와 퀄컴이 파트너로 함께한다.