주요 오픈소스 플랫폼에 무검열 LLM 2만 2천여 개 유통… 안전장치 부실 및 공급망 보안 위협 대두
5대 오픈소스 모델 호스팅 플랫폼에서 유통되는 2만 2천여 개의 무검열 대형언어모델(ULLM) 중 상당수가 안전장치를 결여하고 있으며, 일부 모델에서 악성코드 시그니처가 검출되는 등 오픈소스 AI 공급망의 보안 취약점이 학술 연구를 통해 드러났습니다.
학술 연구진이 허깅페이스(Hugging Face), 캐글(Kaggle) 등 주요 오픈소스 인공지능 모델 공유 플랫폼을 조사한 결과, 유해 콘텐츠 차단 기능이 의도적으로 제거되거나 완화된 '무검열 대형언어모델(ULLM)'이 2만 2천 개 이상 유통되고 있는 것으로 나타났습니다. 이번 연구는 개방형 인공지능 생태계가 전통적인 오픈소스 소프트웨어 공급망과 유사한 보안 및 관리 공백에 직면해 있음을 보여줍니다.

질롱 린(Zilong Lin), 지추안 리(Zichuan Li), 샤오징 랴오(Xiaojing Liao), 샤오펑 왕(XiaoFeng Wang) 등 연구진은 공개된 모델 메타데이터와 자동화된 스캔 도구를 활용해 주요 모델 호스팅 플랫폼 5곳에 등록된 무검열 대형언어모델의 실태를 분석했습니다. 이들이 지칭하는 무검열 모델은 해킹 가이드나 불법 행위 지침 등 유해한 요청에 대해 상용 모델과 달리 거부 반응을 보이지 않도록 안전장치가 제거되거나 약화된 모델을 의미합니다.
2만 2천여 개 무검열 모델과 경고 표시의 부재
연구진이 허깅페이스, 캐글, 존스노우랩스(John Snow Labs), 오픈CSG(OpenCSG), 모델스코프(ModelScope) 등 5대 플랫폼에서 수집한 무검열 대형언어모델은 총 2만 2,096개에 달합니다. 이 가운데 콘텐츠 검열 경고 표시(moderation warning)나 위험성 안내 메타데이터가 포함된 모델은 전체의 약 13%에 불과했습니다.
- 방대한 유통 규모: 가장 널리 다운로드된 무검열 모델 중 하나인 'dolphin-2.9.1-yi-1.5-34b'는 누적 다운로드 수가 5,300만 회를 넘었으며, 최근 한 달 동안에도 480만 회 이상 다운로드되는 등 실사용 수요가 매우 높습니다.
- 취약성 검사 결과: 자동화된 보안 스캔을 거친 모델 중 27개 모델에서는 악성코드 시그니처나 안전하지 않은 역직렬화 패턴 등 잠재적인 위협 지표가 검출되었습니다. 이들 27개 모델의 누적 다운로드 수는 총 13만 6천 회에 이릅니다.
상용 인공지능 서비스가 엄격한 안전 가이드라인을 적용하는 것과 달리, 이러한 오픈소스 모델은 사용자가 원할 경우 제한 없이 유해한 출력물을 생성할 수 있어 악용될 가능성이 큽니다. 미국 회계감사원(GAO)의 최근 보고서 등이 지적한 바와 같이, 대중적인 모델이 테러 기획이나 사기 수법 안내에 악용되는 문제가 상용 모델뿐만 아니라 개방형 모델 전반에서 현실적인 위협으로 다가오고 있습니다.
플랫폼 간 무분별한 복사와 공급망 보안 리스크
이번 연구가 강조하는 핵심 문제 중 하나는 오픈소스 AI 생태계의 '공급망 취약성'입니다. 개발자들이 플랫폼 간에 모델을 쉽게 복사하고 재배포하는 과정에서 최초 개발자가 작성한 안전성 문서나 위험 평가 메타데이터가 유실되는 현상이 빈번하게 발생하고 있습니다.
원래 모델에 포함되어야 할 경고 표지가 누락되거나 희석되면서, 다운로드 사용자는 해당 모델이 내포한 위험성을 인지하기 어렵습니다. 이는 오픈소스 코드 생태계에서 검증되지 않은 패키지가 무분별하게 인입되는 현상과 구조적으로 유사합니다. 또한 일부 무검열 모델은 기반이 된 원본 모델의 라이선스 조건을 위반하고 있어 지식재산권 측면의 법적 분쟁 소지도 내포하고 있습니다.
유럽연합의 인공지능법(EU AI Act)이나 미국 콜로라도주 인공지능법 등 최근 도입되는 규제 프레임워크들은 모델 문서화와 투명성을 강하게 요구하고 있습니다. 그러나 이번 연구 결과는 현재의 개방형 모델 유통 관행이 이러한 법적·제도적 기준을 충족하기에는 턱없이 부족함을 실증적으로 보여줍니다.
연구진의 공개 검증과 향후 과제
연구진은 이번에 발견된 취약점과 보안 위협을 조사 대상 플랫폼들에게 책임 있는 공개(Responsible Disclosure) 원칙에 따라 전달했습니다. 플랫폼 중 오픈CSG는 연구 결과를 긍정적으로 수용하며 서비스 개선 의사를 밝혔으나, 허깅페이스(현재 엔비디아와의 인수합병 논의설이 제기되는 곳), 캐글, 존스노우랩스 등 상당수 플랫폼은 공식적인 입장을 유보했습니다.
전문가들은 이번 연구가 오픈소스 인공지능 생태계의 편의성과 개방성이 가져오는 이면을 냉정하게 직시하게 만든다고 평가합니다. 향후 모델 호스팅 플랫폼들이 강제적인 안전 라벨링 도입, 자동화된 유해성·악성코드 스캔 시스템 구축, 메타데이터 보존 표준화 등의 대책을 마련하지 않을 경우, 규제 압박과 보안 사고 위험은 더욱 가중될 것으로 전망됩니다.
출처
- The Register: Uncensored AI models are thriving on code hosting platforms
- AI Understanding: Study finds thousands of large language models circulating on popular hosting platforms
- 미국 회계감사원(GAO) 보고서 및 관련 AI 규제 동향 자료