AI 모델의 검열 해제, 본격적인 단속은 언제쯤 시작될까?

1995~2010년 무렵 와레즈 씬을 기억할 만큼 나이가 있다면, 크랙된 소프트웨어와 복제 영화가 방대한 양으로 쌓여 여러 장의 DVD에 담기던 시절이 떠오를지도 모릅니다. 이런 자료는 거리에서 대량으로 사들이거나, 초고속 광대역 인터넷이 대용량 파일을 빠르게 내려받을 수 있게 해 주면서 아마추어 해적들이 직접 모은 것이었습니다. 이제 막 형성되고 있는 ‘검열 해제’ 오픈소스 AI 모델 씬에서도 익숙한 모습을 발견할 수 있습니다.

소프트웨어와 영화를 거리에서 부담 없이 사고팔던 ‘황금기’의 모습. 사진 제공: Shankar.s. ‘PP 거리 시장의 불법 복제 DVD’ – 출처 / 라이선스

당시에는 소프트웨어 대여가 일반적인 소비자 모델로 자리 잡기 전이었고, 소수의 실력 있는 ‘신(scene)’ 소프트웨어 애호가들이 애플리케이션의 복제 방지 장치를 풀어 ‘와레즈’ 뉴스그룹에 배포하기 시작했다. 이후에는 토렌트 그룹에도 퍼졌다. 그런 제한은 뚫기 까다로울 수도, 간단할 수도 있었지만, 일단 공개된 뒤에는 대개 흔적을 지울 수 없었다.

오픈소스 대규모 언어 모델(LLM)에서도 지금 같은 일이 벌어지고 있다. 모델에 학습 과정에서 내장된 안전 필터가 일상적으로 대규모로 제거되고 나면, 검열이 해제된 모델은 여러 곳에 공유된다. 따라서 ‘크랙’의 최초 배포처를 폐쇄하더라도 모델을 구할 수 있는지는 달라지지 않는다.

이로운 존재인가, 해로운 존재인가

문제는 이러한 활동을 어떤 관점에서 바라볼 것인가다. 와레즈 신과 달리, 20~30년 전 소규모 소프트웨어 제작자들이 겪었을 법한 수준으로 누군가의 수입이 노골적으로 박탈되는 상황은 아니다.

물론 이런 경우* 원래의 라이선스 조건을 위반하는 일이 흔하다. 하지만 Black Forest Labs 같은 생성형 AI 모델 제작사가 가중치를 일부만 공개하는 것과 달리, 원 배포자들은 ‘저품질’ 버전을 더 뛰어난 API 전용 모델로 유도하는 판매 경로로 활용하지 않는다. 대신 모델 전체를 그대로 공개한다.

대부분의 경우, 초기 릴리스는 매개변수 규모가 너무 커서 16~24GB의 VRAM을 갖춘 고사양 GPU 카드로도 거의 아무도 로컬에서 실행할 수 없습니다.

따라서 초기 공개 모델은 모델 양자화를 거쳐 일반 소비자용 하드웨어에서 실행할 수 있는 경량 버전으로 빠르게 변환된다. 이 과정에서 가중치를 GGUF, AWQ, PTQ, EXL2나 Apple 중심의 MLX 같은 경량 형식으로 변환한다.

이런 모델은 원래의 대형 모델만큼 성능이 뛰어나지는 않다. 원본 대형 모델은 대개 여러 GPU 팜에서 상업적으로 서비스된다. 그래도 사용자가 직접 제어할 수 있고, ‘더 나은’ 모델로는 불가능한 방식으로 사용자에게 맞춤 설정할 수 있다는 장점이 있다.

원하는 방식으로 활용하기

사용자가 모델을 맞춤 설정하는 방법 중에는 명백히 정당하며 대개 원 배포자의 라이선스 범위에 드는 것도 있다. 그중 하나가 미세 조정이다. 사용자가 특정 작업이나 분야를 모델에 입력하면, 그에 맞춰 모델 가중치를 조정할 수 있다. 하드 디스크 공간만 충분하다면 오픈소스 모델을 여러 개 복제해 다양한 작업에 맞게 각각 미세 조정할 수도 있다. 원 배포자가 공개한 가중치 전체를 사용하는 ‘스위스 군용 칼’ 하나 대신, 전통적인 전용 도구를 여러 개 갖추는 셈이다.

또한 설정은 호환되지만 학습 데이터가 서로 다른 모델들을 병합할 수 있습니다. 또는 가벼운 LoRA 필터를 통해 모델에 추가 기능을 덧붙일 수도 있으며, 이 경우 미세 조정으로 기반 모델의 원래 기능을 훼손할 위험 없이 적용할 수 있습니다.

그러나 많은 사용자가 가장 관심을 두는 수정 방법이자 앞서 언급한 방법보다 쉽게 할 수 있는 작업은 앞서 언급한 안전 필터, 즉 가드레일을 제거하는 것이다.

이렇게 하면 모델이 포르노 콘텐츠를 생성하거나 악성코드 개발을 지원할 수 있게 되는 것은 사실이다. 하지만 동시에 많은 사용자가 지나치게 제한적이라고 여기는 규칙, 그리고 오류가 잦은 규칙도 없어진다.

출처 URL에서 볼 수 있는, 안전을 이유로 합리적인 요청을 거부하는 Llama-2-7b-chat의 여러 황당한 사례 중 하나. 출처

Heretic

Heretic은 최근 모델 검열 해제 방식에 혁신을 가져온 소프트웨어다. 이 도구를 사용하면 모델이 선호하는 ‘화려한’ 문체와 장황한 서술의 수준까지 낮출 수 있다.

Heretic은 gpt-oss의 검열 해제를 수행합니다. 다만 이를 위해서는 일반 소비자의 가정에는 좀처럼 갖춰져 있지 않을 고사양 컴퓨터가 필요합니다. 필요한 작업 시간만큼 온라인에서 저렴하게 대여할 수는 있습니다. 출처

더 중요한 점은 Heretic이 모델의 원래 동작에 미치는 피해를 최소화하면서 거부 응답을 억제하는 애블리터레이션을 자동으로 찾아낸다는 것입니다. 덕분에 최종 사용자 입장에서 비교적 까다로운 검열 해제 작업이 명령어 하나만 입력하면 되는 일로 바뀝니다.

위 스크린샷에서 볼 수 있듯이, Heretic은 일반 가정에서 찾기 어려울 만큼 강력한 GPU를 갖춘 환경에서 더 잘 작동하는 편입니다. 하지만 사용자가 반드시 집에 있는 하드웨어에서 실행해야 하는 것은 아닙니다. 2002년에 소프트웨어를 직접 크랙할 필요가 없었던 것과 마찬가지입니다. 와레즈 시절처럼, 이런 하드웨어에 접근할 수 있거나 문제 해결을 위해 토큰을 기꺼이 사용할 의사가 있는 상위 씬 배포자들(대개 비상업적인 아마추어 애호가)이 탈옥 작업을 수행한 뒤 검열이 해제된 모델을 씬에 공개합니다.

표적이 되다

‘문제가 될 만한’ 디지털 행위가 더 이상 어렵지 않게 되는 것은 대개 하룻밤 사이에 역량이 비약적으로 향상되는 경우입니다. Napster나 PopCornTime을 떠올려 보세요. 그런 변화는 해당 행위 자체의 규모뿐 아니라 이를 억제하려는 ‘공식’ 관심도 갑자기 키웁니다.

Ollama 같은 플랫폼의 인기가 높아지고 사용하기도 쉬워지면서, Heretic은 비전문 사용자도 검열 해제 모델에 접근할 수 있는 길을 열기 시작했습니다. 아직 완전히 ‘누구나 쉽게 쓸 수 있는’ 방법까지 마련된 것은 아니지만 말입니다.

그러면 이 활동이 과연 ‘문제’인지에 관한 앞서의 질문으로 돌아가게 됩니다. 어제 Arxiv에 올라온 한 논문은 기술 소비자의 자유를 축소하고 억압하려는 매우 최근의 흐름을 근거로, 검열 해제에 대한 관심이 커지고 전 세계적으로 금지성 입법이 늘어날 가능성이 있다고 시사합니다.

10a Labs의 보고서인 새 논문은 검열 해제 움직임을 부정적으로 묘사하며, 악용 사례 중 소수에 해당하는 사례들을 제시합니다. 역사가 보여 주듯, 현재의 추세가 예고하듯, 이런 사례들은 결국 제약으로 이어질 것입니다.

이 연구는 검열 해제 모델이 공개되고 재배포된 뒤 어떤 일이 벌어지는지 추적했으며, 검열되지 않은 모델을 통합하거나 추천하거나 기본값으로 설정한 GitHub 애플리케이션 1,643개를 확인했습니다.

해당 모델은 범용 챗봇과 문서 처리 도구부터 NSFW 역할극 및 스토리텔링, 노골적인 콘텐츠 서비스, 해킹 및 공격 보안 도구, 사기 애플리케이션과 악성코드 생성기까지 다양합니다. 연구에서 공개 모델의 25%는 ‘명백히 악의적인’ 것으로 분류됐습니다.

검열되지 않은 AI 모델이 공개된 뒤 어떻게 사용되는지 보여 주는 분류. 이 연구는 안전 제한이 제거된 모델을 통합하거나 추천하거나 기본값으로 설정한 GitHub 애플리케이션 1,643개를 추적한 결과, 37%가 범용 검열 해제 챗봇인 것으로 확인했습니다. 사이버 보안 도구와 문서 처리 도구는 각각 16%를 차지했으며, 음성 비서, NSFW 역할극, 창작 글쓰기, 코딩 및 기타 용도를 포함한 소규모 범주도 있었습니다. 논문은 확인된 애플리케이션 중 약 25%를 ‘명백히 악의적인’ 것으로 분류할 수 있다고 밝혔습니다. 출처

영국의 최근 도입된 웹 접근 제한 조치(그리고 이를 우회하는 VPN 접근까지 제한하려던 현재 중단된 계획), 캘리포니아주가 2027년부터 대부분의 운영체제에 사용자 연령대를 수집해 앱에 제공하도록 요구하는 규정, 성인 온라인 콘텐츠 접근을 위한 EU의 제도, 그리고 16세 미만의 소셜 미디어 계정에 대한 호주의 금지 조치를 고려하면, 새 논문은 관심이 커지면 결국 감독과 규제가 강화되고, 나아가 선택적 또는 전면적 금지로 이어지는 양상에 부합하는 듯하다.

여기서는 그런 일이 일어날 리 없다

아니다. 여기서도 분명 그런 일이 일어날 수 있다. 부분적으로는 새 연구의 저자들이 추정한 악의적 사용 비율이 높기 때문이며, 통제 조치가 점점 확산되는 로컬 실행형 AI의 흐름에 추가 제한을 가할 것이기 때문이기도 하다. 이러한 흐름은 정부와 기관에 위협으로 비칠 수 있다. 모델의 고삐가 풀려 있을 때는 더욱 그렇다.

탈검열 활동을 NSFW 콘텐츠 생성과 악의적인 해킹을 ‘조장하는’ 행위로 규정하면, 탈검열을 잘못된 이분법적 문제로 제시할 수 있다. 나쁜 용도로 쓰일 수 있으니 규제 대상이 되어야 한다는 것이다. 현실적으로는 가능한 사용 사례가 너무 많아, 해당 기능을 아예 금지하는 것 외에는 전혀 규제할 현실적인 방법이 없어 보인다.

또한 LLM의 검열을 해제하면 모델이 (예를 들어) 아동 성착취물(CSAM)을 소재로 한 허구물을 생성할 수 있는 경우, 강력한 규제는 누구나 선뜻 찬성할 만한 방안으로 보일 수 있다. 규제에 반대하는 사람은 합리적인 용도보다 검열 해제 모델의 악의적인 사용을 ‘지지하는’ 사람으로 은연중에 몰릴 수 있기 때문이다.

이러한 주장에는 미세 조정이나 LoRA를 적용한 모델이 사용자가 원하는 특정 분야의 콘텐츠를 훨씬 효과적으로 생성할 수 있다는 사실이 반영되지 않았다. 모델의 기본 가중치가 해당 작업에 맞춰 크게 변형되므로, 학습 과정에서 내재된 보호 장치는 어차피 완전히 무력화될 수 있다.

사용 편의성의 모든 것

규모 있는 도입을 이끄는 것은 사용 편의성이며, 규모 있는 도입은 정부가 법률을 제정하도록 압박하는 요인이 된다. 그 압박은 대중 압력 단체나 업계 로비스트에게서 비롯되거나, 정부 간 압력을 통해 가해질 수 있다.

미세 조정과 LoRA는 FOSS 기반 모델의 잠금만 해제하는 것보다 더 정밀하게 목표에 맞춘 결과를 거의 확실히 얻을 수 있지만, 이러한 방법을 실행하려면 어느 정도의 훈련과 노력이 필요하다.

검열을 해제하고 양자화한 모델을 로컬에서 실행하는 일이 실제로 몇 번의 클릭만으로 가능해지면(사용자는 거의 확실히 직접 Heretic으로 검열을 해제하는 대신 ‘미리 검열이 해제된’ 모델을 내려받을 것이므로), 이 활동은 괴짜들만의 영역을 벗어나 대중의 영역으로 들어서고, 그 과정에서 발생하는 악용 사례는 정치적 논란의 쟁점이 될 가능성이 크다.

올여름 NVIDIA는 여러 주요 기술 기업과 함께 오픈 소스 모델에 대한 정부 규제를 선제적으로 막기 위해 공개 서한을 발표했다. 이 서한은 기술을 악용하는 소수가 있다고 해서 잠재적으로 모두에게 이익이 될 기술을 위태롭게 해서는 안 된다는 주장을 다시 내세웠다. 그러나 최근 몇 년 동안 이러한 입장은 환영받지 못했다.

*모델 제작자가 사용자의 활동을 제한하겠다는 공언을 진심으로 하는지는 자주 의심받으며, 안전장치조차 ‘보여주기식’으로 치부되기도 한다.