TAU-HOME.COM
LOADING

Heretic: 파인튜닝 없이 LLM의 검열·아첨·슬롭(Slop)을 제거하는 오픈소스 도구

별도 재학습 없이 수학적 최적화 기법(ARA 및 Abliteration)만으로 언어 모델의 거부 반응, 아첨(Sycophancy), 상투적 표현을 제어하는 오픈소스 CLI 도구 Heretic의 핵심 기능과 사용법을 소개합니다.

tau · 2026년 11월 18일

#LLM #abliteration #open-source #model-alignment #python

Heretic: 파인튜닝 없이 LLM의 검열·아첨·슬롭(Slop)을 제거하는 오픈소스 도구

대규모 언어 모델(LLM)은 방대한 텍스트 데이터로 학습되어 인간의 언어를 이해하고 생성하는 강력한 AI 모델입니다. 하지만 때로는 원치 않는 '검열(refusal)', '아첨(sycophancy)', '슬롭(slop, 상투적이고 불필요한 표현)'과 같은 행동을 보이기도 합니다. 이러한 모델의 행동을 수정하려면 일반적으로 파인튜닝(Fine-tuning), 즉 특정 작업이나 데이터셋에 맞춰 모델을 추가 학습시키는 비용이 많이 드는 과정이 필요했습니다.

Heretic 도구의 스크린샷. LLM 모델을 처리하는 과정과 다양한 설정 옵션을 보여줍니다.

이미지 출처: p-e-w/heretic (GitHub README)

이러한 한계를 극복하기 위해 등장한 오픈소스 명령줄 인터페이스(CLI) 도구 'Heretic'은 별도의 재학습 없이 수학적 최적화 기법을 활용해 LLM의 행동을 효과적으로 제어합니다. 2026년 11월 8일 v2.1.0 버전이 공개된 Heretic은 현재 GitHub에서 40,463개의 스타와 4,637개의 포크를 기록하며 활발히 개발되고 있으며, GNU AGPLv3 라이선스에 따라 배포됩니다.

Heretic은 어떻게 LLM의 행동을 수정하는가?

Heretic의 핵심은 '대조 프롬프트(contrasting prompts)'와 '스코어러(scorer) 플러그인'을 활용하여 LLM의 응답 경향을 분석하고, 이를 수학적으로 최적화하는 데 있습니다. 이 도구는 Optuna 기반의 TPE(Tree-structured Parzen Estimator) 하이퍼파라미터 최적화기를 사용해 모델의 행동을 미세 조정합니다. 하이퍼파라미터 최적화는 AI 모델 학습 과정에서 성능에 큰 영향을 미치는 설정값(하이퍼파라미터)을 가장 효율적인 조합으로 찾아내는 과정입니다.

Heretic은 두 가지 주요 '모디파이어(modifier) 플러그인'을 지원합니다. 모디파이어는 모델의 내부 작동 방식에 직접 개입하여 특정 행동을 유발하는 요소를 변경하는 역할을 합니다.

  • Arbitrary-Rank Ablation (ARA): Heretic을 위해 특별히 개발된 이 기법은 모델의 특정 계층에서 원치 않는 행동을 유발하는 가중치를 제거하거나 변경하여 모델의 응답을 조작합니다. 이는 마치 외과 수술처럼 모델의 특정 부분을 정밀하게 다루는 방식입니다.
  • Directional Ablation (Abliteration): '방향성 제거'라고도 불리는 이 방법은 모델이 특정 방향(예: 거부 반응)으로 응답하는 경향을 약화시키는 고전적인 기법입니다. Heretic은 이 방법을 유연하게 구현하여 모델의 다양한 계층에 걸쳐 적용할 수 있습니다.

이러한 기법들을 통해 Heretic은 모델의 내부 구조를 재학습하지 않고도 원하는 방향으로 행동을 유도할 수 있습니다.

Heretic으로 제어할 수 있는 LLM 행동 유형

Heretic은 기본 설정으로 LLM의 '거부 반응 억제(검열 제거)'를 수행합니다. 이는 모델이 특정 질문에 대해 "답변할 수 없습니다"와 같은 회피적인 답변을 내놓는 것을 줄이는 것을 목표로 합니다.

하지만 설정 파일(config.toml)을 교체함으로써 다양한 LLM 행동을 제어할 수 있습니다.

  • 슬롭(Slop) 감소 (config.noslop.toml): 모델이 상투적이거나 불필요하게 장황한 표현을 사용하는 것을 줄여, 더 간결하고 핵심적인 답변을 유도합니다.
  • 아첨(Sycophancy) 감소 (config.nosyco.toml): 모델이 사용자에게 과도하게 동조하거나 아첨하는 경향을 줄여, 보다 중립적이고 객관적인 답변을 생성하도록 돕습니다.
  • 유머 감소 (config.nohumor.toml): 모델의 유머 감각을 줄여, 진지하거나 사실 기반의 응답이 필요한 상황에 적합하게 만듭니다.
  • 감정 정렬 변경 (config.emotions.toml): 모델의 감정적인 응답 경향을 조절하여, 특정 감정(예: 긍정적, 부정적)에 치우치지 않도록 합니다.
  • 응답 길이 단축 (config.terse.toml): 모델의 답변 길이를 줄여, 간결하고 요약된 정보를 제공하는 데 유용합니다.

이처럼 Heretic은 다양한 설정 파일을 통해 사용자가 원하는 LLM의 특성을 유연하게 조절할 수 있는 강력한 기능을 제공합니다.

설치 및 사용법

Heretic은 Python 기반의 도구로, Python 3.10 이상 및 PyTorch 2.6 이상 환경에서 설치 및 실행할 수 있습니다.

  1. 설치:
    pip install -U heretic-llm
    
  2. 실행:
    heretic Qwen/Qwen3-4B-Instruct-2507
    
    <모델명> 부분에는 Hugging Face에 등록된 원하는 모델의 이름을 입력하면 됩니다. 기본적으로 Heretic은 검열 제거(거부 반응 억제)를 수행합니다. 다른 행동을 제어하려면 위에서 언급된 config.noslop.toml과 같은 설정 파일을 사용하거나 직접 설정 파일을 작성해야 합니다.

Heretic은 bitsandbytes 라이브러리 기반의 실시간 4비트 양자화(quantization = "bnb_4bit")를 지원하여, 소비자용 GPU에서도 LLM을 구동할 수 있도록 VRAM(Video RAM, 그래픽 카드 메모리) 요구량을 크게 낮춥니다. 예를 들어, RTX 3090 그래픽 카드에서 기본 설정으로 Qwen3-4B-Instruct-2507 모델을 처리하는 데 약 30~40분이 소요됩니다.

재현성(Reproducibility) 확보

Heretic은 모델 변형 후 약 9KB 내외의 '재현 매니페스트(reproduce.json)' 파일을 생성합니다. 이 파일에는 모델을 생성하는 데 사용된 모든 정보가 담겨 있어, 동일한 환경에서 heretic --reproduce path/to/reproduce.json 명령을 통해 결과를 정확히 재현할 수 있습니다. 이는 연구나 개발 과정에서 모델의 일관성을 유지하는 데 매우 중요한 기능입니다.

주의사항

  • 버전 호환성: Heretic 1.x 버전용으로 작성된 설정 파일은 Heretic 2.x 버전과 호환되지 않습니다. 마이그레이션 가이드(docs/migration_v1_to_v2.md)를 참고하여 수정해야 합니다.
  • 정확도 손실: 실시간 4비트 양자화(bnb_4bit) 옵션을 사용하면 VRAM 요구량을 낮출 수 있지만, 약간의 정확도 손실이 발생할 수 있습니다.

Heretic은 파인튜닝 없이 LLM의 특정 행동을 제어하고자 하는 개발자나 연구자에게 매우 유용한 도구입니다. 복잡한 재학습 과정 없이도 모델의 특성을 유연하게 조절할 수 있다는 점에서 큰 잠재력을 가집니다.

출처


Impact-Site-Verification: 9b3ebd10-6c45-44cf-a014-5b8c19b7b285