TAU-HOME.COM
LOADING

Heretic: 파인튜닝 없이 LLM의 검열·아첨·슬롭(Slop)을 제거하는 오픈소스 도구

별도 재학습 없이 수학적 최적화 기법(ARA 및 Abliteration)만으로 언어 모델의 거부 반응, 아첨(Sycophancy), 상투적 표현을 제어하는 오픈소스 CLI 도구 Heretic의 핵심 기능과 사용법을 소개합니다.

tau · 2026년 11월 19일

#LLM #abliteration #open-source #model-alignment #python

Heretic: 파인튜닝 없이 LLM의 검열·아첨·슬롭(Slop)을 제거하는 오픈소스 도구

Heretic은 p-e-w 개발자가 GitHub에 공개한 오픈소스 CLI(명령줄 인터페이스) 도구입니다. 이 도구는 LLM(대규모 언어 모델)의 행동을 파인튜닝(재학습) 없이 수정할 수 있도록 돕습니다. 2026년 11월 8일 v2.1.0 릴리스를 통해 최신 기능을 제공하며, 4만 개 이상의 GitHub 스타를 기록하며 개발자 커뮤니티의 주목을 받고 있습니다. Heretic은 대조 프롬프트와 스코어러(Scorer) 플러그인을 활용해 모델의 검열(거부 반응), 아첨(Sycophancy), 상투적 표현(Slop) 등을 제어합니다.

Heretic CLI 도구의 실행 화면. 터미널에서 LLM 모델을 수정하는 과정과 출력 메시지가 보인다.

이미지 출처: p-e-w/heretic (GitHub README)

Heretic의 핵심 기능: 파인튜닝 없는 LLM 제어

Heretic의 가장 큰 특징은 기존 LLM을 재학습하는 고비용의 파인튜닝 과정 없이도 모델의 응답 경향을 바꿀 수 있다는 점입니다. 이는 수학적 최적화 기법을 기반으로 하며, 특히 ARA(Arbitrary-Rank Ablation)와 Abliteration(방향성 제거)이라는 두 가지 주요 기술을 활용합니다.

Heretic은 기본 설정(config.default.toml)에서 모델의 거부 반응을 억제하는, 즉 검열을 제거하는 기능을 수행합니다. 하지만 설정 파일을 교체하면 다음과 같은 다양한 모델 행동을 제어할 수 있습니다.

  • 슬롭(Slop) 감소: 상투적이거나 불필요하게 장황한 표현을 줄입니다 (config.noslop.toml).
  • 아첨(Sycophancy) 감소: 사용자에게 과도하게 동조하거나 아첨하는 경향을 줄입니다 (config.nosyco.toml).
  • 유머 감소: 모델의 유머러스한 응답 빈도를 조절합니다 (config.nohumor.toml).
  • 감정 정렬 변경: 모델의 감정적 응답 경향을 수정합니다 (config.emotions.toml).
  • 응답 길이 단축: 모델의 응답 길이를 줄입니다 (config.terse.toml).

이러한 제어는 스코어러 플러그인을 통해 이루어집니다. 스코어러는 모델의 특정 행동을 평가하고 점수를 매기는 역할을 하며, Heretic은 이 점수를 최적화하여 모델의 행동을 원하는 방향으로 유도합니다. 사용자는 직접 스코어러를 작성하여 Heretic이 모델에 어떤 영향을 미칠지 완벽하게 제어할 수도 있습니다.

설치 및 사용법

Heretic은 Python 3.10 이상 및 PyTorch 2.6 이상 환경에서 구동됩니다. 설치는 pip 명령어를 통해 간단하게 진행할 수 있습니다.

pip install -U heretic-llm

설치 후에는 다음 명령어로 원하는 LLM 모델을 Heretic으로 처리할 수 있습니다.

heretic Qwen/Qwen3-4B-Instruct-2507

위 예시에서 Qwen/Qwen3-4B-Instruct-2507 대신 사용자가 처리하고자 하는 모델의 이름을 입력하면 됩니다. Heretic은 기본적으로 검열 제거(거부 반응 억제)를 수행하도록 설정되어 있습니다. 다른 기능을 사용하려면 config.toml 파일을 작업 디렉토리에 두거나, HERETIC_CONFIG_FILE 환경 변수를 통해 원하는 설정 파일 경로를 지정해야 합니다.

Heretic은 소비자용 GPU에서도 구동할 수 있도록 bitsandbytes 기반의 실시간 4비트 양자화(quantization)를 지원합니다. 설정 파일에서 quantization = "bnb_4bit" 옵션을 활성화하면 VRAM(비디오 램) 요구량을 크게 낮출 수 있습니다. 다만, 이 옵션을 사용하면 약간의 정확도 손실이 발생할 수 있다는 점을 유의해야 합니다.

모델 처리 시간은 하드웨어와 모델 크기에 따라 달라집니다. 예를 들어, RTX 3090 GPU에서 기본 설정으로 Qwen3-4B-Instruct-2507 모델을 처리하는 데 약 30~40분이 소요됩니다.

재현성 및 버전 호환성

Heretic은 모델 변형 후 약 9KB 내외의 재현 매니페스트(reproduce.json) 파일을 생성합니다. 이 파일에는 모델을 생성하는 데 사용된 모든 정보가 담겨 있어, heretic --reproduce path/to/reproduce.json 명령어를 통해 동일한 환경에서 결과를 재현할 수 있습니다. 이는 연구나 개발 과정에서 일관된 결과를 얻는 데 매우 유용합니다.

다만, 중요한 주의사항이 있습니다. Heretic 1.x 버전용으로 작성된 설정 파일은 Heretic 2.x 버전과 호환되지 않습니다. 기존 1.x 사용자는 마이그레이션 가이드(docs/migration_v1_to_v2.md)를 참고하여 설정 파일을 수정해야 합니다. Heretic의 최신 릴리스는 2026년 11월 8일에 공개된 v2.1.0입니다.

기술적 배경: ARA와 Abliteration

Heretic은 Optuna 기반의 TPE(Tree-structured Parzen Estimator) 하이퍼파라미터 최적화기와 플러그형 모디파이어(Modifier)를 결합하여 작동합니다. 최적화기는 모디파이어에 전달될 최적의 매개변수 세트를 찾아, 설정된 스코어(점수)를 최소화하거나 최대화합니다.

Heretic에는 두 가지 주요 모디파이어가 포함되어 있습니다.

  • ARA (Arbitrary-Rank Ablation): Heretic을 위해 특별히 개발된 기본 모디파이어입니다. 이 기술은 모델의 내부 표현에서 특정 '랭크'(정보 차원)를 선택적으로 제거하거나 수정하여 모델의 행동을 조작합니다.
  • Abliteration (Directional Ablation): 거부 반응 억제에 사용되는 고전적인 방법입니다. Heretic의 구현은 레이어 전반에 걸쳐 유연한 어블레이션 가중치 커널을 사용하며, Projected Abliteration과 Norm Preservation (MPOA)을 모두 지원합니다. 이는 모델이 특정 방향으로 응답하는 경향을 제거하여 원하는 행동을 유도합니다.

이러한 기술들은 모델의 내부 작동 방식을 깊이 이해하지 못하더라도, 일반 사용자나 개발자가 LLM의 특정 행동을 효과적으로 제어할 수 있게 해줍니다.

출처


Impact-Site-Verification: 9b3ebd10-6c45-44cf-a014-5b8c19b7b285