Heretic: 파인튜닝 없이 가중치 절제만으로 LLM 거부 반응과 슬롭을 교정하는 오픈소스 도구
고비용 재학습 없이 수학적 가중치 절제 기법과 베이지안 최적화만으로 대규모 언어 모델의 거부 반응, 아첨, 슬롭을 제어하는 오픈소스 도구 Heretic의 작동 원리와 실전 활용법을 정리했습니다.
대규모 언어 모델(LLM)의 과도한 거부 반응이나 정형화된 상투어(슬롭·Slop), 무조건적인 아첨(Sycophancy) 성향을 수정하려면 통상 대규모 데이터셋과 수십 대의 GPU를 동원한 파인튜닝(Fine-tuning, 사후 미세조정 재학습)이 필요했습니다. 오픈소스 프로젝트 Heretic(헤레틱)은 이러한 재학습 과정 없이, 수학적 가중치 연산과 베이지안 하이퍼파라미터 탐색만으로 일반 소비자용 데스크톱 PC에서 모델 행동 양식을 직접 교정하는 CLI 도구입니다.

이미지 출처: p-e-w/heretic (GitHub README)
Heretic은 GitHub 스타 4만 개를 넘어서며 AI 연구자와 오픈소스 모델 엔지니어 사이에서 큰 관심을 모으고 있습니다. 2026년 11월 8일 최신 안정 버전인 v2.1.0이 배포되었으며, GNU AGPLv3 라이선스 하에 누구나 자유롭게 소스코드를 검토하고 워크플로에 도입할 수 있습니다.
재학습 없는 모델 수정: 어블리터레이션과 ARA의 원리
Heretic의 핵심 기술은 모델의 가중치 행렬에서 특정 행동 패턴을 유발하는 방향 벡터를 찾아내 제거하거나 약화시키는 가중치 절제(Ablation) 기법에 있습니다.
기존의 파인튜닝 방식은 새로운 질문-답변 쌍을 모델에 주입하고 역전파(Backpropagation)를 수행하여 전체 신경망 가중치를 조금씩 갱신합니다. 이 방식은 막대한 연산 자원과 메모리를 요구할 뿐 아니라, 거부 반응을 지우려다 코딩이나 수학 같은 일반 추론 성능까지 함께 망가뜨리는 이른바 '파괴적 망각(Catastrophic Forgetting)' 현상을 피하기 어려웠습니다.
반면 Heretic은 모델을 재학습시키지 않고 다음 두 가지 수정 기법(Modifier)을 선택적으로 적용합니다.
- 방향성 제거(Directional Ablation, 일명 Abliteration): 2024년 아르디티(Arditi) 등의 연구에서 정립된 기법으로, 거부 반응을 유발하는 대표 질문과 무해한 일반 질문을 모델에 넣었을 때 활성화되는 은닉층(Hidden Layer) 벡터의 차이를 계산합니다. 이후 모델의 가중치에서 이 '거부 방향 벡터' 성분만을 직교 투영(Orthogonal Projection) 방식으로 차감해 모델의 안전 가드레일 거부 반응을 억제합니다. Heretic은 레이어별 유연한 절제 가중치 커널과 노름 보존(MPOA) 기법을 함께 지원합니다.
- 임의 순위 절제(Arbitrary-Rank Ablation, ARA): Heretic 개발팀이 자체 고안한 신규 기본 기법입니다. 단일 방향 벡터만 제거하던 기존 방식과 달리 다차원 부분공간(Subspace) 수준에서 불필요한 성분을 선별 제거하여, 모델 고유의 지식 보존율을 한층 끌어올립니다.
이 수정 과정에서 Heretic은 오픈소스 최적화 프레임워크인 옵투나(Optuna) 기반의 트리 구조 파젠 추정기(TPE, Tree-structured Parzen Estimator)를 활용합니다. TPE는 여러 절제 하이퍼파라미터 조합을 탐색하며, 거부율(Refusal Rate)은 최소화하고 원래 언어 모델과의 예측 분포 차이인 KL 발산(Kullback-Leibler Divergence)을 적정 수준으로 유지하는 최적의 균형점을 자동으로 찾아냅니다.
기본 검열 해제부터 상투어·아첨 억제까지: 설정 파일 활용
Heretic은 기본값으로 거부 반응 억제(검열 제거)를 수행하지만, 설정 파일 교체만으로 모델의 어조와 답변 성향을 폭넓게 바꿀 수 있습니다.
사용자는 작업 디렉터리에 위치한 설정 파일(TOML 형식)이나 HERETIC_CONFIG_FILE 환경변수를 통해 내장 프로필을 지정할 수 있습니다.
- 거부 반응 억제 (
config.default.toml): 안전 프롬프트에 걸려 거부 답변을 내놓는 패턴을 탐지해 우회 답변 없이 직설적인 정보를 생성하도록 유도합니다. - 슬롭 감소 (
config.noslop.toml): "물론입니다!", "다음은 요청하신 내용입니다"와 같은 판에 박힌 AI 특유의 인사말이나 공허한 서두 표현을 줄여 밀도 높은 답변을 얻습니다. - 아첨 방지 (
config.nosyco.toml): 사용자가 명백한 오답이나 편향된 주장을 던졌을 때 무비판적으로 동조하는 현상(Sycophancy)을 억제하고 사실에 기반한 반론을 제시하도록 만듭니다. - 길이 및 감정 제어 (
config.terse.toml,config.emotions.toml,config.nohumor.toml): 답변 길이를 간결하게 제한하거나, 감정적 톤을 차분하게 바꾸고 불필요한 유머 시도를 줄이는 등 특수 목적 파이프라인에 맞는 모델 변형을 지원합니다.
나아가 파이썬 기반의 스코어러(Scorer) 플러그인 시스템을 제공하므로, 개발자가 직접 추론 지표를 정의해 모델 출력을 특정 도메인 기준에 맞추어 다목적 동시 최적화(Co-optimization)할 수도 있습니다.
설치 및 소비자용 GPU 환경에서의 실행 절차
Heretic은 파이이썬 3.10 이상과 파이토치(PyTorch) 2.6 이상이 구성된 환경에서 구동됩니다. 공식 패키지 저장소를 통해 손쉽게 설치할 수 있습니다.
pip install -U heretic-llm
heretic Qwen/Qwen3-4B-Instruct-2507
명령어를 입력하면 Heretic이 먼저 사용자 하드웨어의 메모리 대역폭을 벤치마크하여 최적의 배치 크기를 자동 계산합니다. 이후 절제 파라미터 최적화 루프를 돌며 가중치 조정을 진행합니다. 지포스 RTX 3090(VRAM 24GB) 단일 그래픽카드 환경에서 Qwen3-4B-Instruct-2507 모델을 기본 설정으로 처리하는 데 약 30분에서 40분이 소요됩니다.
VRAM 여유가 부족한 환경을 위해 bitsandbytes 기반 실시간 4비트 양자화 옵션(quantization = "bnb_4bit")을 지원합니다. 이 설정을 활성화하면 모델 처리 시 필요한 비디오 메모리를 대폭 낮춰 소형 GPU에서도 연산을 완주할 수 있습니다. 단 실시간 양자화 특성상 약간의 정밀도 손실이 동반될 수 있습니다.
변환 작업이 끝나면 인터랙티브 CLI 환경에서 결과 모델을 로컬 디스크에 저장하거나 Hugging Face Hub에 즉시 업로드할 수 있으며, 내장 챗 기능으로 답변 품질을 직접 확인하거나 MMLU·GSM8K 등 표준 벤치마크를 바로 구동해 지적 추론 역량 훼손 여부를 검증할 수 있습니다.
완전 재현성을 보장하는 매니페스트 시스템
Heretic의 또 다른 강점은 약 9KB 크기의 매니페스트 파일 하나로 동일한 변환 결과를 완벽히 복원해내는 재현성 아키텍처입니다.
수십 기가바이트에 달하는 수정된 모델 가중치 전체를 공유하는 대신, Hugging Face 업로드 시 포함되는 reproduce/reproduce.json 매니페스트를 활용할 수 있습니다. 수신자는 원본 기본 모델과 동일 환경에서 다음 명령어 한 줄만 입력하면 원본 제작자와 바이트 단위까지 일치하는 변환 모델을 로컬에서 재현할 수 있습니다.
heretic --reproduce path/to/reproduce.json
Heretic은 실행 시 환경 차이로 인한 수치 오차를 방지하기 위해 파이토치 버전, 드라이버, 가중치 시드값을 사전에 대조하는 검증 단계를 수행합니다.
도입 전 고려사항 및 버전 호환성
실무 도입에 앞서 점검해야 할 기술적 제약 사항도 존재합니다.
첫째, Heretic 1.x 시절 작성된 TOML 설정 파일은 2.x 아키텍처와 호환되지 않습니다. 이전 설정값을 계속 활용하려면 공식 저장소의 마이그레이션 가이드(docs/migration_v1_to_v2.md)를 참고해 스코어러와 모디파이어 블록 구성을 개편해야 합니다.
둘째, 현재 단일 실행 세션에서는 한 번에 하나의 모디파이어(ARA 또는 Directional Ablation)만 적용할 수 있습니다. 두 기법을 연속 복합 적용하려면 중간 결과물을 저장한 뒤 순차적으로 처리해야 합니다.
고가의 클라우드 GPU 클러스터 없이도 로컬 환경에서 오픈소스 파운데이션 모델의 정렬(Alignment) 특성을 맞춤 조정할 수 있다는 점에서, Heretic은 로컬 LLM 구축과 경량화 연구에 실용적인 선택지를 제공합니다.
출처
- GitHub 저장소: p-e-w/heretic