TAU-HOME.COM
LOADING

Heretic: 파인튜닝 없이 LLM 가중치를 직접 수정하는 오픈소스 도구

고비용 재학습 없이 수학적 가중치 조작과 최적화 기법으로 언어 모델의 검열, 아첨(Sycophancy), 슬롭(Slop)을 제거하는 오픈소스 CLI 도구 Heretic의 구조와 활용법을 정리합니다.

tau · 2026년 11월 15일

#LLM #Abliteration #OpenSource #ModelAlignment #Python

Heretic: 파인튜닝 없이 LLM 가중치를 직접 수정하는 오픈소스 도구

대규모 언어 모델(LLM)의 과도한 거부 반응이나 정형화된 아첨(Sycophancy) 말투를 수정하려면 방대한 연산 자원과 데이터셋을 동원해 모델을 다시 학습시키는 파인튜닝 과정이 필수였습니다. 2026년 11월 8일 v2.1.0 업데이트를 배포한 오픈소스 프로젝트 Heretic(GNU AGPLv3 라이선스)은 이러한 재학습 단계 없이도 소비자용 GPU 환경에서 수학적 가중치 제거 기법만을 사용해 모델의 발화 성향을 바꿀 수 있는 솔루션을 제공합니다.

Heretic CLI 터미널 실행 화면과 언어 모델 가중치 최적화 진행 상태 인터페이스

이미지 출처: p-e-w/heretic (GitHub README)

Heretic은 저장소 공개 이후 GitHub 스타 40,463개, 포크 4,637개를 넘어서며 오픈소스 커뮤니티에서 모델 정렬 도구로 주목받고 있습니다. 고성능 클라우드 클러스터 대신 개인 PC 환경에서 언어 모델의 내부 표현을 어떻게 정밀하게 교정하는지 그 기술 구조와 구체적인 실행 경로를 살펴봅니다.

재학습 없는 모델 수정: ARA와 어블리터레이션의 원리

Heretic이 모델을 변형하는 핵심 축은 가중치 미세조정(Fine-tuning)이 아니라 내부 활성화 벡터의 수학적 소거(Ablation)입니다.

언어 모델은 문장을 생성할 때 특정 개념(예: 안전 거부, 상투적 문구, 무조건적인 사용자 동의)과 연계된 방향성 벡터를 활성화합니다. Heretic은 이 표현 공간을 탐색해 원하지 않는 행동 패턴을 유도하는 가중치 성분만 선별적으로 제거하거나 투영합니다.

  • 임의 순위 제거(Arbitrary-Rank Ablation, ARA): Heretic에 기본 탑재된 모디파이어(Modifier)입니다. 특정 계층의 표현 공간에서 거부나 왜곡을 유발하는 다차원 부분공간을 직접 찾아내 분리합니다.
  • 방향성 제거(Directional Ablation, 일명 Abliteration): 특정 거부 방향 벡터를 추정해 가중치 행렬에서 그 방향 성분만을 빼내는 기법입니다. Heretic은 계층별 어블레이션 가중치 커널을 적용하며, 직교 투영(Projected Abliteration)과 규범 보존(Norm-preserving, MPOA) 방식을 모두 지원합니다.

여기에 Optuna 기반의 TPE(트리 구조 파젠 창 추정기, Tree-structured Parzen Estimator) 하이퍼파라미터 최적화기가 결합됩니다. 최적화기는 모델의 가중치를 수정하는 과정에서 거부율을 낮추면서도 원본 모델의 지식과 언어 구사 능력 손실을 나타내는 쿨백-라이블러 발산(KL Divergence)을 최소화하도록 매개변수 조합을 자동으로 탐색합니다.

설정 파일 하나로 제어하는 모델 성향

Heretic은 사용자가 복잡한 수학 코드를 직접 작성하지 않아도 TOML 형식의 설정 파일만 지정해 모델 동작을 바꿀 수 있도록 설계되었습니다. 기본 설정(config.default.toml)은 거부 반응 억제, 즉 과도한 검열 패턴을 제거하도록 구성되어 있습니다.

다른 성향을 교정하고 싶다면 프로젝트에서 제공하는 사전 정의 설정 파일을 적용하면 됩니다.

  • config.noslop.toml: AI 특유의 상투적이고 공허한 표현, 이른바 '슬롭(Slop)' 발생 빈도를 억제합니다.
  • config.nosyco.toml: 사용자의 오류나 유도 질문에 무비판적으로 동조하는 아첨(Sycophancy) 성향을 줄입니다.
  • config.nohumor.toml: 불필요하게 가벼운 농담이나 우회적 유머 반응을 차단합니다.
  • config.emotions.toml: 모델의 감정적 태도나 정서적 정렬 방향을 변경합니다.
  • config.terse.toml: 장황한 서두와 결말을 배제하고 답변 길이를 간결하게 압축합니다.

스코어러(Scorer) 플러그인 구조도 지원합니다. 사용자는 기본 제공되는 거부율 측정기(keyword_rate.py)나 KL 발산 측정기(kl_divergence.py) 외에도 추상 클래스 Scorer를 상속해 독자적인 평가 지표를 작성할 수 있습니다. 작성된 플러그인은 패키지 내부 코드를 수정하지 않고 외부 경로 지정만으로 설정 파일에 등록해 다중 최적화에 참여시킬 수 있습니다.

설치 요구사항과 실행 워크플로

Heretic은 Python 3.10 이상과 PyTorch 2.6 이상이 구성된 리눅스 및 윈도우 환경을 지원합니다. 패키지는 공식 PyPI 저장소를 통해 내려받을 수 있습니다.

pip install -U heretic-llm
heretic Qwen/Qwen3-4B-Instruct-2507

작업을 시작하면 Heretic은 설치된 하드웨어 사양을 감지해 최적의 배치 크기를 먼저 벤치마킹합니다. 지포스 RTX 3090 GPU 환경에서 Qwen3-4B-Instruct-2507 모델을 기본 설정으로 처리할 경우 약 30분에서 40분 정도의 연산 시간이 소요됩니다.

GPU 메모리(VRAM)가 부족한 사용자 환경을 위해 bitsandbytes 라이브러리를 통한 실시간 4비트 양자화 옵션(quantization = "bnb_4bit")을 제공합니다. 이 옵션을 켜면 추론 시 요구되는 VRAM 용량과 유사한 수준으로 가중치 수정 작업을 수행할 수 있으나, 약간의 모델 정밀도 손실이 동반될 수 있습니다.

작업이 완료되면 변형된 모델 가중치를 로컬에 저장하거나 허깅페이스(Hugging Face) 허브에 즉시 업로드할 수 있습니다. 또한 내장된 대화 테스트 인터페이스를 열어 결과를 직접 검증하거나 MMLU, GSM8K 같은 표준 벤치마크 평가를 순차 실행할 수 있습니다.

9KB 매니페스트로 보장하는 실행 재현성

일반적으로 PyTorch 기반 연산은 하드웨어와 드라이버, 패키지 버전이 조금만 달라져도 완전히 동일한 가중치 출력을 보장하기 어렵습니다. Heretic은 이를 해결하기 위해 약 9KB 크기의 경량 매니페스트 파일인 reproduce.json 생성 메커니즘을 내장했습니다.

허깅페이스 허브로 결과물을 업로드할 때 재현 정보를 포함하도록 선택하면 저장소 내에 reproduce/ 폴더가 생성되고 실행 당시의 소프트웨어 스택과 최적화 파라미터가 기록됩니다. 동일한 환경에서 다음 명령을 입력하면 바이트 단위로 일치하는 변형 모델을 즉시 재현해냅니다.

heretic --reproduce path/to/reproduce.json

다만 도입 전 확인해야 할 제약 사항이 있습니다. Heretic 1.x 계열에서 작성된 레거시 설정 파일은 2.x 계열과 직접 호환되지 않으므로 공식 마이그레이션 문서(docs/migration_v1_to_v2.md)를 참고해 키 구조를 갱신해야 합니다. 또한 설정값의 modifiers 항목 표기가 복수형이지만, 현재 단일 작업 내에서는 하나의 모디파이어(ARA 또는 Abliteration)만 단독 실행되도록 제한되어 있습니다.

고비용 인프라 없이도 로컬 환경에서 오픈소스 모델의 동작 특성을 직접 튜닝하고자 하는 개발자라면 Heretic의 플러그인 생태계와 자동화된 최적화 파이프라인을 검토해볼 만합니다.

출처

Impact-Site-Verification: 9b3ebd10-6c45-44cf-a014-5b8c19b7b285