LLM 내면 상태 자기보고 검증 사다리 공개: 다음 토큰 분포(D) 관찰자로 판별 가능
언어모델의 내면 상태 자기보고 주장을 검증하기 위해 샘플 텍스트(T), 다음 토큰 전체 분포(D), 모델 가중치(W)로 나눈 관찰자 사다리 프레임워크와 Qwen3 실험 결과가 공개됐습니다.
2026년 11월 14일, 대규모 언어모델(LLM)이 자신의 내부 계산 상태를 스스로 감지하고 보고한다는 이른바 내면 상태 자기보고(Introspection) 주장을 엄격하게 검증하기 위한 관찰자 비교 프레임워크가 공개됐습니다. 연구진은 모델의 자기보고가 외부 관찰자보다 우월한 특권적 접근(Privileged access)을 갖추었는지 따지려면, 먼저 외부 관찰자의 정보 접근 수준을 샘플 텍스트(T), 다음 토큰 전체 분포(D), 가중치(W)라는 단계별 사다리로 명시해야 한다고 제안했습니다.

이미지 출처: https://rstation.ai/problems/ai_consciousness/papers/5
기존 AI 의식 및 자기인식 연구에서는 모델이 출력한 문장만 보고 외부 판독기가 알아채지 못한 내부 상태를 모델 스스로 맞혔다는 이유로 자기보고 능력을 인정하는 사례가 많았습니다. 이번 연구는 출력된 단어 하나만 보는 관찰자와 다음 단어 후보 전체의 확률표를 들여다보는 관찰자 사이에 거대한 정보 격차가 존재한다는 점을 수학적 보조정리와 Qwen3 모델 실험으로 입증했습니다.
텍스트(T)·분포(D)·가중치(W) 3단계 관찰자 사다리
연구진이 제시한 검증 사다리는 외부 관찰자가 모델에서 읽어낼 수 있는 정보의 깊이에 따라 세 등급으로 나뉩니다. 여기서 특권적 접근이란 외부 관찰자는 추론할 수 없는 내부 상태 정보를 모델 스스로만 포착해 보고할 수 있는 조건을 뜻합니다.
- T 등급(샘플 텍스트, Sampled text): 사용자가 화면에서 보는 최종 생성 토큰 문자열만 관찰하는 수준입니다. 확률이 가장 높거나 샘플링된 단어 하나만 남기 때문에 미세한 확률 변화는 모두 버려집니다.
- D 등급(다음 토큰 전체 분포, Full next-token distribution): 답변이 생성되기 전을 포함한 각 토큰 위치에서 모델이 계산한 어휘 전체의 다음 토큰 확률 분포를 모두 관찰하는 수준입니다. 모델 가중치를 직접 열지 않고 API 로그확률 등으로 접근할 수 있는 최상위 외부 관찰자입니다.
- W 등급(가중치, Weights): 모델의 가중치와 모든 은닉층 활성화 값을 전부 들여다보는 화이트박스 관찰자입니다. 모델 내부의 모든 정보를 동일하게 볼 수 있으므로 정의상 모델이 W 등급을 이기는 것은 불가능합니다.
핵심 논리는 언어모델 마지막 층의 수학적 구조에 있습니다. 검증 대상 모델들의 중심화된 언임베딩 행렬(Centred unembedding matrix, 마지막 은닉 벡터를 각 단어 점수로 바꾸는 변환 행렬)이 최대 열 계수(Full column rank)를 가지므로, 특정 위치에서 다음 토큰 전체 확률 분포(D)를 아는 관찰자는 그 위치의 최종 정규화된 은닉 상태(Final normed hidden state)에 대한 선형 투영 정보를 그대로 복원할 수 있습니다. 즉 모델의 자기보고가 선형 D 관찰자를 넘어서려면, 모델이 인위적으로 주입된 내부 상태를 가중치에 접근하지 못하는 외부 확률 분포 관측자보다 더 정확히 읽어내야 합니다.
Qwen3-0.6B·1.7B 주입 실험: 텍스트는 무작위, 분포는 1.000 판독
연구진은 이 기준을 검증하기 위해 Qwen3-0.6B 모델의 14번 레이어에 1비트(0 또는 1) 신호를 무작위 저분산 방향으로 주입하는 실험을 수행했습니다. 이 신호는 출력 확률 분포의 변화량(KL 발산)을 거의 일으키지 않는 이른바 KL-quiet 상태로 설계되어, 겉으로 드러나는 말투나 단어 선택만으로는 신호 유무를 알아채기 어렵습니다.
실험 결과는 관찰자 등급에 따라 극명하게 갈렸습니다.
- 훈련된 자기보고 모델(LoRA 적용): 두 개의 무작위 시드 조건 모두에서 주입된 1비트 신호를 판별하는 정확도 지표인 AUROC(1.0이면 완벽한 구분, 0.5이면 무작위 추측)에서 1.000을 기록했습니다.
- T 등급 텍스트 관찰자: 자기보고 모델이 자유롭게 생성한 답변 텍스트를 읽은 외부 텍스트 판독기의 AUROC는 0.531에 머물렀고, 기본 모델 답변에서도 0.523으로 사실상 무작위 추측과 다를 바 없었습니다. 동일한 가중치에서 상태 주입을 끈 상태로 생성 토큰을 다시 읽힌 비교군 역시 0.509였습니다.
- D 등급 전체 분포 관찰자: 모델이 어시스턴트 차례를 시작할 때 사용하는 3개의 챗 템플릿 토큰 위치(p0~p2)에서 최종 은닉 상태에 선형 매칭 필터(Linear matched filter, 두 상태의 평균 차이를 공분산으로 보정해 신호를 추출하는 통계 판독기)를 적용하자, 0.005에서 0.02 사이의 낮은 주입 선량에서도 held-out AUROC 1.000을 달성했습니다.
더 큰 모델인 Qwen3-1.7B에 선량 0.01 조건을 적용한 검증에서도 어시스턴트 시작 템플릿 위치(p0) 관찰자가 동일하게 AUROC 1.000을 기록했습니다. 가중치 접근 없이 다음 토큰 분포만 관측하는 외부 판독기가 훈련된 자기보고 모델과 동등한 수준으로 내부 주입 상태를 읽어낸 것입니다.
검증 프레임워크의 해석과 남아 있는 실험적 한계
에디터 관점에서 이번 실험의 두 결과, 즉 T 등급 텍스트 판독기가 0.531로 무작위 수준에 머물렀다는 점과 D 등급 챗 템플릿 위치 관찰자가 1.000을 달성했다는 점을 나란히 놓으면 기존 자기보고 연구의 착시 원인이 선명해집니다. 모델의 자기보고가 출력 문장만 보는 관찰자(T)를 이겼더라도, 그 우위가 실제 내면의 특권적 접근 때문인지 아니면 챗 템플릿 시작 토큰의 미세한 확률 분포(D)에 이미 새어 나온 선형 흔적을 외부 판독기가 보지 못했기 때문인지 구분되지 않았던 셈입니다.
다만 연구진은 이번 프레임워크가 다루지 못한 한계와 조건도 명확히 밝혔습니다.
- 선형 소거 이후의 비선형 판독: 챗 템플릿 위치에서 선형 매칭 필터가 읽는 신호 성분을 인위적으로 제거(Linear erasure)하면 선형 필터의 AUROC는 약 0.51로 무력화되지만, 소형 다층 퍼셉트론(MLP) 판독기는 소거된 상태에서도 여전히 AUROC 1.000을 달성했습니다. 이 때문에 연구진은 D 등급의 판별 성능을 선형 필터와 소형 MLP 판독기 중 최댓값으로 정의해야 한다고 명시했습니다.
- 비선형 은폐 상태 미검증: 모델이 내부 상태를 겉으로 드러나지 않게 비선형 방식으로 숨기는 비선형 은폐(Nonlinear concealment) 시나리오에 대한 평가는 아직 수행되지 않았습니다.
- 실험 범위의 제약: 이번 수치는 Qwen3-0.6B와 Qwen3-1.7B 모델에 인위적인 1비트 방향 벡터를 주입한 통제 실험에서 얻어진 결과이며, 자연적으로 발생하는 추론 과정의 복합적 내면 상태까지 동일하게 일반화할 수 있는지는 추가 검증이 필요합니다.