모델 내부 관측실 — Protofelix × AstraHo

01이곳에서 무엇을 얻는가

고정 가중치의 소형 신경망(입력 2 → 은닉 2 → 출력 1)에서 활성을 직접 관찰하고, 유닛 제거·입력 교란이라는 인과 개입으로 출력 변화를 비교합니다. 어텐션 가중치(관찰), 사후 설명(이야기), 인과 개입(검증)의 차이를 몸으로 익히는 실습실입니다.

이 시각화는 이 소형 모델에만 해당하며 상용 LLM 내부를 관찰한 것이 아닙니다. 정확한 구조도는 이 페이지의 계산 자체가 곧 구조입니다.

02관측과 개입

개입 선택 유닛 h1 제거 (출력을 0으로 고정) 유닛 h2 제거 입력 A 뒤집기 (교란)

현재 입력 (A, B)

구조: A,B → [h1 = σ(2A + 2B − 1), h2 = σ(2A − 2B − 0.5)] → out = σ(3·h1 − 2·h2 − 1.5). σ는 시그모이드. 모든 값은 브라우저에서 실제로 계산됩니다.

03결과 설명과 가장 강한 반론

관찰한 것 / 추론한 것 / 아직 모르는 것

관찰한 것: 입력별 활성·출력과 개입(제거·교란) 전후의 차이 (브라우저 계산).
추론한 것: "h1은 OR을, h2는 A-and-not-B를 담당한다"는 것은 개입으로 확인된 해석입니다.
아직 모르는 것: 유닛이 크고 얽힌 실제 모델에서는 이런 깔끔한 해석이 성립하지 않을 수 있습니다.

실패 조건: 관찰(어텐션 지도)과 설명(그럴듯한 이야기)을 개입(검증된 원인)과 혼동하는 것입니다. "이 유닛이 X를 담당한다"는 말은 유닛을 제거했을 때 X 관련 출력이 실제로 바뀌어야 성립하며, 사후 설명은 그 검증을 대신하지 못합니다.

다음 질문 — 쉬운: "내가 AI에 대해 쓴 설명 중 '이야기'와 '검증'을 구분할 수 있나?" · 반대: "개입이 항상 가능하지 않다면 해석은 포기해야 하는가?" · 먼 분야: "의학의 '병변 연구'(손상 부위와 기능 상실)는 뉴런 제거 실험과 무엇이 같은가?"