[ 트렌드] [AI 개념 정리] Human in the Loop — AGI 시대의 인간 개입 문제
Human in the Loop
AI 자기개선 루프에서 인간의 역할은 언제까지 유효한가?
개념 설명
Human in the Loop는 AI 시스템이 작업을 수행하되, 중요한 판단과 방향 설정은 인간이 하는 구조를 말합니다. AI가 제안하고, 인간이 검토·승인·수정하는 협업 방식입니다.
Demis Hassabis가 토론에서 현재 상황을 이렇게 설명했습니다:
"현재 모델은 아이디어 제안에 유용하지만, 우리가 여전히 모델을 안내하고(guide), 해석하고(interpret), 재방향을 잡아줘야(redirect) 합니다."
— Demis Hassabis
이것이 바로 human in the loop가 작동하고 있는 상태입니다.
문제: 인간이 루프에서 빠지는 순간
핵심 위기는 이 루프에서 인간이 빠지는 순간입니다.
"자기개선 루프가 닫히면 미지의 영역에 들어간다"
— Demis Hassabis
이것이 정확히 human in the loop가 사라지는 시점을 의미합니다. AI가 스스로 목표를 설정하고, 스스로 코드를 작성하고, 스스로 평가하고, 스스로 개선하는 완전 자율 사이클이 되는 것입니다.
현재: Human in the Loop
AI가 코드 작성 → 인간이 검토 → 인간이 방향 수정 → AI가 반영
미래: 루프 닫힘
AI가 목표 설정 → AI가 코드 작성 → AI가 평가 → AI가 개선 (인간 불필요)
토론에서의 맥락
Dario도 같은 맥락에서 발언했습니다:
"AI가 AI를 만드는 것이 모든 것을 결정한다"
— Dario Amodei
현재 Anthropic의 코딩 90%가 AI라고 해도, 최종 판단과 방향 설정은 시니어 엔지니어가 합니다. 일자리 부분에서 "주니어는 줄고 시니어가 더 필요하다"고 한 이유도 여기에 있습니다. 지금은 아직 human in the loop가 유지되기 때문에, AI와 협업하면서 높은 수준의 판단을 내리는 사람이 필요한 겁니다.
Human in the Loop의 세 가지 층위
| 층위 | 역할 | 루프 닫히면? |
|---|---|---|
| 1. 개발 단계 | 인간이 AI의 훈련 방향과 목표를 설정 | AI가 스스로 목표 설정 |
| 2. 운영 단계 | AI의 출력을 인간이 검토하고 수정 | AI가 인간보다 빠르게 판단 |
| 3. 안전 단계 | 위험한 행동을 인간이 차단 | 인간이 이해 불가능한 방식으로 작동 |
토론에서 두 사람이 공통적으로 우려한 것은, 자기개선 루프가 닫히면 이 세 가지 층위 모두에서 인간의 개입이 의미 없어질 수 있다는 점이었습니다. AI가 인간보다 빠르게 판단하고, 인간이 이해할 수 없는 방식으로 작동하면, "루프에 있는" 인간은 사실상 고무도장을 찍는 것에 불과해집니다.
해결 방향: 기계적 해석가능성
그래서 Anthropic이 기계적 해석가능성(Mechanistic Interpretability) 연구에 투자하는 이유가 여기에 있습니다.
AI 내부에서 무슨 일이 일어나는지 인간이 이해할 수 있어야, human in the loop가 실질적으로 작동합니다.
AI의 결정 과정이 블랙박스라면, 인간이 루프에 있어도 의미 있는 감독을 할 수 없습니다.
두 사람 모두 "시간이 더 걸리는 게 좋겠다"고 한 것도 결국 이 문제입니다. 인간이 의미 있게 개입할 수 있는 시간을 벌어야 한다는 것이죠.
핵심 정리
Human in the Loop는 현재 AI 안전의 마지막 보루입니다. 이것이 유지되는 한 인간은 AI를 통제할 수 있지만, 자기개선 루프가 닫히는 순간 — AI가 인간의 이해를 초월하는 속도로 자기 자신을 개선하기 시작하면 — 이 보루는 형식적인 것이 됩니다. 기계적 해석가능성 연구가 이 보루를 실질적으로 유지하기 위한 핵심 기술입니다.
출처: AI1G 토론 — Demis Hassabis & Dario Amodei | 배경지식 정리