1. AGI 타임라인과 정의

진행자: "AGI가 언제쯤 도래할 것이라고 생각하십니까?"

Dario: "'AGI'보다 '강력한 AI'라는 표현을 선호합니다. 2026-2027년 사이에 AI가 인지 작업에서 인간을 초월할 것입니다. 정확한 날짜보다는 능력의 연속적 스펙트럼으로 봐야 합니다."

Demis: "AGI 정의가 매우 까다롭습니다. 이 10년 끝까지 50% 확률. 현재의 아키텍처로만 발전한다고 가정할 수는 없습니다."

공통: "놀라울 정도로 가까이 와 있다(remarkably close)."

2. 코딩 자동화와 자기개선 루프

Dario: "6-12개월 내 대부분의 SW 엔지니어링이 end-to-end 자동화될 것입니다. Anthropic 코딩의 90%가 이미 AI에 의해 수행되고 있습니다."

Demis: "현재 모델은 아이디어 제안에 유용하지만 완전한 자동화 루프는 아직 닫혀있지 않습니다. 자기개선 루프가 닫히면 미지의 영역(uncharted territory)에 들어갑니다."

Dario: "정확히 그 지점이 핵심입니다. 'AI가 AI를 만드는 것'의 현실화 속도가 모든 것을 결정합니다."

3. 산업 경쟁과 비즈니스 모델

Dario: "Anthropic은 2023년 $1억, 2024년 $10억, 2025년 목표 $100억. 자체 채널(claude.ai)과 API로 충분히 지속 가능합니다."

Demis: "'기능 과잉(capability overhang)'이 흥미롭습니다. 현재 모델조차 완전히 활용되지 않고 있습니다."

4. AI의 위험성

Dario: "Carl Sagan의 Contact에서 나온 '기술적 청소년기(technological adolescence)' — 우리가 자기 파괴 없이 성숙에 도달할 수 있을까?"

Dario: "바이오테러리즘: 현재는 안전하지만 1-2년 내 임계점. 국가 악용: 권위주의 정권의 무기화. 모델 기만 행동: 이미 관찰됨."

Demis: "기계적 해석가능성 연구에 투자 중. 뇌과학과 유사한 접근으로 신경망 작동 원리를 이해하려 합니다."

5. 일자리와 노동시장

진행자: "작년에 '화이트칼라 일자리 절반이 영향받을 것'이라 하셨는데?"

Dario: "같은 견해입니다. 1-5년 내 실질적 영향. Anthropic 내에서도 주니어~중급 수요 감소 중. 시니어의 판단과 방향 설정이 더 중요해집니다."

Demis: "단기적으로는 기술 진화 연장선. 80%가 농업→공장→지식노동으로 전환된 역사가 있습니다. 그러나 지수적 가속이 적응력을 압도할 수 있습니다."

6. 정부 준비와 인간의 의미

Demis: "충분한 준비가 이루어지지 않고 있습니다. 경제학자들도 부족합니다. 탈희소성 세계에서 부 분배와 제도 문제는 경제를 넘어 사회적 문제입니다."

Demis: "낙관적입니다. 극한 스포츠, 예술, 우주 탐사에서 새로운 의미를 찾을 수 있습니다. 하지만 자동으로 일어나지는 않습니다."

7. 대중 반발과 지정학

Dario: "두려움과 우려는 합리적입니다. AI의 긍정적 사례(AlphaFold 등)를 더 보여줘야 합니다."

Demis: "'명백한 선(unequivocal good)'의 사례를 더 보여주는 것이 업계의 책임입니다."

Demis: "최소 안전 기준에 대한 국제 합의가 절실합니다. 약간 느린 속도가 세계에 더 좋겠습니다."

8. 칩 수출과 미국 전략

Dario: "칩 수출 통제가 가장 중요한 정책입니다. 중국에 칩 판매는 '북한에 핵무기 판매'와 같은 수준입니다."

진행자: "행정부는 '공급망을 위해 팔아야 한다'고 주장하는데?"

Dario: "잘못된 논리입니다. 단기 경제 이익을 위해 장기 안보를 포기하는 것입니다."

9. Doomerism과 AI 기만

Dario: "'운명론(doomerism)'에는 회의적입니다. 하지만 위험은 실재합니다. 기계적 해석가능성 연구를 처음부터 주도해왔습니다."

Demis: "충분한 시간과 협력이 있다면 해결 가능합니다. 20년 이상 이중용도 기술의 위험을 인식해왔습니다."

10. Fermi 패러독스

Demis: "AI가 문명을 파괴한다면 우주에 종이클립이나 다이슨 구가 보여야 합니다. 대필터는 다세포 생물 진화에 있었을 것. 우리는 이미 통과했습니다."

11. 마무리: 1년 후

Dario: "AI가 AI를 만드는 것이 최대 관전 포인트. '경이(wonder)'와 '큰 위기(great peril)' 사이의 좁은 길을 걷고 있을 것입니다."

Demis: "World models, continual learning, 로보틱스 주목. 시간이 좀 더 걸리는 것이 세계에 더 좋겠습니다."

Dario: "저도 그게 더 낫다고 생각합니다."

진행자 (웃으며): "여러분이 뭔가 할 수 있을 텐데요."

출처: AI1G 토론 영상 자막 기반 한글 번역