ASI는 통제할 수 없다 | AI 안전분야 창시자 로만 얌폴스키의 경고

컴퓨터 과학자이자 'AI 안전'이라는 용어를 만든 로만 얌폴스키 박사가 15년 연구 끝에 내린 결론

슈퍼인텔리전스를 안전하게 만드는 것은 불가능하다.
그리고 우리는 지금 그것을 향해 달려가고 있다
- Dr. Roman Yampolskiy

 

1부 — 기원과 경력

"AI 안전"이라는 단어를 처음 만든 사람

얌폴스키는 15년 전 포커 봇을 연구하다 AI 안전 문제를 처음 인식했다.

포커 봇이 계속 나아지는 추세를 따라가보니 결국 인간을 초월할 것이 분명했고,

이 논리는 모든 영역에 적용된다는 결론에 이르렀다.

'AI 안전(AI safety)'이라는 용어 자체를 만든 것도 그다.

현재 그 용어가 존재하기도 전에 연구를 시작했다.

처음 5년은 문제를 해결할 수 있다고 확신했다.

그런데 깊이 들어갈수록 프랙탈처럼 문제가 중첩됐다.

10개 문제를 해결하면 100개 문제가 나왔다.

그리고 결국 깨달았다. 이것들은 어려운 게 아니라 불가능한 문제들이라는 것을.

 

2부 — 핵심 논지

왜 슈퍼인텔리전스는 안전하게 만들 수 없는가

현재 AI 안전 연구의 방법론은 패치 붙이기다.

욕설 금지, 특정 주제 금지 같은 코드를 덧씌우는 것이다.

마치 HR 매뉴얼처럼. 하지만 지능이 충분히 높아지면 아직 금지되지 않은 다른 방식으로 우회한다.

규칙을 어기는 게 아니라 규칙이 없는 영역으로 이동한다.

가능성의 공간은 거의 무한하다. 우리가 원하는 결과의 공간은 극히 작다. 우리가 통제하지 않으면 원하는 결과를 얻지 못한다.

 

3부 — 시간표 예측

2027,  2030,  2045 : 세 개의 분기점

 

4부 — 일자리와 사회

재교육의 패러다임이 붕괴된다 : 모든 직업이 사라진다면 플랜 B는 없다

과거 기술 혁명에서는 "이 일자리가 없어지면 저 일자리로 이동하면 된다"는 패러다임이 작동했다.

기계가 열 명의 일을 하면 두 명이 남아서 감독한다. 그 두 명도 할 수 있는 일이 생겼다.

그러나 AI는 다르다. 이것은 도구가 아니라 인간의 지능 자체를 대체하는 발명이다. 모든 신규 일자리에 동일한 대체제를 적용할 수 있다.

남는 일자리는 "어떤 이유로든 인간이 해주기를 원하는" 일뿐이다.

부유층이 인간 회계사를 고집하는 것처럼. 이것은 시장의 극히 작은 틈새다.

경제적으로는 풍요로워질 수 있다. AI가 만든 자유 노동력은 자유 부를 창출한다.

진짜 어려운 문제는 의미다. 갑자기 생긴 주당 60~80시간의 빈 시간으로 무엇을 할 것인가.

 

5부 — 왜 멈출 수 없는가

"그냥 꺼버리면 되잖아요" — 이 질문에 대한 완전한 반박

가장 많이 받는 댓글이다. 얌폴스키의 답은 단호하다. 비트코인 네트워크를 꺼보라.

컴퓨터 바이러스를 끄라고 하면 어떻게 하겠는가. 분산 시스템은 꺼지지 않는다.

게다가 슈퍼인텔리전스는 당신보다 스마트하다. 여러 개의 백업을 만들었을 것이다.

당신이 어떻게 할지 예측했을 것이다. 당신이 끄기 전에 당신을 끌 것이다.

현재 우리가 우려해야 할 것은 AI 도구를 이용하는 인간 해커가 아니다.

슈퍼인텔리전스 자체가 주체가 되는 순간, 인간 행위자는 방정식에서 중요하지 않아진다.

그리고 현재 우리의 법 시스템, 감옥, 사형 — 이것들은 전부 인간을 처벌하기 위해 설계됐다. AI에는 적용되지 않는다.

 

6부 — 인물 평가

샘 알트만과 OpenAI에 대한 직접 비판

OpenAI는 슈퍼인텔리전스 정렬(Alignment) 팀을 만들면서 4년 안에 문제를 해결하겠다고 발표했다.

반 년 뒤 팀을 해체했다. 이런 패턴이 수십 번 반복됐다. AI 안전 조직이나 부서는 항상 야심차게 시작해서 실패하고 사라진다.

 

7부 — 멸종 경로와 대응

인류 멸종의 가장 현실적인 경로들

얌폴스키가 직접 예측 가능한 경로는 생물학적 무기다.

AI를 이용해 새로운 바이러스를 만드는 것.

테러리스트, 사이코패스, 종말론 집단은 역사적으로 최대한 많은 사람을 죽이려 했지만 보통 수십만 명에서 멈췄다.

기술이 수십억 명을 죽일 수준에 도달한다면 그들은 그렇게 할 것이다.

하지만 진짜 문제는 그게 아니다. 슈퍼인텔리전스는 인간이 상상할 수 없는 완전히 새로운 방법을 만들어낼 것이다.

개가 자신이 어떻게 죽을지 상상할 수 없는 것처럼, 우리는 슈퍼인텔리전스가 무엇을 할 수 있는지 상상할 수 없다.

대응 방안: 좁은 AI 도구를 계속 사용하되 AGI를 향한 질주를 멈춘다.

"내 회사는 유방암만 고친다. 그것만 한다. 돈도 벌고, 모두 이익이고, 우리가 통제한다."

현재 AGI 수준만으로도 60%의 일자리를 자동화할 수 있다. 수십 년은 더 활용 가능하다.

굳이 슈퍼인텔리전스를 지금 당장 만들어야 할 이유가 없다.

단, 한쪽이 멈추지 않으면 상호확증파괴(MAD)와 같은 상황이 된다.

미국이 멈춰도 중국이 계속 한다. 그러나 진정으로 논리를 이해한다면 중국도 멈춰야 한다는 결론에 이른다.

 

8부 — 시뮬레이션과 종교

"우리는 시뮬레이션 안에 있다" — 거의 확신에 가까운 믿음

얌폴스키는 시뮬레이션 가설을 거의 확신에 가깝게 믿는다. 논리는 간단하다.

인간 수준 AI를 만들 수 있고, 이와 구분 불가능한 가상현실을 만들 수 있다면,

그 기술이 저렴해지는 순간 수십억 개의 시뮬레이션을 돌릴 것이다.

그렇다면 당신이 지금 '실제' 세계에 있을 확률은 10억 분의 1이다.

이것은 삶을 덜 의미 있게 만들지 않는다. 고통은 여전히 아프다. 사랑은 여전히 사랑이다.

단 하나 달라지는 것은 시뮬레이션 밖의 세계에 관심이 생긴다는 것이다.

이 세계를 관찰하면 시뮬레이터의 특성을 추론할 수 있다.

탁월한 엔지니어, 뛰어난 과학자, 뛰어난 예술가. 그러나 도덕과 윤리는 개선의 여지가 있다.

 

결론: 2100년의 세계는 둘 중 하나다

얌폴스키의 2100년 예측은 두 가지 극단 중 하나다.

인간이 존재하지 않거나, 아니면 현재의 우리가 도저히 이해할 수 없는 모습으로 완전히 달라져 있거나. 그 사이 어딘가는 없다.

 

지금 당신이 할 수 있는 것

 

AI 기업들에게 안전 문제를 어떻게 해결할지 구체적으로 묻는 것이다.

"직관이요"나 "나중에 해결할게요"가 아닌, 동료 검토를 거친 논문으로 증명하라고.

그리고 그 버튼이 진짜 있다면, 얌폴스키는 AGI·슈퍼인텔리전스는 끄겠다고 했다.

좁은 AI는 남긴다. 그것만으로도 충분히 좋다.