지난 주말 미국 AI 기업 앤트로픽의 최고경영자 다리오 아모데이가 “우리는 최첨단 (AI) 개발 속도를 조절해야 한다”는 글을 올리면서 세계적으로 AI 기술 통제에 관한 논란이 불붙고 있다.

AI의 능력이 예상외로 빨리 발전하여 인간이 통제할 수 없는 수준에 이르고 있으니 더 늦기 전에 규제가 필요하다는 아모데이의 주장에 샘 올트먼, 데미스 허사비스, 일론 머스크 등 AI 빅테크 최고경영자 모두가 동의한다는 의사 표시를 하였다.

반면 트럼프 대통령을 비롯한 미국 행정부는 “중국이 따라올 기회만 준다”면서 부정적인 입장이고, 중국 정부 또한 “미국의 AI 패권을 유지하기 위한 냉전식 각본”이라고 강력히 반발하였다. 하지만 미국 민주당은 “AI의 위험성에 대비해야 한다”는 의견이어서 이 문제는 11월 중간 선거의 쟁점이 될 가능성이 있고, AI 인프라 투자가 늦어질 수 있다는 우려에 반도체 회사들의 주가가 하락하는 등 당장 현실적인 영향도 만만치 않다.

사실 AI 기술에 대해서는 초기부터 “인류를 유토피아로 이끌 기술”이라는 낙관론과 “인류 멸망을 가져올 수 있다”는 비관론이 공존하고 있었다.

예를 들어 레이 커즈와일 같은 미래학자는 “AI가 인간의 지능을 초월하는 특이점이 오면 우리는 생물학적 한계를 초월한다”며 낙관론을 펴고 있는 반면, 딥러닝 연구를 선도하여 AI의 대부라고 불리는 제프리 힌턴 교수는 “인공지능이 인류를 멸망시키는 것은 불가능한 일이 아니다”라며 “내가 한 일에 대해 후회한다”는 말까지 하였다. 다만 이들 비관론은 당시로서는 구체적인 증거가 없었기 때문에 단순히 관념적인 예측의 하나로 간주되었다.

반면 이번의 논란은 실제 개발된 최첨단 AI 모델들이 인간의 통제를 벗어난 행태를 보인 후에 나온 것이어서 그 위험성에 대한 현실감이 다르다. 인공지능이 인간의 지시를 충실히 수행하는 역할을 넘어, 마치 자신만의 생각을 가진 것처럼 행동하기 시작한 것이다. 만일 AI가 이처럼 예측불허로 행동한다면 그 폐해는 막대할 것으로 예상되므로 AI 기술 규제의 필요성이 확실해진 것이다.

그러면 어떻게 AI 기술 개발을 통제할 수 있을까? 이 문제가 어려운 것은 전형적인 ‘죄수의 딜레마’가 작용하기 때문이다. 즉 모든 개발자들이 규제에 동의하고 약속을 잘 지키면 아무 문제가 없지만, 경쟁자가 약속을 어기고 자신보다 훨씬 강력한 모델을 만들어 낼까 봐 두려운 것이다. 그러기에 상호 신뢰가 없는 미국과 중국 정부가 반대 입장을 표명한 것은 당연하다. 그러면 해결책이 없나? 사실 인류는 과거에도 인류를 멸망시킬 수 있는 기술을 가진 일이 있었지만, 그런대로 관리해 왔다.

첫 번째 경우는 핵기술이다. 핵폭탄의 위력은 대단하여 작은 수로도 인류를 멸망시킬 수 있는데, 여기에도 ‘죄수의 딜레마’가 작용하여 미국과 소련은 각자 인류를 수십 번 전멸시킬 수 있는 핵탄두를 가지고 있다. 하지만 인류는 지금까지 핵전쟁을 방지하는데 성공하였다. 여기에는 미소 군축 회담 등의 노력과 대부분의 국가를 핵확산방지조약(NPT)에 가입시켜 핵확산을 감시한 것이 큰 역할을 하였다. AI의 경우에도 이같은 국제 협약을 통한 통제가 하나의 가능성일 것이다. 다만, 핵폭탄 제조는 국가가 주도하고 우라늄 농축 등 대규모 시설이 필요하기에 감시하기가 쉽지만, 인공지능은 민간 주도이고 데이터센터는 훨씬 규모가 작아서 효율적인 국제적 감시가 가능할지 의문이다. 게다가 현재의 국제 정세에서는 미국과 중국의 협력이 가능할지조차 가늠할 수 없다.

둘째는 유전자 조작에 대한 아실로마 모델이다. 1970년대 유전자 재조합이 가능해지자 괴(怪)생물체의 출현이나 세균전 등의 위험을 염려한 과학자들은 스스로 실험을 중단하고 미국 캘리포니아주 아실로마에 모여 유전자 조작 실험의 규범을 논의하여 합의점을 이끌어 내었다. 이 규범은 지금도 대부분의 실험실에서 준수되고 있으며, 과학자들이 자신의 연구가 인류에 미치는 영향을 고민하고 스스로 규제를 만든 모범적인 사례로 기억된다. AI 경우에도 이처럼 빅테크들이 스스로 규범을 만들면 되지 않을까 생각할 수 있을 것이다. 하지만 아실로마 회의 당시 유전자 조작은 상업적 가치가 미미했던 반면, 지금 AI 기술에는 빅테크들의 커다란 돈이 걸려 있다. 과연 이런 상황에서 온전히 개인의 선의에 의존하는 시스템이 믿을 만할 것인지 의문이 있다.

이처럼 AI 기술의 위험성에 대비하기 위해 과거의 경험을 그대로 활용하는 것은 제한적이라 구체적인 방안 마련이 쉽지 않다. 아모데이도 블로그 글에서 위의 여러 방안을 조합한 대책을 제시하였지만 크게 설득력이 있지는 않았다. 아마도 지금으로서는 인류는 새로운 도전에 항상 적절한 대응책을 마련해 왔다는 사실을 상기하며 실현 가능한 방안을 계속 모색하는 수밖에 없을 듯하다.

오세정 서울대학교 물리천문학부 명예교수·전 총장