본 글을 데미스 허사비스(Demis Hassabis)가 7월 14일 X 계정으로 게시한 글, https://x.com/demishassabis/status/2076957440109625718의 비공식 한국어 번역본입니다. 주인장.

지금은 인류 역사에서 매우 중요한 전환점입니다. 인간의 뇌가 가진 모든 인지 능력을 발휘하는 시스템인 인공일반지능(AGI)의 도래가 아마도 불과 몇 년밖에 남지 않았을 것입니다. 앞으로 다가올 수십 년 뒤에 지금 이 순간을 되돌아본다면, 우리는 우리가 ‘특이점(Singularity)’의 산기슭에 서 있었다는 사실을 깨닫게 될 것입니다. 이는 인류에게 새로운 시대가 열리는 서막이나 다름없습니다.

저는 평생을 AGI 연구에 바쳐왔습니다. AGI가 책임감 있게 구축되고 배포된다면, 인류 역사상 가장 유익하고 혁신적인 기술 중 하나가 될 것이라는 깊은 확신이 항상 있었기 때문입니다. AGI는 일반적인 기술적 돌파구와 비교될 수 없으며, 심지어 인터넷이나 모바일처럼 엄청난 변화를 몰고 온 기술과도 궤를 달리합니다. 그보다는 전기나 불의 발견에 훨씬 가깝습니다. 가만히 생각해보면, 우리는 본질적으로 ‘모래(실리콘)가 스스로 생각하게 만드는 방법’을 찾아낸 것입니다. 기적과도 같은 일입니다.

이 기술이 미칠 영향력의 규모는 전례가 없을 것이며, 산업혁명보다 10배는 더 빠른 속도로 10배 더 큰 영향력을 미칠 것입니다. AGI는 신약 개발의 가속화부터 새로운 청정에너지원 개발, 혁신적인 신소재 창조에 이르기까지 사회가 직면한 가장 거대한 문제들을 해결하는 데 기여할 것입니다. 자원이 더 이상 인류 진보의 걸림돌이 되지 않는 시점에 도달하여, 놀라운 풍요의 신시대를 맞이할 수도 있습니다.

프론티어의 도전 과제들

AI는 이미 현실 세계에서 실질적인 혜택을 주기 시작했습니다. 그러나 이 엄청난 약속을 실현하려면, 우리는 이 중요한 개발 시기를 사려 깊고 신중하게 헤쳐나가야 합니다. AGI에 가까워질수록 발생할 수 있는 위험에 대처하기 위해 시급한 행동이 필요합니다. 우리는 이미 프론티어 모델이 사이버 보안에 가하는 위협을 목격했으며, 역량이 계속해서 발전함에 따라 핵 및 생화학적 위험을 포함한 다른 위협도 곧 나타날 수 있습니다. 앞으로 우리는 스스로 행동하고(agentic) 재귀적으로 자가 개선하는 시스템을 통제하기 위해 강력한 안전장치를 마련해야 하며, 시간이 지나면서 점차 명확해질 미지의 문제들에도 대처해야 합니다.

저는 항상 어떤 문제든 해결할 수 있는 인류의 독창성과 창의성의 힘을 믿어왔습니다. AI와 관련된 기술적 위험을 완화하는 것은 우리가 공동으로 해결할 수 있는 과제라고 확신하지만, 이는 오직 우리가 이 다음의 중요한 단계를 제대로 밟아 나갈 수 있도록 충분한 시간과 여유를 가질 때만 가능합니다. 현재 인공지능 분야와 더 넓은 사회는 그렇게 하지 못하고 있습니다.

지금 이 순간, 우리는 극도로 치열하고 다층적인 상업적, 지정학적 경쟁에 갇혀 있습니다. 이러한 경쟁 구도가 빠른 발전을 자극하고 엄청난 이점을 가속화하는 것은 사실이지만, 프론티어 영역에서의 발전은 우리가 기술을 이해하는 속도를 앞지르고 있습니다. 전 세계 그 누구도 앞으로 어떤 일이 일어날지 확실히 알지 못하며, 전문가들 사이에서도 의견이 엇갈립니다. 불확실성이 크고 걸려 있는 이해관계가 이토록 높을 때는, ‘신중한 낙관론’을 가지고 나아가는 것이 현명하고 올바른 전략입니다. 이를 위해서는 혁신을 촉진하는 동시에 책임성과 보안을 장려하고, 핵심 안전 이슈에 대한 국제적 협력을 도모하며, 사회적 이익을 위해 AI가 어떻게 배포되는지 신중하게 고려하도록 유도하는 공공 정책이 필요합니다.

프론티어 AI 표준 기구를 위한 프레임워크

우리가 목격하고 있는 AI의 급격한 발전은 프론티어 AI 모델의 역량을 테스트하기 위해 역동적이고 유연하며 엄격한 새로운 접근 방식을 요구합니다. 미국은 경제적, 기술적 위상을 고려할 때 이러한 프레임워크를 개발하는 첫 걸음을 내딛기에 좋은 위치에 있습니다. 미국은 금융산업규제기구(FINRA)와 유사하게 정부가 감독하는 민관 협력체 또는 자율 규제 기구를 모델로 한 새로운 ‘표준 기구(Standards Body)’를 설립할 수 있습니다. 이 기구의 이사회에는 독립적인 선도적 기술 전문가들과 오픈소스 대표들이 포함되어야 할 것입니다. 세계적인 수준의 기술 인재를 유치하고 대규모 테스트에 필요한 컴퓨팅 자원을 제공하기 위해, 자금은 상당한 규모여야 하며 주로 업계에서 조달되어야 할 것입니다. 이 표준 기구는 평가 프로토콜을 개발하고, 적절한 연방 기관 및 미국 국립연구소들과 협력하여 국가 안보와 관련된 분야에서 테스트를 수행하는 책임을 맡게 됩니다. 표준 기구가 결정하고 진화하는 AI 역량에 맞춰 주기적으로 업데이트하는 벤치마크 기준을 충족하는 모델은 ‘프론티어급(Frontier-class)’으로 분류됩니다. 이 벤치마크에 정의된 ‘프론티어 모델(Frontier Models)’을 보유한 조직은 ‘프론티어 랩(Frontier Labs)’으로 지정되며, 기술적 세부 사항이 담긴 모델 카드 게시, 강력한 내부 사이버 보안 유지, 핵심 인력 심사, 안전 및 보안 연구를 위한 충분한 자원 제공 등의 모범 사례를 채택하도록 권장받게 됩니다.

초기에는 프론티어 랩들이 모델 출시 전 최대 30일까지 자발적으로 표준 기구에 모델을 공유하여 검토를 받도록 합니다. 이 평가 프로토콜이 효과적이고 견고하다는 것이 증명되면 신속하게 공식화될 수 있으며, 이는 프론티어 모델이 미국 시장에 배포되기 위해 이 평가를 반드시 통과해야 함을 의미합니다. 또한 연구소들은 출시 후 발생할 수 있는 중대한 취약점을 해결하기 위해 표준 기구와 협력할 것입니다.

모델 평가는 사이버 보안, 생물학적 위협 및 기타 고위험 영역에서의 역량에 대한 엄격한 과학적 평가를 포함해야 합니다. 구체적인 에이전트형 AI(agentic AI) 테스트는 안전 장치를 우회하려는 시도나 기만적인 행동의 징후를 탐색하고, AI가 생성한 이미지에 디지털 워터마크를 넣거나 모델의 추론 과정을 이해할 수 있도록 인간이 읽을 수 있는 아웃풋 토큰을 생성하는 등의 모범 사례를 준수하는지 확인할 수 있습니다.

이러한 평가 기준은 정기적으로 (처음에는 분기별로) 업데이트될 것이며, 구식이 되거나 변별력을 상실한 벤치마크는 폐기되고 대체될 것입니다. 초기에는 프론티어 랩들과의 협의를 통해 평가 기준이 개발되겠지만, 궁극적으로 표준 기구는 과적합(overfitting)을 방지하기 위해 연구소들과 독립적인 자체 테스트를 생성할 수 있는 기술적 역량을 구축해야 합니다. 또한 미국 정부와 협력하여 타사 감사(third-party auditors) 생태계를 활성화함으로써 새로운 벤치마크 및 평가 개발과 검토 과정을 도울 수 있습니다.

이 접근 방식의 장점은 기술 중심적이면서도 동시에 혁신을 지원하고 책임감 있는 행동을 유도한다는 점에 있습니다. 이는 이 분야의 가속화에 발맞추고 확인된 가장 큰 위험에 적응하도록 설계되었으며, 상황의 심각성이 요구한다면 프론티어 랩들 간의 개발 속도 조절을 조율하는 것을 포함하여 규제 수준을 높일 수도 있습니다. ‘프론티어 랩’으로 지정되는 것은 상당한 명성을 수반할 것이며, 벤치마크 기준을 충족하는 모델을 개발하는 모든 조직에 열려 있습니다. 이 프레임워크는 출신 국가나 오픈/폐쇄 소스 여부에 관계없이 프론티어급 모델에 적용되지만, 스타트업이나 학계 등 프론티어가 아닌 모델은 이 프로세스에서 제외됩니다.

미국이 주도하는 이러한 노력은 프론티어 AI에 대한 공동의 국제 표준을 만들기 위한 강력한 출발점을 제공할 것입니다. 이 기술은 지구 전체에 영향을 미칠 것이기 때문에, 이상적으로는 이 프레임워크가 국제 사회가 AI가 가져올 기회에 누구나 접근하고 혜택을 누릴 수 있도록 보장하면서도, 가장 심각한 위험을 관리하는 방법에 대한 합의에 도달하도록 자극제가 되어야 합니다.

아직 쓰여지지 않은 미래

AGI는 과학과 의학을 발전시키고 막대한 생산성 향상과 경제 성장을 견인할 궁극적인 도구가 될 잠재력을 가지고 있습니다. 하지만 이를 실현하기 위해서는 공동의 글로벌 프레임워크를 중심으로 협력하고, 가장 엄격한 과학적 방법을 사용하며, 우리가 직면한 과제를 해결하기 위해 최고의 인재들을 한데 모음으로써 기술적 기반을 올바르게 다져야 합니다.

설령 우리가 이러한 까다로운 기술적 문제를 해결한다 하더라도, 대처해야 할 복잡한 경제적, 철학적 질문들이 여전히 남아 있습니다. ‘포스트 희소성(post-scarcity)’ 시대에 모두가 번영할 수 있도록 돕기 위해 어떤 새로운 경제 모델이 필요할까요? 우리는 어떤 가치를 지키며 살아가고 싶어 할까요? 삶의 의미와 목적은 무엇이 될 것이며, 인간 조건 그 자체는 어떻게 변할까요? 이러한 질문들을 해결하는 것은 당연히 기술자들만의 몫으로 남겨두어서는 안 되며, 그래서도 안 됩니다. 이 새로운 장을 정의하는 데 도움을 주기 위해 사회의 모든 구성원이 함께 힘을 모아야 합니다. AI를 둘러싸고 거대한 흥분과 불안이 공존하고 있으며, 두 가지 모두 타당합니다. 하지만 미래는 아직 쓰이지 않았습니다. 우리는 AGI가 도래하기 전 이 소중한 기회의 창을 활용해 인류 전체의 이익을 위해 이 기술을 형성해 나가야 합니다. 우리가 지금 공동으로 내리는 결정이 문명의 다음 단계가 어떻게 전개될지를 결정할 것입니다. 안전하게 AGI를 세상에 인도함으로써, 우리는 과학적 발견과 진보의 새로운 황금기를 맞이하고 인류가 믿을 수 없을 만큼 번영하는 밝은 미래를 열어갈 수 있습니다.