찰스 3세 주요 AI 기업 스코틀랜드에 소집

찰스 3세 주요 AI 기업 스코틀랜드에 소집

찰스 3세 영국 국왕이 OpenAI와 Anthropic, Nvidia, Google DeepMind 등 주요 인공지능 기업 관계자들을 스코틀랜드로 불러 AI 안전과 인간의 통제, 첨단 모델 개발에 적용할 공동 원칙을 논의한다.

회의는 9월 17일 스코틀랜드 에어셔의 덤프리스 하우스에서 열릴 예정이다. 영국 비영리기관 Ditchley Foundation이 행사를 지원하며, AI가 사회에 이익을 제공하면서 인간의 존엄성을 유지할 수 있도록 개발·활용하는 방안이 주요 의제로 다뤄진다.

참석 예정 인사에는 Nvidia 창업자 겸 최고경영자 젠슨 황, Google DeepMind 공동창업자 겸 회장 데미스 허사비스, OpenAI와 Anthropic의 고위 관계자들이 포함됐다. OpenAI에서는 최고재무책임자 사라 프라이어가 참석할 예정이다.

양자컴퓨팅 기업 IonQ의 니콜로 데 마시 회장 겸 최고경영자와 바티칸에서 AI 및 기술윤리 문제를 자문하는 파올로 베난티 신부도 참석자 명단에 포함됐다. 영국 정부에서는 카니시카 나라얀 AI 담당 장관이 참석한다.

공동 AI 원칙 논의

Ditchley Foundation은 이번 회의를 앞두고 AI 기업 지도자들이 검토할 수 있는 공동 원칙 초안을 마련했다. 논의의 중심에는 AI가 인간의 존엄성을 존중하고 사람과 사회, 환경에 긍정적인 결과를 제공하도록 개발돼야 한다는 내용이 포함됐다.

버킹엄궁은 이번 행사의 목적을 AI가 사회에 이익을 제공하고 사람과 지구의 번영에 기여하는 방식으로 활용될 수 있는지를 논의하는 것이라고 설명했다.

회의에서는 프런티어 AI 개발뿐 아니라 생물학적 무기와 핵심 인프라에 대한 사이버 공격 등 고위험 영역에서 AI 사용에 명확한 제한선을 설정할 수 있는지도 논의될 예정이다. 별도의 논의에서는 AI가 청소년과 환경, 기업, 개발도상 지역에 미치는 영향도 다뤄질 것으로 전해졌다.

다만 이번 회의가 AI 개발 속도를 공동으로 제한하는 공식 합의를 의미하는 것은 아니다. 현재 OpenAI와 Anthropic, Nvidia, Google DeepMind 등이 참여하는 산업 전체의 개발 중단이나 공통 일정은 발표되지 않았다.

Amodei AI 개발 속도 조절 촉구

이번 회의는 AI 기업 경영진과 연구자들이 첨단 모델의 개발 속도에 대해 잇달아 경고를 내놓은 직후 열린다.

Anthropic 최고경영자 다리오 아모데이는 최근 프런티어 AI 모델을 지나치게 빠르게 개발하는 방식에 문제를 제기하며 업계가 개발 속도를 낮춰야 한다고 주장했다. 그는 독립적인 외부 평가기관이 AI 기업의 연구 과정과 시스템에 지속적으로 접근해 안전조치 준수 여부와 사고 발생 상황, 훈련 과정의 정렬 상태를 평가하는 방안도 제시했다.

아모데이는 특히 여러 AI 에이전트가 동시에 작동하는 시스템의 능력이 빠르게 증가하고 있다고 언급했다. 사이버보안과 AI 연구 자동화 등에서 모델 성능이 높아지면서 현재보다 강력한 에이전트 집단을 통제하는 문제가 앞으로 더욱 커질 수 있다는 것이 그의 주장이다.

Anthropic은 최근 별도의 위협정보 보고서에서도 Claude가 무기 개발과 사이버 작전, 감시, 사기 등에 악용된 사례를 확인하고 관련 활동을 차단했다고 밝혔다. 회사는 AI 모델의 성능 향상과 함께 실제 악용 사례도 변화하고 있다고 설명했다.

Sam Altman도 프런티어 개발 속도 조절 지지

OpenAI 최고경영자 샘 올트먼도 아모데이의 제안 이후 프런티어 AI의 개발 속도를 조절할 필요가 있다는 입장을 밝혔다.

올트먼은 프런티어 모델의 능력 향상 속도와 안전장치 구축 속도를 맞춰야 한다는 아모데이의 방향에 동의한다고 밝혔다. Anthropic이 제안한 것처럼 독립 평가자가 내부 직원에 준하는 수준으로 시스템을 평가할 수 있도록 하는 방식도 OpenAI가 도입하겠다고 했다.

OpenAI는 지난 8월에도 사이버보안 능력이 빠르게 향상되는 상황을 이유로 모델 확장 속도를 일시적으로 늦췄다고 발표했다. 회사는 당시 개발 중이던 Astra가 자체 Preparedness Framework에서 사이버보안 능력의 ‘Critical’ 단계에 도달할 가능성을 확인한 뒤 모니터링과 정렬, 보안 체계를 강화하는 동안 스케일링 속도를 조정했다고 밝혔다.

이후 공개된 GPT-6 Astra 시스템 카드에서 OpenAI는 Astra를 회사의 Preparedness Framework상 처음으로 사이버보안 ‘Critical’ 수준에 도달한 모델로 분류했다.

Google DeepMind와 Elon Musk도 감속 논의 참여

Google DeepMind의 데미스 허사비스도 AI 개발 속도를 조절해야 한다는 논의의 방향에 동의했다. 그는 구체적인 실행 방식에는 추가 논의가 필요하지만 현재의 상황에 대응하는 방향 자체는 적절하다는 입장을 밝혔다.

일론 머스크 역시 아모데이의 제안에 공개적으로 동의를 표시했다. 머스크는 이전부터 고성능 AI가 가져올 위험을 반복적으로 언급해 왔으며 최근 논의에서도 AI 안전 문제와 개발 경쟁에 대한 우려를 다시 제기했다.

OpenAI와 Anthropic, Google DeepMind 등 서로 경쟁하는 주요 AI 연구기업의 경영진들이 동시에 개발 속도와 외부 안전평가 문제를 공개적으로 언급하면서 이번 덤프리스 하우스 회의에서도 프런티어 모델에 대한 공동 기준이 주요 논의 대상으로 올라오게 됐다.

미국 정부는 전면적인 감속에 반대

기업 경영진 사이에서 AI 개발 속도 조절 요구가 나오고 있지만 국가 간 정책 방향은 일치하지 않고 있다.

도널드 트럼프 미국 대통령은 최근 AI 개발을 전반적으로 늦춰야 한다는 주장에 반대하며 미국이 중국보다 AI 기술에서 우위를 유지해야 한다는 입장을 밝혔다. 트럼프는 AI 경쟁에서 선두를 유지하는 것이 미국에 중요하다고 강조했다.

영국은 AI 위험에 대응하면서도 유럽연합보다 상대적으로 규제 강도가 낮은 접근 방식을 유지해 왔다. 2023년 AI Safety Summit 이후 설립된 영국 AI Security Institute는 주요 AI 기업과의 자발적 협약을 통해 일부 첨단 모델에 출시 전 접근하고 능력과 위험을 평가하고 있다.

이번 덤프리스 하우스 회의에서는 새로운 법률이나 기업별 개발 중단 일정이 결정되는 것이 아니라 AI 개발사와 반도체 기업, 정부 관계자, 윤리 전문가들이 공동 원칙과 안전기준을 논의한다. OpenAI와 Anthropic의 프런티어 모델 개발 속도 조절 논의가 확산되는 가운데 주요 AI 기업들이 같은 자리에서 관련 문제를 논의하는 일정이 9월 17일 진행될 예정이다.