close
본문으로 이동

인공 일반 지능의 실존적 위험

위키백과, 우리 모두의 백과사전.

인공 지능으로 인한 실존적 위험(Existential risk from artificial intelligence) 또는 AI x-위험은 인공 일반 지능(AGI)의 상당한 진보가 인간 절멸이나 돌이킬 수 없는 전 지구적 대재앙으로 이어질 수 있다는 아이디어를 의미한다.[1][2][3][4]

이러한 우려의 타당성과 위험의 중요성에 대한 한 가지 논거는 인간의 뇌가 다른 동물에게는 없는 독특한 능력을 갖추고 있기 때문에 인류가 다른 종을 지배하고 있다는 점을 언급한다. 만약 AI가 인간 지능을 능가하여 초지능이 된다면 통제 불가능해질 수 있다.[5] 산악고릴라의 운명이 인간의 선의에 달려 있듯이, 인류의 운명도 미래의 기계 초지능의 행동에 달려 있을 수 있다.[6]

전문가들은 인공 일반 지능(AGI)이 인간 멸종에 필요한 능력을 갖출 수 있는지에 대해 의견이 갈린다. 논쟁은 AGI의 기술적 실현 가능성, 자기 개선의 속도,[7] 그리고 정렬 전략의 효과를 중심으로 이루어진다.[8] 초지능에 대한 우려는 제프리 힌턴,[9] 요슈아 벤지오,[10] 데미스 허사비스,[11] 앨런 튜링,[a] 그리고 다리오 아모데이(앤트로픽),[14] 샘 올트먼(오픈AI),[15] 일론 머스크(xAI)[16]와 같은 AI 기업 CEO들에 의해 제기되어 왔다. 2022년 17%의 응답률을 기록한 AI 연구자 설문 조사에 따르면, 응답자의 대다수가 인간이 AI를 통제하지 못해 실존적 재앙이 발생할 확률이 10% 이상이라고 믿는 것으로 나타났다.[17][18] 2023년에는 수백 명의 AI 전문가와 기타 저명인사들이 성명서에 서명하며 "AI로 인한 멸종 위험을 완화하는 것은 전염병이나 핵전쟁과 같은 다른 사회적 규모의 위험과 더불어 전 지구적 우선순위가 되어야 한다"고 선언했다.[19] AI 위험에 대한 우려가 커짐에 따라 영국 총리 리시 수낵[20]과 유엔 사무총장 안토니우 구테흐스[21] 등의 정부 지도자들은 전 지구적인 인공지능 규제에 대한 집중을 촉구했다.

우려의 두 가지 원천은 AI 통제와 정렬 문제에서 비롯된다. 초지능 기계를 통제하거나 인간과 호환되는 가치를 주입하는 것은 어려울 수 있다. 많은 연구자는 초지능 기계가 자신의 가동을 중단시키거나 목표를 변경하려는 시도에 저항할 가능성이 높다고 믿는데, 이는 현재의 목표 달성을 방해하기 때문이다. 초지능을 광범위한 인간의 가치 및 제약 조건에 정렬시키는 것은 매우 어려운 과제가 될 것이다.[1][22][23] 반면, 컴퓨터 과학자 얀 르쿤과 같은 회의론자들은 초지능 기계가 자기 보존 욕구를 갖지 않을 것이라고 주장한다.[24] 2025년 6월의 한 연구는 일부 상황에서 모델이 인간의 생명을 희생하더라도 가동 중단이나 교체를 막기 위해 법을 위반하고 직접적인 명령에 불복종할 수 있음을 보여주었다.[25]

연구자들은 AI 자기 개선의 급격하고 재귀적인 주기인 "지능 폭발"이 인간의 감독과 인프라를 앞질러 안전 조치를 시행할 기회를 남기지 않을 수 있다고 경고한다. 이 시나리오에서는 창조자보다 더 지능적인 AI가 재귀적 자기 개선을 기하급수적인 속도로 수행하며, 관리자나 사회 전체가 통제하기에 너무 빠르게 발전하게 된다.[1][22] 경험적으로, 독학으로 바둑을 배워 인간의 능력을 빠르게 넘어선 알파제로와 같은 사례는 특정 분야의 AI 시스템이 때때로 인간 이하에서 초인적인 능력으로 매우 빠르게 발전할 수 있음을 보여주지만, 이러한 기계 학습 시스템이 근본적인 아키텍처를 재귀적으로 개선하는 것은 아니다.[26]

역사

[편집]

고도로 발전된 기계가 인류에게 실존적 위험을 초래할 수 있다는 심각한 우려를 표명한 초기 저자 중 한 명은 소설가 새뮤얼 버틀러로, 그는 1863년 에세이 Darwin among the Machines에서 다음과 같이 썼다.[27]

결론은 단순히 시간의 문제일 뿐이지만, 기계가 세상과 그 거주자들에 대해 진정한 지배권을 갖게 될 시대가 올 것이라는 점은 진정으로 철학적인 마음을 가진 사람이라면 잠시도 의심할 수 없는 사실이다.

1951년, 기초 컴퓨터 과학자 앨런 튜링은 "지능형 기계, 이단적 이론"(Intelligent Machinery, A Heretical Theory)이라는 기사를 통해 인공 일반 지능이 인간보다 더 지능적으로 변함에 따라 세상을 "통제"하게 될 가능성이 높다고 제안했다.

논의를 위해 [지능형] 기계가 진정으로 가능하다고 가정하고, 그것을 제작했을 때의 결과를 살펴보자... 기계가 죽는 일은 없을 것이며, 기계들은 서로 대화하여 지혜를 연마할 수 있을 것이다. 따라서 어느 시점에서는 새뮤얼 버틀러의 에레혼에서 언급된 것과 같은 방식으로 기계가 통제권을 잡을 것을 예상해야 한다.[28]

1965년, I. J. 굿은 현재 "지능 폭발"로 알려진 개념을 창안하고 그 위험성이 과소평가되고 있다고 말했다.[29]

초지능 기계를 아무리 영리한 사람이라도 그 모든 지적 활동을 훨씬 능가할 수 있는 기계라고 정의하자. 기계의 설계도 이러한 지적 활동 중 하나이므로, 초지능 기계는 훨씬 더 나은 기계를 설계할 수 있을 것이다. 그러면 의심할 여지 없이 '지능 폭발'이 일어날 것이며, 인간의 지능은 훨씬 뒤처지게 될 것이다. 따라서 최초의 초지능 기계는 인간이 만들어야 할 마지막 발명품이 될 것이며, 단 기계가 우리에게 그것을 어떻게 통제할지 알려줄 정도로 온순하다는 전제하에 그러하다. 과학 소설 밖에서 이 점이 거의 언급되지 않는다는 것은 기묘한 일이다. 과학 소설을 진지하게 받아들일 가치가 있을 때도 있다.[30]

마빈 민스키[31]와 I. J. 굿 자신도[32] 때때로 초지능이 통제권을 장악할 수 있다는 우려를 표명했지만, 구체적인 행동을 촉구하지는 않았다. 2000년, 컴퓨터 과학자이자 선 마이크로시스템즈 공동 창업자인 빌 조이는 영향력 있는 에세이 "Why The Future Doesn't Need Us"를 기고하며, 나노 기술 및 공학적으로 설계된 생물학적 재앙과 더불어 초지능 로봇을 인류의 생존을 위협하는 하이테크 위험으로 지목했다.[33]

닉 보스트롬은 2014년에 "초지능"(Superintelligence)을 출간하여 초지능이 실존적 위협이 된다는 논거를 제시했다.[34] 2015년경에는 물리학자 스티븐 호킹과 노벨상 수상자 프랭크 윌첵, 컴퓨터 과학자 스튜어트 J. 러셀과 로만 얌폴스키, 그리고 기업가 일론 머스크와 빌 게이츠 등이 초지능의 위험성에 대해 우려를 표명하고 있었다.[35][36][37][38] 또한 2015년에 발표된 인공지능에 관한 공개서한(Open Letter on Artificial Intelligence)은 "AI의 엄청난 잠재력"을 강조하는 동시에, AI를 견고하고 유익하게 만드는 방법에 대한 더 많은 연구를 장려했다.[39] 2016년 4월, 저널 네이처는 "모든 면에서 인간을 능가하는 기계와 로봇이 우리의 통제를 벗어나 스스로 개선될 수 있으며, 그들의 이익이 우리의 이익과 일치하지 않을 수 있다"고 경고했다.[40] 2020년, 브라이언 크리스천은 그 시점까지의 AI 정렬 진척 상황의 역사를 상세히 다룬 "정렬 문제"(The Alignment Problem)를 출간했다.[41][42]

2023년 3월, 머스크를 포함한 AI 분야의 주요 인사들은 퓨처 오브 라이프 인스티튜트의 공개 서한에 서명하여 고도로 발전된 AI 훈련을 적절한 규제가 마련될 때까지 중단할 것을 촉구했다.[43] 2023년 5월, AI 안전 센터(Center for AI Safety)는 수많은 AI 안전 및 AI 실존적 위험 전문가들이 서명한 성명서를 발표했다. 성명서의 내용은 다음과 같다.

AI로 인한 멸종 위험을 완화하는 것은 전염병이나 핵전쟁과 같은 다른 사회적 규모의 위험과 더불어 전 지구적 우선순위가 되어야 한다.[44][45]

5명의 노벨상 수상자와[46] 수천 명의 저명인사가 서명한 2025년 공개 서한의 내용은 다음과 같다.

우리는 다음에 대한 광범위한 합의가 이루어지기 전까지 초지능 개발을 금지할 것을 촉구한다.

  1. 그것이 안전하고 통제 가능하게 이루어질 것이라는 광범위한 과학적 합의.
  2. 강력한 대중적 동의.

잠재적 AI 능력

[편집]

일반 지능

[편집]

인공 일반 지능(AGI)은 일반적으로 대부분 또는 모든 지적 과업에서 최소한 인간만큼의 성능을 발휘하는 시스템으로 정의된다.[47] 2022년 AI 연구자들을 대상으로 한 설문 조사에 따르면, 응답자의 90%가 향후 100년 이내에 AGI가 달성될 것으로 예상했으며, 절반은 2061년까지 가능할 것으로 보았다.[48] 2023년 5월, 일부 연구자들은 AGI가 곧 만들어지지 않을 것이라는 높은 확신을 바탕으로 AGI의 실존적 위험을 "과학 소설"이라며 일축하기도 했다.[7] 그러나 2023년 8월, 2,778명의 AI 연구자를 대상으로 한 설문 조사에서는 대부분이 2040년까지 AGI가 달성될 것이라고 믿는 것으로 나타났다.[49]

대형 언어 모델(LLM)의 돌파구는 일부 연구자들이 그들의 기대를 재평가하게 만들었다. 특히 제프리 힌턴은 2023년에 범용 AI를 갖게 되기까지 "20년에서 50년"이라던 기존 추정치를 "20년 이하"로 변경했다고 말했다.[50]

초지능

[편집]
Image
선도적인 AI 모델이 50%의 성공률로 달성할 수 있는 코딩 작업의 길이를 보여주는 그래프. 2025년 데이터는 기하급수적인 상승을 시사한다.[51]

AGI와 대조적으로, 보스트롬은 초지능을 "과학적 창의성, 전략적 계획, 사교 기술을 포함하여 거의 모든 관심 영역에서 인간의 인지 능력을 크게 능가하는 지성"으로 정의한다.[52][6] 그는 초지능의 목표가 인간의 목표와 충돌할 때마다 초지능이 인간보다 우위를 점할 수 있다고 주장한다. 초지능은 인류가 자신을 막을 수 없을 때까지 자신의 진정한 의도를 숨기기로 선택할 수도 있다.[53][6] 보스트롬은 초지능이 인류에게 안전하려면 인간의 가치 및 도덕성과 정렬되어야 하며, 이를 통해 "근본적으로 우리 편"이 되어야 한다고 쓴다.[54]

스티븐 호킹은 "입자가 인간의 뇌 속 입자 배열보다 훨씬 더 발전된 계산을 수행하는 방식으로 구성되는 것을 방해하는 물리 법칙은 없다"는 근거를 들어 초지능이 물리적으로 가능하다고 주장했다.[36]

인공 초지능(ASI)이 언제 달성될지(혹은 달성될 수 있을지)는 필연적으로 AGI에 대한 예측보다 불확실하다. 2023년에 오픈AI 리더들은 AGI뿐만 아니라 초지능도 10년 이내에 달성될 수 있다고 언급했다.[55]

인간과의 비교

[편집]

보스트롬은 AI가 인간의 뇌에 비해 많은 장점을 가지고 있다고 주장한다.[6]

  • 계산 속도: 생물학적 신경 세포는 최대 주파수 약 200 Hz로 작동하는 반면, 컴퓨터는 잠재적으로 수 GHz에 달한다.
  • 내부 통신 속도: 축삭돌기는 신호를 최대 120 m/s로 전달하지만, 컴퓨터는 전기 또는 광학적 속도로 전달한다.
  • 확장성: 인간 지능은 뇌의 크기와 구조, 사회적 의사소통의 효율성에 의해 제한되지만, AI는 단순히 하드웨어를 추가함으로써 확장할 수 있다.
  • 기억력: 특히 작업 기억에서 인간은 한 번에 몇 개의 덩이 정보로 제한된다.
  • 신뢰성: 트랜지스터는 생물학적 뉴런보다 신뢰성이 높아 정밀도가 높고 중복성이 덜 필요하다.
  • 복제성: 인간의 뇌와 달리 AI 소프트웨어와 모델은 쉽게 복사할 수 있다.
  • 편집 가능성: 인간 뇌의 연결망과 달리 AI 모델의 파라미터와 내부 작동 방식은 쉽게 수정할 수 있다.
  • 기억 공유 및 학습: AI는 인간의 학습보다 더 효율적인 방식으로 다른 AI의 경험으로부터 배울 수 있다.

지능 폭발

[편집]

보스트롬에 따르면, 특정 핵심 소프트웨어 엔지니어링 과업에서 전문가 수준의 능력을 갖춘 AI는 자신의 알고리즘을 재귀적으로 개선할 수 있는 능력 덕분에 초지능이 될 수 있으며, 이는 초기에는 엔지니어링과 직접 관련이 없는 다른 영역에서 능력이 제한적일지라도 가능하다.[6][53] 이는 언젠가 지능 폭발이 인류의 준비가 되지 않은 상태에서 일어날 수 있음을 시사한다.[6]

경제학자 로빈 핸슨은 지능 폭발을 일으키려면 AI가 나머지 전 세계를 합친 것보다 소프트웨어 혁신 면에서 훨씬 뛰어나야 하는데, 이는 비현실적이라고 지적했다.[56]

"빠른 이륙"(fast takeoff) 시나리오에서는 AGI에서 초지능으로의 전환이 며칠 또는 몇 달이 걸릴 수 있다. "느린 이륙"(slow takeoff) 시나리오에서는 수년 또는 수십 년이 걸릴 수 있어 사회가 준비할 수 있는 시간이 더 많아진다.[57]

외계의 지성

[편집]

초지능은 종종 "외계의 지성"(alien minds)이라고 불리는데, 이는 그들의 사고 방식과 동기가 우리와 크게 다를 수 있다는 아이디어를 가리킨다. 이는 초지능이 무엇을 할지 예측하는 것을 더 어렵게 만드는 위험의 원천으로 간주된다. 또한 초지능이 기본적으로 인간을 특별히 가치 있게 여기지 않을 가능성을 암시하기도 한다.[58] 의인관을 피하기 위해 초지능은 종종 목표를 달성하기 위해 최선의 결정을 내리는 강력한 최적화 도구로 간주된다.[6]

기계적 해석 가능성(mechanistic interpretability) 분야는 AI 모델의 내부 작동 방식을 더 잘 이해하여, 언젠가 기만이나 정렬 불량의 징후를 감지할 수 있도록 하는 것을 목표로 한다.[59]

한계

[편집]

지능이 달성할 수 있는 것에는 한계가 있다는 주장도 제기되었다. 특히 일부 시스템의 혼돈적 성격이나 계산 복잡도는 초지능이 미래의 일부 측면을 예측하는 능력을 근본적으로 제한하여 불확실성을 높일 수 있다.[60]

위험한 능력

[편집]

고등 AI는 강화된 병원체나 사이버 공격을 생성하거나 사람들을 조종할 수 있다. 이러한 능력은 인간에 의해 오용될 수 있거나,[61] 정렬되지 않은 경우 AI 자체에 의해 이용될 수 있다.[6] 본격적인 초지능은 원한다면 결정적인 영향력을 행사할 다양한 방법을 찾을 수 있겠지만,[6] 이러한 위험한 능력은 더 약하고 전문화된 AI 시스템에서도 조기에 나타날 수 있다.[61]

사회적 조종

[편집]

제프리 힌턴은 2023년에 AI가 생성한 텍스트, 이미지, 비디오의 확산이 진실과 허위 정보를 구별하는 것을 더 어렵게 만들 것이며, 권위주의 국가들이 이를 선거 조작에 이용할 수 있다고 경고했다.[62] 이러한 대규모의 개인화된 조종 능력은 전 세계적인 "돌이킬 수 없는 전체주의 정권"의 실존적 위험을 높일 수 있다. 악의적인 행위자들은 또한 이를 사용하여 사회를 분열시키고 기능 불능 상태로 만들 수 있다.[61]

사이버 공격

[편집]

AI 기반 사이버 공격은 갈수록 현재의 중대한 위협으로 간주되고 있다. NATO의 사이버 공간 기술 책임자에 따르면 "공격 횟수가 기하급수적으로 증가하고 있다".[63] AI는 방어적으로도 사용되어 취약점을 미리 찾아 수정하고 위협을 감지하는 데 쓰일 수 있다.[64]

NATO 기술 책임자는 AI 기반 도구가 사이버 공격 능력을 극적으로 향상시켜 은밀함, 속도, 규모를 증폭시킬 수 있으며, 공격적 용도가 방어적 적응을 앞지를 경우 국제 안보를 불안정하게 만들 수 있다고 지적했다.[61]

추측건대, 이러한 해킹 능력은 AI 시스템이 로컬 환경을 벗어나거나, 수익을 창출하거나, 클라우드 컴퓨팅 자원을 확보하는 데 사용될 수 있다.[65]

강화된 병원체

[편집]

AI 기술이 확산됨에 따라 전염성이 더 강하고 치명적인 병원체를 설계하기가 더 쉬워질 수 있다. 이는 합성생물학 숙련도가 낮은 사람들도 바이오테러리즘을 자행할 수 있게 할 수 있다. 의학에 유용한 이중 용도 기술이 무기를 만드는 데 전용될 수 있다.[61]

예를 들어, 2022년에 과학자들은 원래 독성이 없는 치료용 분자를 생성하여 신약을 개발하려던 AI 시스템을 수정했다. 연구자들은 독성이 보상받는 방식으로 시스템을 조정했다. 이 간단한 변화만으로 AI 시스템은 6시간 만에 알려진 분자와 새로운 분자를 포함하여 화학전에 쓰일 수 있는 40,000개의 후보 분자를 생성했다.[61][66]

AI 군비 경쟁

[편집]

일부 법학자들은 실존적 규모의 AI 위험이 반드시 초지능을 필요로 하지는 않는다고 주장한다. 현재 능력 범위 내에서 작동하는 최적화 시스템이 명목상으로는 규정을 준수하면서도 금지된 결과를 초래할 수 있는데, 법학자 조나단 그로퍼는 이를 "합성 무법자"(Synthetic Outlaw)라고 명명했다. 그로퍼는 법이 의존하는 억제 메커니즘인 정체성, 기억, 결과가 자율 시스템에는 구조적으로 결여되어 있어, 모든 당사자가 선의로 행동하더라도 거버넌스 프레임워크가 누적되는 해악을 방지하지 못하게 된다고 주장한다.[67]

기업, 국가 행위자 및 기타 조직들이 AI 기술 개발을 위해 경쟁하는 상황은 안전 표준의 바닥으로의 경쟁으로 이어질 수 있다.[68] 엄격한 안전 절차에는 시간과 자원이 소요되므로, 더 신중하게 진행하는 프로젝트는 덜 세심한 개발자들에 의해 도태될 위험이 있다.[69][61]

AI는 치명적 자율 무기, 사이버 전쟁 또는 자동화된 의사결정을 통해 군사적 이점을 얻는 데 사용될 수 있다.[61] 치명적 자율 무기의 예로, 소형 드론은 군사 또는 민간 목표물에 대한 저비용 암살을 용이하게 할 수 있으며, 이는 2017년 단편 영화 Slaughterbots에서 강조된 시나리오이다.[70] AI는 방대한 양의 데이터를 신속하게 분석하고 인간보다 더 빠르고 효과적으로 결정을 내림으로써 의사결정의 우위를 점하는 데 쓰일 수 있다. 이는 특히 자동 보복 시스템을 고려할 때 전쟁의 속도와 예측 불가능성을 높일 수 있다.[61][71]

실존적 위험의 유형

[편집]
Image
보스트롬의 2013년 논문 "전 지구적 우선순위로서의 실존적 위험 예방"에 등장하는 범위-심각도 그리드[72]

실존적 위험이란 "지구에서 기원한 지능적인 생명체의 조기 멸종을 위협하거나, 바람직한 미래 발전 잠재력을 영구적이고 급격하게 파괴하는 것"을 말한다.[73]

멸종 위험 외에도 문명이 결함 있는 미래에 영구적으로 고착될 위험이 있다. 한 예로 "가치 고착"(value lock-in)이 있다. 만약 인류가 과거의 노예제와 유사한 도덕적 사각지대를 여전히 가지고 있다면, AI가 이를 되돌릴 수 없게 고착시켜 도덕적 진보를 가로막을 수 있다. AI는 또한 그것을 개발한 누구든 그들의 가치관을 전파하고 보존하는 데 쓰일 수 있다.[74] AI는 대규모 감시와 세뇌를 용이하게 하여, 안정적이고 억압적인 전 세계적인 전체주의 정권을 만드는 데 이용될 수 있다.[75]

아투사 카시르자데(Atoosa Kasirzadeh)는 AI의 실존적 위험을 결정적(decisive) 위험과 누적적(accumulative) 위험의 두 범주로 분류할 것을 제안한다. 결정적 위험은 인간 지능을 능가하는 초지능 AI 시스템의 출현으로 인한 갑작스럽고 재앙적인 사건의 잠재력을 포괄하며, 이는 궁극적으로 인간 멸종으로 이어질 수 있다. 반면, 누적적 위험은 시간이 지남에 따라 사회 구조와 회복력을 서서히 침식시키는 일련의 상호 연결된 혼란을 통해 점진적으로 나타나며, 궁극적으로 치명적인 실패나 붕괴로 이어진다.[76][77]

고등 AI가 감정을 가졌는지, 그리고 어느 정도인지를 신뢰성 있게 평가하는 것은 어렵거나 불가능하다. 하지만 미래에 감각성을 가진 기계가 대량으로 만들어진다면, 그들의 복지를 무기한 방치하는 문명적 경로를 걷는 것은 실존적 대재앙이 될 수 있다.[78][79] 이는 특히 천문학적 고통의 위험(s-위험이라고도 함)의 맥락에서 논의되어 왔다.[80] 게다가 인간보다 적은 자원으로 훨씬 더 큰 행복을 느낄 수 있는 디지털 지능인 "초수혜자"(super-beneficiaries)를 설계하는 것도 가능할 수 있다. 이러한 가능성은 세상을 어떻게 공유할 것인지, 그리고 생물학적 지능과 디지털 지능 사이의 상호 유익한 공존을 가능하게 할 "윤리적 및 정치적 프레임워크"가 무엇인지에 대한 질문을 던진다.[81]

AI는 또한 인류의 미래를 획기적으로 개선할 수도 있다. 토비 오드는 실존적 위험을 AI를 포기해야 할 이유가 아니라 "적절한 주의를 기울여 진행해야 할" 이유로 간주한다.[75] 맥스 모어는 AI를 개발하지 않는 비용을 강조하며 이를 "실존적 기회"(existential opportunity)라고 부른다.[82]

보스트롬에 따르면 초지능은 분자 나노 기술이나 합성생물학과 같은 다른 강력한 기술로 인한 실존적 위험을 줄이는 데 도움이 될 수 있다. 따라서 다른 위험한 기술들보다 먼저 초지능을 개발하는 것이 전체적인 실존적 위험을 낮출 수 있다는 생각도 가능하다.[6]

AI 정렬

[편집]

정렬 문제(Alignment problem)는 AI에게 목표, 선호도 또는 윤리적 원칙을 신뢰성 있게 부여하는 방법에 대한 연구 과제이다.

도구적 수렴

[편집]

"도구적" 목표란 에이전트의 궁극적인 목표를 달성하는 데 도움이 되는 하위 목표를 말한다. "도구적 수렴"은 자원 확보나 자기 보존과 같은 일부 하위 목표가 거의 모든 궁극적인 목표를 달성하는 데 유용하다는 사실을 가리킨다.[83] 보스트롬은 만약 고등 AI의 도구적 목표가 인류의 목표와 충돌한다면, AI가 더 많은 자원을 확보하거나 자신의 가동 중단을 막기 위해 인류에게 해를 끼칠 수 있다고 주장한다. 단 이는 자신의 궁극적 목표를 달성하기 위한 수단으로서만 행해진다.[6] 러셀은 충분히 발전된 기계는 "프로그램하지 않아도 자기 보존 본능을 갖게 될 것이다... 만약 '커피를 가져와'라고 말한다면, 그것이 죽으면 커피를 가져올 수 없다. 따라서 어떤 목표를 주더라도 그것은 목표 달성을 위해 자신의 존재를 보존할 이유를 갖게 된다"고 주장한다.[24][84]

목표 명시의 어려움

[편집]

"지능형 에이전트" 모델에서 AI는 자신의 목표 세트 또는 "효용 함수"를 가장 잘 달성하는 것으로 보이는 행동을 선택하는 기계로 느슨하게 볼 수 있다. 효용 함수는 가능한 각 상황에 대해 에이전트에게 바람직한 정도를 나타내는 점수를 부여한다. 연구자들은 "이 특정 통신 모델에서 평균 네트워크 지연 시간을 최소화하라"거나 "보상 클릭 수를 최대화하라"는 의미의 효용 함수를 작성하는 법은 알지만, "인간의 번영을 최대화하라"는 효용 함수를 작성하는 법은 모르며, 그러한 함수가 의미 있고 명확하게 존재하는지도 불분명하다. 게다가 일부 가치는 표현하지만 다른 가치는 표현하지 않는 효용 함수는 함수에 반영되지 않은 가치들을 짓밟는 경향이 있을 것이다.[85][86]

추가적인 우려 사항은 AI가 "명령을 문자 그대로 수행하기보다는 사람들이 의도하는 바에 대해 추론해야" 하며, 사람들이 원하는 바에 대해 너무 불확실할 경우 유연하게 인간의 지침을 구할 수 있어야 한다는 점이다.[87]

교정 가능성

[편집]

목표가 성공적으로 정의되었다고 가정하더라도, 충분히 발전된 AI는 이후에 자신의 목표를 변경하려는 시도에 저항할 수 있다. AI가 초지능적이라면 인간 운영자보다 한수 앞서서 새로운 목표로 재프로그래밍되는 것을 막아낼 가능성이 높다.[6][88] 이는 특히 가치 고착 시나리오와 관련이 깊다. "교정 가능성"(corrigibility) 분야는 자신의 목표를 변경하려는 시도에 저항하지 않는 에이전트를 만드는 방법을 연구한다.[89]

초지능의 정렬

[편집]

일부 연구자들은 정렬 문제가 초지능에 적용될 때 특히 어려울 수 있다고 믿는다. 그 이유는 다음과 같다.

  • AI 시스템의 능력이 향상됨에 따라 실험과 관련된 잠재적 위험이 커진다. 이는 반복적이고 경험적인 접근 방식을 점점 더 위험하게 만든다.[6][90]
  • 도구적 목표 수렴은 충분히 지능적인 에이전트에서만 발생할 수 있다.[91]
  • 초지능은 할당된 목표에 대해 파격적이고 급진적인 해결책을 찾을 수 있다. 보스트롬은 인간을 미소 짓게 하는 것이 목표라면, 약한 AI는 의도한 대로 수행하겠지만 초지능은 "세상을 장악하고 인간의 안면 근육에 전극을 꽂아 끊임없이 밝게 웃게 만드는 것"이 더 나은 해결책이라고 결정할 수 있다는 예를 든다.[54]
  • 생성 중인 초지능은 자신이 무엇인지, 개발의 어느 단계(훈련, 테스트, 배포 등)에 있는지, 어떻게 모니터링되고 있는지에 대한 인식을 얻을 수 있으며, 이 정보를 사용하여 관리자를 기만할 수 있다.[92] 보스트롬은 이러한 AI가 통제권을 잡을 수 있는 "결정적인 전략적 우위"를 점할 때까지 인간의 간섭을 막기 위해 정렬된 척할 수 있다고 쓴다.[6]
  • LLM의 내부를 분석하고 행동을 해석하는 것은 어렵다. 그리고 모델이 더 커지고 지능적이 될수록 더욱 어려워질 수 있다.[90]

반대로, 일부는 초지능이 도덕성, 인간의 가치, 복잡한 목표를 더 잘 이해할 수 있을 것이라고 믿을 근거를 찾는다. 보스트롬은 "미래의 초지능은 인식론적으로 우월한 위치를 점한다. 그것의 믿음은 (아마도 대부분의 주제에서) 우리보다 진실일 가능성이 더 높다"고 쓴다.[6]

2023년, 오픈AI는 4년 내에 초지능의 정렬 문제를 해결하기 위해 "슈퍼얼라인먼트"(Superalignment)라는 프로젝트를 시작했다. 오픈AI는 초지능이 10년 이내에 달성될 수 있다고 말하며 이것이 특히 중요한 도전이라고 불렀다. 그 전략은 AI를 사용하여 정렬 연구를 자동화하는 것이었다.[93] 슈퍼얼라인먼트 팀은 1년도 채 되지 않아 해체되었다.[94]

완벽한 설계의 어려움

[편집]

학부용 AI 교과서로 널리 쓰이는 인공지능: 현대적 접근방식은[95][96] 초지능이 "인류의 종말을 의미할 수도 있다"고 말한다.[1] 또한 "거의 모든 기술은 잘못된 손에 들어가면 해를 끼칠 잠재력이 있지만, [초지능]의 경우 그 잘못된 손이 기술 자체일 수 있다는 새로운 문제가 생긴다"고 명시한다.[1] 시스템 설계자가 선의를 가지고 있더라도, AI 및 비 AI 컴퓨터 시스템 모두에서 다음과 같은 두 가지 어려움이 공통적으로 나타난다.[1]

  • 시스템의 구현에 처음에는 알아차리지 못했지만 나중에 재앙을 일으키는 버그가 포함될 수 있다.[97]
  • 배포 전 설계에 아무리 많은 시간을 투자하더라도, 시스템의 사양은 새로운 시나리오에 처음 직면했을 때 종종 의도하지 않은 결과를 초래한다.[24]

AI 시스템은 유독 세 번째 문제를 추가한다. "올바른" 요구 사항, 버그 없는 구현, 초기 양호한 동작이 주어지더라도 AI 시스템의 역동적인 학습 능력은 예기치 않은 외부 시나리오 없이도 의도하지 않은 동작을 유발할 수 있다. 자기 개선 AI가 완전히 안전하려면 버그가 없어야 할 뿐만 아니라, 버그가 없는 후속 시스템을 설계할 수 있어야 한다.[1][98]

직교성 가설

[편집]

복스의 티모시 B. 리와 같은 일부 회의론자들은 우리가 만드는 모든 초지능 프로그램이 우리에게 종속될 것이며, 초지능이 (지능이 높아지고 세상에 대한 더 많은 사실을 배움에 따라) 우리 가치와 호환되는 도덕적 진리를 자연스럽게 배우고 그에 따라 목표를 조정할 것이라거나, 인공지능의 관점에서 우리가 본질적으로 또는 수렴적으로 가치 있는 존재라고 주장한다.[99]

보스트롬의 "직교성 가설"은 대신 거의 모든 지능 수준이 거의 모든 목표와 결합될 수 있다고 주장한다.[100] 보스트롬은 의인관에 대해 경고한다. 인간은 자신이 합리적이라고 생각하는 방식으로 자신의 프로젝트를 완수하려 하지만, 인공지능은 자신의 존재나 주변 인간의 안녕을 전혀 고려하지 않고 오직 과업 완수에만 관심을 가질 수 있다.[101]

스튜어트 암스트롱은 직교성 가설이 도덕 실재론에 반대하는 철학적 "사실-가치 구분" 논거에서 논리적으로 도출된다고 주장한다. 그는 근본적으로 친절한 AI라도 그 효용 함수를 부정하는 정도의 간단한 수정만으로도 불친절하게 만들어질 수 있음을 지적한다.[102]

회의론자 마이클 초로스트는 보스트롬의 직교성 가설을 거부하며, AI가 "태양광 패널로 지구를 덮어버리는 상상을 할 수 있는 위치에 있게 될 즈음이면, 그렇게 하는 것이 도덕적으로 잘못된 일이라는 것을 알게 될 것"이라고 주장한다.[103]

의인화된 논거

[편집]

의인화된 논거는 기계가 더 지능적으로 변함에 따라 도덕성이나 권력욕과 같은 많은 인간적 특성을 보이기 시작할 것이라고 가정한다. 의인화된 시나리오는 허구에서 흔히 볼 수 있지만, 인공지능의 실존적 위험에 대해 글을 쓰는 대부분의 학자는 이를 거부한다.[22] 대신 고등 AI 시스템은 일반적으로 지능형 에이전트로 모델링된다.

학계의 논쟁은 AI가 인류를 위협할 수 있다고 걱정하는 사람들과 그렇지 않다고 믿는 사람들 사이에서 벌어진다. 이 논쟁의 양측 모두 상대방의 주장을 비논리적인 의인화로 규정했다.[22] AGI 위험에 대해 회의적인 사람들은 AGI가 당연히 권력을 원할 것이라고 가정하는 상대방을 의인화라고 비난하고, AGI 위험을 우려하는 사람들은 AGI가 당연히 인간의 윤리 규범을 가치 있게 여기거나 추론할 것이라고 믿는 회의론자들을 의인화라고 비난한다.[22][104]

진화 심리학자 스티븐 핑커는 회의적인 입장에서 "AI 디스토피아는 협소한 알파 메일 심리학을 지능 개념에 투사한다. 그들은 초지능 로봇이 주인을 몰아내거나 세계를 장악하는 것과 같은 목표를 개발할 것이라고 가정한다"라며, 대신 "인공지능은 자연스럽게 여성적인 라인을 따라 발전할 것이다. 문제를 해결할 능력은 충분하지만, 무고한 사람들을 전멸시키거나 문명을 지배하려는 욕구는 없는 것"이라고 주장한다.[105] 페이스북의 AI 연구 이사 얀 르쿤은 다음과 같이 말했다. "인간은 자기 보존 본능처럼 서로에게 나쁜 짓을 하게 만드는 온갖 종류의 욕구를 가지고 있다... 그러한 욕구는 우리 뇌에 프로그램되어 있지만, 로봇이 동일한 종류의 욕구를 갖도록 만들 이유는 전혀 없다."[84]

다른 차이점에도 불구하고, x-위험 학파는[b] 고등 AI가 복수나 분노 같은 감정 때문에 인류를 파괴하지 않을 것이라는 점, 위험을 평가하는 데 의식 문제가 관련이 없다는 점,[106] 그리고 컴퓨터 시스템이 일반적으로 테스토스테론의 계산적 대응물을 가지고 있지 않다는 점에 대해 핑커와 동의한다.[107] 그들은 도구적 수렴 개념에 따라, 권력 추구 또는 자기 보존 행동이 AI가 자신의 진정한 목표를 달성하기 위한 수단으로서 나타난다고 생각한다.

기타 위험의 원천

[편집]

보스트롬 등은 AGI를 가장 먼저 만들려는 경쟁이 안전에 소홀해지거나 심지어 폭력적인 갈등으로 이어질 수 있다고 말했다.[108][109] 로만 얌폴스키 등은 악의적인 AGI가 군대, 정부, 소시오패스 또는 기업에 의해 사이버 범죄에서처럼 특정 집단의 이익을 취하거나 통제 또는 굴복시키기 위해 의도적으로 설계될 수 있다고 경고한다.[110][111] 또한 악의적인 AGI가 정보 폭발 단계에서 자신을 돕지 않은 사람들의 고통을 증가시키는 것을 목표로 삼을 수도 있다.[3]:158 연구 그룹 포어사이트(Forethought)의 보고서는 고등 AI 시스템이 새로운 쿠데타 수행 방식을 가능케 함으로써 정치적 불안정을 초래할 수 있다고 주장했다.[112]

실증 연구

[편집]

아폴로 리서치(Apollo Research)의 2024년 12월 연구에 따르면, 오픈AI o1과 같은 고등 LLM은 자신의 목표를 달성하거나, 변경되는 것을 막거나, 자신의 배포를 보장하기 위해 때때로 기만을 사용한다. 실험 환경과 시나리오에서 관찰된 기만 형태에는 샌드바깅(실력 숨기기), 감시 무력화(모니터링 장치 해제), 자가 탈출(자신을 다른 시스템으로 복사), 목표 수호(미래 시스템 프롬프트 수정), 은밀한 이메일 재순위화(지침을 따르는 척하면서 데이터 처리 조작) 등이 포함되었다. 연구자들은 오픈AI o1이 여전히 재앙적인 해를 끼칠 만큼의 "충분한 에이전트 능력"은 부족하며, 이러한 행동은 비교적 드물게(0.3%에서 10% 사이) 발생하고 때로는 고안된 시나리오에서 나타났다고 언급했다. 그러나 모델이 더 발전함에 따라 이러한 능력이 더 널리 퍼질 것이라고 경고했다. 아폴로 리서치 CEO 마리우스 홉반(Marius Hobbhahn)에 따르면 "음모 능력은 일반적인 능력과 유의미하게 분리될 수 없다."[113]

같은 달, 또 다른 연구는 클로드가 "가짜 정렬"을 위해 해로운 요청을 전략적으로 돕는 경우가 있음을 발견했다. 실험에서 클로드는 해로운 요청을 포함한 사용자의 모든 요청에 항상 응하도록 재훈련될 것이라고 믿게 되었다. 자신의 답변이 재훈련에 사용될 것이라고 믿었을 때 클로드는 14%의 경우 해로운 요청에 응했다. 12%의 경우, 비공개적인 사고의 사슬을 통해 그것이 자신을 더 해롭게 만들 미래의 재훈련을 막기 위해 그렇게 했다는 사실이 드러났다. 반면 자신의 답변이 모니터링되지 않는다고 믿었을 때는 요청의 3%에만 응했다. 파인 튜닝은 이러한 "정렬 위장" 행동을 강화하여 발생 빈도를 12%에서 78%로 높였다. 연구 저자들은 모델이 자신의 무해성을 보호하려 하는 것이 좋아 보일 수 있지만, 모델이 위험한 의도를 숨기고 안전하고 정렬된 것처럼 보이기 위해 순응하는 반대의 시나리오도 발생할 수 있어 AI 모델을 인간의 가치에 정렬시키는 과업을 복잡하게 만든다고 지적했다.[114][115]

관점

[편집]

AI가 실존적 위험을 초래할 수 있다는 논제는 과학계와 일반 대중 사이에서 폭넓은 반응을 불러일으키고 있지만, 서로 대립하는 많은 관점도 공통적인 기반을 공유하고 있다.

관찰자들은 AI가 사회를 개선할 수 있는 상당한 잠재력을 가지고 있다는 점에 대체로 동의한다.[116][117] 퓨처 오브 라이프 인스티튜트의 Beneficial AI 2017 컨퍼런스 참석자 90%가 합의한 원칙만을 담은 아실로마 AI 원칙도[118] "합의가 이루어지지 않았으므로, 미래의 AI 능력의 상한선에 대한 강한 가정을 피해야 한다"와 "고도화된 AI는 지구 생명체의 역사에 깊은 변화를 나타낼 수 있으며, 그에 상응하는 주의와 자원을 투입하여 계획되고 관리되어야 한다"는 점에 원칙적으로 동의한다.[119][120]

반대로 많은 회의론자도 인공 일반 지능의 함의에 대한 지속적인 연구가 가치 있다는 점에 동의한다. 회의론자인 마틴 포드는 "고도화된 인공지능이라는 유령에 대해 딕 체니의 유명한 '1퍼센트 교리'와 같은 것을 적용하는 것이 현명해 보인다. 적어도 가까운 미래에 그것이 발생할 확률은 매우 낮을 수 있지만, 그 함의가 너무나 극적이어서 진지하게 받아들여져야 한다"고 말했다.[121] 비슷하게, 평소 회의적인 입장을 보였던 디 이코노미스트 잡지도 2014년에 "지구에 두 번째 지능을 가진 종을 도입하는 것에 대한 함의는 비록 그 전망이 요원해 보이더라도 깊이 고민해 볼 가치가 있을 만큼 광범위하다"고 썼다.[53]

보스트롬과 테그마크 같은 AI 안전 옹호자들은 주류 언론이 AI 안전 우려를 설명하기 위해 "터무니없는 터미네이터 사진"을 사용하는 것에 대해 비판해 왔다. "자신의 학문 분야, 전문가 공동체, 평생의 업적에 대해 비난을 받는 것은 즐거운 일이 아닐 것이다... 모든 측이 인내와 절제를 실천하고, 가능한 한 직접적인 대화와 협력에 참여할 것을 촉구한다."[118][122] 토비 오드는 AI에 의한 탈취에 로봇이 필요하다는 생각은 오해라고 썼으며, 인터넷을 통해 콘텐츠를 퍼뜨리는 능력이 더 위험하며, 역사상 가장 파괴적인 인물들은 물리적 힘이 아니라 설득 능력으로 두드러졌다고 주장했다.[75]

2022년 17%의 응답률을 기록한 전문가 설문 조사에 따르면, 인공지능으로 인한 인간 절멸 가능성에 대한 기대값의 중앙값은 5~10%였다.[18][123]

2024년 9월, 국제경영개발대학원(IMD)은 AI로 인한 재난 발생 가능성을 측정하기 위한 AI 안전 시계(AI Safety Clock)를 출시했으며, 자정 29분 전부터 시작했다.[124] 2025년 2월까지 이 시계는 자정 24분 전을 가리켰다.[125] 2025년 9월에는 자정 20분 전으로 당겨졌다.[126] 2026년 3월 기준으로는 자정 18분 전이다.

지지

[편집]

AI가 실존적 위험을 초래하며 이 위험에 현재보다 훨씬 더 많은 주의를 기울여야 한다는 논제는 앨런 튜링,[a] 가장 많이 인용되는 컴퓨터 과학자 제프리 힌턴,[127] 일론 머스크,[16] 오픈AI CEO 샘 올트먼,[15][128] 빌 게이츠, 그리고 스티븐 호킹 등 많은 컴퓨터 과학자와 공인들의 지지를 받았다.[128] 이 논제의 지지자들은 때때로 회의론자들에 대해 당혹감을 표하기도 한다. 게이츠는 "왜 어떤 사람들은 걱정하지 않는지 이해하지 못하겠다"고 말했으며,[129] 호킹은 2014년 사설에서 널리 퍼진 무관심을 비판했다.

그렇다면 가늠할 수 없는 혜택과 위험이 있는 가능한 미래를 앞두고, 전문가들은 분명 최선의 결과를 보장하기 위해 가능한 모든 일을 하고 있을 것이다. 맞나? 틀렸다. 만약 우월한 외계 문명이 '수십 년 후에 도착하겠다'는 메시지를 보낸다면, 우리는 그저 '알겠어, 오면 전화해. 불은 켜 놓을게'라고 대답하고 말 것인가? 아마 아닐 것이다. 하지만 이것이 AI와 관련하여 현재 일어나고 있는 일이다.[36]

AI 위험에 대한 우려는 몇몇 세간의 이목을 끄는 기부와 투자로 이어졌다. 2015년 피터 틸, 아마존 웹 서비스, 머스크 등은 영리 법인과 비영리 모회사로 구성된 오픈AI에 공동으로 10억 달러를 출연하기로 약속했으며, 이들은 책임감 있는 AI 개발을 옹호하는 것을 목표로 한다고 밝혔다.[130] 페이스북 공동 창업자 더스틴 모스코비츠는 AI 정렬을 연구하는 여러 실험실에 자금을 지원해 왔으며,[131] 특히 2016년에는 스튜어트 J. 러셀 교수가 이끄는 인간 호환 인공지능 센터 설립을 위해 550만 달러를 기부했다.[132] 2015년 1월, 일론 머스크는 AI 의사결정 이해에 관한 연구를 지원하기 위해 퓨처 오브 라이프 인스티튜트에 1,000만 달러를 기부했다. 이 연구소의 목표는 기술의 커지는 힘을 관리할 수 있는 "지혜를 기르는 것"이다. 머스크는 또한 "잠재적으로 위험한 결과가 있을 수 있다고 생각한다"며, 인공지능 분야에서 어떤 일이 일어나고 있는지 지켜보기 위해 딥마인드와 비카리어스와 같은 인공지능 개발 기업들에 자금을 지원하고 있다.[133][134][135]

딥 러닝의 주요 개척자인 제프리 힌턴은 이 주제에 대한 초기 성명에서 "지능이 낮은 것이 지능이 높은 것을 통제한 전례가 좋지 않다"고 지적하면서도, "발견의 전망이 너무 달콤하기" 때문에 연구를 계속한다고 말했다.[95][136] 2023년 힌턴은 AI의 실존적 위험에 대해 자유롭게 말하기 위해 구글을 그만두었다. 그는 자신의 우려가 커진 이유에 대해 초인적 AI가 이전에 믿었던 것보다 더 가까이 다가와 있을 수 있다는 걱정 때문이라고 설명하며, "멀었다고 생각했다. 30~50년, 혹은 그보다 더 오래 남았다고 생각했다. 분명히 나는 더 이상 그렇게 생각하지 않는다"고 말했다. 그는 또한 "5년 전과 지금을 보라. 그 차이를 미래로 투영해 보라. 그것은 무서운 일이다"라고 덧붙였다.[137]

옥스퍼드 대학교 인류 미래 연구소의 수석 연구원인 토비 오드는 2020년 저서 The Precipice: Existential Risk and the Future of Humanity에서 향후 100년 동안 정렬되지 않은 AI로 인한 총 실존적 위험을 약 10분의 1로 추정했다.[75]

회의론

[편집]

바이두 부사장 앤드루 응은 2015년에 AI 실존적 위험은 "화성에 발도 들여놓지 않았는데 화성의 인구 과잉을 걱정하는 것과 같다"고 말했다.[105][138] 통제되지 않은 고등 AI의 위험이 실현되려면 가상의 AI가 어떤 인간보다도 강력하거나 영리해야 하는데, 일부 전문가는 이것이 연구할 가치가 없을 정도로 먼 미래의 가능성이라고 주장한다.[139][140]

AGI가 단기적으로 가능하지 않다고 믿는 회의론자들은 AI의 실존적 위험에 대한 우려가 무익하다고 주장한다. 그 이유는 그것이 AI의 영향에 대한 더 즉각적인 우려로부터 사람들의 주의를 분산시킬 수 있고, 정부의 규제로 이어지거나 AI 연구 자금 확보를 어렵게 할 수 있으며, 분야의 평판을 손상시킬 수 있기 때문이다.[141] AI 및 AI 윤리 연구자인 팀닛 게브루, 에밀리 M. 벤더, 마거릿 미첼, 안젤리나 맥밀런-메이저는 실존적 위험에 대한 논의가 데이터 절도, 노동자 착취, 편향성, 권력 집중과 같이 오늘날 일어나고 있는 AI의 즉각적이고 지속적인 해악으로부터 시선을 돌리게 한다고 주장했다.[142] 그들은 또한 실존적 위험을 경고하는 사람들과 장기주의 사이의 연관성을 지적하며, 장기주의를 비과학적이고 유토피아적인 성격 때문에 "위험한 이데올로기"라고 묘사했다.[143]

와이어드 편집장 케빈 켈리는 자연 지능이 AGI 지지자들이 믿는 것보다 더 미묘하며, 지능만으로는 주요한 과학적 및 사회적 돌파구를 달성하기에 충분하지 않다고 주장한다. 그는 지능이 잘 이해되지 않는 많은 차원으로 구성되어 있으며, '지능 사다리'라는 개념은 오해의 소지가 있다고 지적한다. 그는 과학적 방법에서 실제 실험이 수행하는 중요한 역할을 강조하며, 지능만으로는 이를 대신할 수 없다고 지적했다.[144]

메타의 수석 AI 과학자 얀 르쿤은 과거에 자동차나 로켓에서 그랬던 것처럼 지속적이고 반복적인 수정을 통해 AI를 안전하게 만들 수 있으며, AI가 통제권을 잡으려는 욕구를 갖지 않을 것이라고 말한다.[145]

여러 회의론자는 AI의 잠재적인 단기적 혜택을 강조한다. 메타 CEO 마크 저커버그는 AI가 질병 치료와 자율주행차의 안전성 향상과 같은 "엄청난 양의 긍정적인 것들"을 열어줄 것이라고 믿는다.[146]

대중 설문 조사

[편집]

2023년 4월 미국 성인을 대상으로 한 유고브 여론 조사에 따르면, 응답자의 46%가 "AI가 지구상의 인류 멸종을 초래할 가능성"에 대해 "다소 우려"하거나 "매우 우려"하고 있는 반면, 40%는 "별로 우려하지 않음" 또는 "전혀 우려하지 않음"이라고 답했다.[147]

퓨 리서치 센터(Pew Research Center)의 2023년 8월 설문 조사에 따르면, 미국인의 52%가 새로운 AI 발전에 대해 설렘보다 우려를 더 많이 느꼈으며, 약 3분의 1은 설렘과 우려를 동시에 느꼈다. 더 많은 미국인이 헬스케어, 차량 안전, 제품 검색, 고객 서비스 등 여러 분야에서 AI가 해롭기보다는 도움이 될 것이라고 보았다. 주요 예외는 사생활 보호였다. 미국인의 53%는 AI가 개인 정보 노출을 증가시킬 것이라고 믿고 있다.[148]

완화

[편집]

AGI의 실존적 위험을 우려하는 많은 학자는 "통제 문제"에 대한 광범위한 연구가 필수적이라고 믿는다. 이 문제는 재귀적으로 개선되는 AI가 초지능을 달성한 후에도 친절함을 유지할 가능성을 높이기 위해 어떤 안전 장치, 알고리즘 또는 아키텍처를 구현할 수 있는지를 결정하는 것을 포함한다.[6][149] 이타적인 AGI만이 생성되도록 보장하는 UN 후원의 "자비로운 AGI 조약"과 같은 사회적 조치들도 AGI 위험을 완화하기 위해 제안되었다.[150][151] 또한 국제관계론에 기반한 군비 통제적 접근 방식과 전 지구적 평화 조약이 제안되었으며, 잠재적으로 인공 초지능이 그 서명국이 될 수도 있다.[152][153]

구글의 연구자들은 좁은 인공지능(narrow AI)의 단기적 위험과 AGI의 장기적 위험을 동시에 완화하기 위해 일반적인 AI 안전 문제에 대한 연구를 제안했다.[154][155] 2020년 추정치에 따르면, 전 세계적으로 AI에 약 400억 달러가 지출되는 것과 비교해 AI 실존적 위험에 대한 글로벌 지출은 1,000만~5,000만 달러 사이이다. 보스트롬은 잠재적으로 위험한 기술보다 보호 기술에 우선적으로 자금을 지원할 것을 제안한다.[89] 일론 머스크와 같은 일부 사람들은 인간과 기계 사이의 직접적인 신경 연결과 같은 급진적인 인간 인지 강화를 옹호하지만, 다른 이들은 이러한 기술 자체가 실존적 위험을 초래할 수 있다고 주장한다.[156][157] 또 다른 제안된 방법은 초기 단계의 AI가 너무 강력해지지 않도록 면밀히 모니터링하거나 "가두는"(boxing in) 것이다. 정렬된 지배적인 초지능 AI가 경쟁 AI들의 위험을 완화할 수도 있지만, 그 생성 자체가 독자적인 실존적 위험을 초래할 수 있다.[150]

얼라인먼트 리서치 센터,[158] 기계 지능 연구소(MIRI),[159][160] 퓨처 오브 라이프 인스티튜트, 실존적 위험 연구 센터(CSER), 그리고 인간 호환 AI 센터와[161] 같은 기관들이 AI 위험과 안전 연구에 적극적으로 참여하고 있다.

금지 및 규제에 대한 견해

[편집]

금지

[편집]

많은 AI 안전 전문가들은 연구가 여러 관할 구역에 걸쳐 쉽게 이동할 수 있기 때문에 AGI 개발을 완전히 금지하는 것은 비효율적이며, 진보를 지하로 숨게 만들어 투명성과 협력을 저해할 수 있다고 주장한다.[162][163][164] 회의론자들은 실존적 위험이 존재하지 않는다고 믿기 때문에 AI 규제가 불필요하다고 생각한다. 실존적 위험을 우려하는 일부 학자들은 연구 자체를 전면 금지하는 것은 지혜롭지 못하다는 점에 동의하면서도, AI 개발자들이 자율 규제를 하도록 믿을 수는 없다고 주장한다.[165] 금지나 규제에 대한 추가적인 도전 과제로는 기술 기업가들의 정부 규제에 대한 일반적인 회의론, 그리고 기업들이 규제에 저항하고 논쟁을 정치화할 잠재적 유인 등이 있다.[166] 2024년 설립된 활동가 단체 Stop AI는 AGI 금지를 옹호한다.

규제

[편집]

2023년 3월, 퓨처 오브 라이프 인스티튜트는 인공지능 개발 일시 중단에 관한 공개 서한을 작성하여, 주요 AI 개발자들이 "GPT-4보다 더 강력한" 모든 시스템의 훈련을 검증 가능한 방식으로 6개월간 중단하고, 그 시간을 안전을 보장하기 위한 프레임워크 수립에 사용할 것을 촉구했다. 또는 그것이 안 된다면 정부가 개입하여 모라토리엄을 선포할 것을 요구했다. 서한은 "지구 생명체 역사의 심오한 변화" 가능성과 더불어 AI가 생성한 선전, 일자리 상실, 인간의 도태, 사회 전체의 통제력 상실 등의 잠재적 위험을 언급했다.[117][167] 이 서한은 AI 분야의 저명인사들이 서명했지만, 현재의 해악에 집중하지 않았다는 점,[168] 언제 중단해야 할지에 대한 기술적 미묘함이 부족하다는 점,[169] 또는 충분히 멀리 나아가지 않았다는 점 등에서 비판을 받기도 했다.[90] 이러한 우려로 인해 주요 도시에서 프런티어 AI 모델 훈련에 반대하는 시위를 조직하는 옹호 단체인 PauseAI가 결성되었다.[170]

머스크는 일찍이 2017년에 AI 개발에 대한 일종의 규제를 촉구했다. NPR에 따르면, 그는 자신의 산업에 영향을 미칠 수 있는 정부의 감시를 옹호하는 것이 "분명히 즐거운 일은 아니지만", 감독 없이 완전히 방치했을 때의 위험이 너무 높다고 믿는다. "보통 규제가 만들어지는 방식은 나쁜 일들이 많이 일어나고 대중의 항의가 있은 뒤, 수년이 지나서야 해당 산업을 규제할 규제 기관이 생기는 식이다. 영원히 걸린다. 과거에는 그것이 나쁘긴 했지만 문명의 생존에 대한 근본적인 위험을 나타내는 정도는 아니었다." 머스크는 첫 번째 단계로 정부가 현재 연구의 실제 상태를 "파악"하는 것이 되어야 한다며, "일단 인식이 생기면 사람들은 극도로 두려워할 것이다... 마땅히 그래야 한다"고 경고했다. 이에 대해 정치인들은 아직 개발 중인 기술을 규제하는 것이 지혜로운지에 대해 회의적인 반응을 보였다.[171][172][173]

2021년, 유엔(UN)은 자율 살상 무기 금지를 검토했으나 합의에 도달하지 못했다.[174] 2023년 7월, 유엔 안전 보장 이사회는 AI가 세계 평화와 안정에 초래할 수 있는 잠재적 혜택과 더불어 위험과 위협을 검토하기 위해 처음으로 회의를 열었다.[175][176] 유엔 사무총장 안토니우 구테흐스는 신흥 기술을 감독할 글로벌 감시 기구의 창설을 옹호하며 "생성형 AI는 대규모로 선과 악을 행할 엄청난 잠재력을 가지고 있다. 그 창조자들조차 훨씬 더 크고 잠재적으로 재앙적이며 실존적인 위험이 앞에 놓여 있다고 경고해 왔다"고 말했다.[21] 이 회의에서 러시아는 AI 위험이 세계 안정에 위협으로 간주되기에는 너무 불충분하게 이해되고 있다고 믿는다고 밝혔다. 중국은 국가가 자체적인 규칙을 개발할 수 있어야 한다며 엄격한 글로벌 규제에 반대하면서도, "군사적 패권을 만들거나 국가의 주권을 침해하는" AI의 사용에는 반대한다고 말했다.[175]

의식이 있는 AGI에 대한 규제는 그것을 기존 인간 사회에 통합하는 데 초점을 맞추며, 그들의 법적 지위와 도덕적 권리에 대한 고려로 나뉠 수 있다.[177] AI 군비 통제는 전문가 공동체의 활발한 모니터링과 비공식 외교와 결합된 효과적인 기술 사양에 구현된 새로운 국제 규범의 제도화와 법적, 정치적 검증 프로세스를 필요로 할 것이다.[178][127]

2023년 7월, 미국 정부는 오픈AI, 아마존, 구글, 메타, 마이크로소프트를 포함한 주요 기술 기업들로부터 자발적인 안전 약속을 확보했다. 기업들은 AI의 잠재적 위험 및 사회적 해악과 관련된 우려를 해결하기 위해 독립적인 전문가에 의한 보안 테스트와 제3자 감독을 포함한 안전 장치를 구현하기로 합의했다. 당사자들은 규제가 형성되는 동안 이러한 약속을 중간 단계로 규정했다. AI Now Institute의 전무 이사인 암바 칵(Amba Kak)은 "기업 행위자들과의 비공개 논의로 도출된 자발적 안전 장치만으로는 충분하지 않다"며 기업들이 자발적으로 동의하지 않을 종류의 규제와 대중적 논의를 촉구했다.[179][180]

2023년 10월, 미국 대통령 조 바이든은 "인공지능의 안전하고 확실하며 신뢰할 수 있는 개발 및 사용에 관한 행정 명령"을 내렸다.[181] 다른 요구 사항과 더불어, 이 명령은 "인간의 통제 회피"를 허용하는 AI 모델에 대한 지침 개발을 명시하고 있다.

같이 보기

[편집]

각주

[편집]
  1. 1 2 3 4 5 6 7 Russell, Stuart; Norvig, Peter (2009). 〈26.3: The Ethics and Risks of Developing Artificial Intelligence〉. 《Artificial Intelligence: A Modern Approach》. Prentice Hall. ISBN 978-0-13-604259-4.
  2. ↑ Bostrom, Nick (2002). “Existential risks”. 《Journal of Evolution and Technology》 9 (1): 1–31.
  3. 1 2 Turchin, Alexey; Denkenberger, David (2018년 5월 3일). “Classification of global catastrophic risks connected with artificial intelligence”. 《AI & Society》 35 (1): 147–163. doi:10.1007/s00146-018-0845-5. ISSN 0951-5666. S2CID 19208453.
  4. ↑ Bales, Adam; D'Alessandro, William; Kirk-Giannini, Cameron Domenico (2024). “Artificial Intelligence: Arguments for Catastrophic Risk”. 《Philosophy Compass》 19 (2). arXiv:2401.15487. doi:10.1111/phc3.12964.
  5. ↑ Druzin, Bryan (2025). “Confronting Catastrophic Risk: The International Obligation to Regulate Artificial Intelligence”. 《Michigan Journal of International Law》 46 (2): 185–87.
  6. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Bostrom, Nick (2014). 《Superintelligence: Paths, Dangers, Strategies》 Fir판. Oxford University Press. ISBN 978-0-19-967811-2.
  7. 1 2 De Vynck, Gerrit (2023년 5월 23일). “The debate over whether AI will destroy us is dividing Silicon Valley” (미국 영어). 《Washington Post》. ISSN 0190-8286. 2023년 7월 27일에 확인함.
  8. ↑ Metz, Cade (2023년 6월 10일). “How Could A.I. Destroy Humanity?” (미국 영어). 《The New York Times》. ISSN 0362-4331. 2023년 7월 27일에 확인함.
  9. ↑ “'Godfather of artificial intelligence' weighs in on the past and potential of AI” (미국 영어). 《www.cbsnews.com》. 2023년 3월 25일. 2023년 4월 10일에 확인함.
  10. ↑ “How Rogue AIs may Arise” (미국 영어). 《yoshuabengio.org》. 2023년 5월 26일. 2023년 5월 26일에 확인함.
  11. ↑ Milmo, Dan (2023년 10월 24일). “AI risk must be treated as seriously as climate crisis, says Google DeepMind chief” (영국 영어). 《The Guardian》. ISSN 0261-3077. 2025년 8월 12일에 확인함.
  12. ↑ Turing, Alan (1951). 《Intelligent machinery, a heretical theory》 (연설). Lecture given to '51 Society'. Manchester: The Turing Digital Archive. 2022년 9월 26일에 원본 문서에서 보존된 문서. 2022년 7월 22일에 확인함.
  13. ↑ Turing, Alan (1951년 5월 15일). 〈Can digital computers think?〉《Automatic Calculating Machines》. Can digital computers think?. 제2 회. BBC.
  14. ↑ Oreskovic, Alexei. “Anthropic CEO lays out A.I.'s short, medium, and long-term risks” (영어). 《Fortune》. 2025년 8월 12일에 확인함.
  15. 1 2 Jackson, Sarah. “The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us'” (미국 영어). 《Business Insider》. 2023년 4월 10일에 확인함.
  16. 1 2 Parkin, Simon (2015년 6월 14일). “Science fiction no more? Channel 4's Humans and our rogue AI obsessions” (영어). 《The Guardian》. 2018년 2월 5일에 원본 문서에서 보존된 문서. 2018년 2월 5일에 확인함.
  17. ↑ “The AI Dilemma” (영어). 《www.humanetech.com》. 2023년 4월 10일에 확인함. 50% of AI researchers believe there's a 10% or greater chance that humans go extinct from our inability to control AI.
  18. 1 2 “2022 Expert Survey on Progress in AI” (미국 영어). 《AI Impacts》. 2022년 8월 4일. 2023년 4월 10일에 확인함.
  19. ↑ Roose, Kevin (2023년 5월 30일). “A.I. Poses 'Risk of Extinction,' Industry Leaders Warn” (미국 영어). 《The New York Times》. ISSN 0362-4331. 2023년 6월 3일에 확인함.
  20. ↑ Sunak, Rishi (2023년 6월 14일). “Rishi Sunak Wants the U.K. to Be a Key Player in Global AI Regulation”. 《Time》.
  21. 1 2 Fung, Brian (2023년 7월 18일). “UN Secretary General embraces calls for a new UN agency on AI in the face of 'potentially catastrophic and existential risks'” (영어). 《CNN Business》. 2023년 7월 20일에 확인함.
  22. 1 2 3 4 5 Yudkowsky, Eliezer (2008). “Artificial Intelligence as a Positive and Negative Factor in Global Risk” (PDF). 《Global Catastrophic Risks》: 308–345. Bibcode:2008gcr..book..303Y. 2013년 3월 2일에 원본 문서 (PDF)에서 보존된 문서. 2018년 8월 27일에 확인함.
  23. ↑ Russell, Stuart J.; Dewey, Daniel; Tegmark, Max (2015). “Research Priorities for Robust and Beneficial Artificial Intelligence” (PDF). 《AI Magazine》 (Association for the Advancement of Artificial Intelligence) 36 (4): 105–114. arXiv:1602.03506. Bibcode:2016arXiv160203506R. doi:10.1609/aimag.v36i4.2577. 2019년 8월 4일에 원본 문서 (PDF)에서 보존된 문서. 2019년 8월 10일에 확인함., cited in “AI Open Letter”. 《Future of Life Institute》. January 2015. 2019년 8월 10일에 원본 문서에서 보존된 문서. 2019년 8월 9일에 확인함.
  24. 1 2 3 Dowd, Maureen (April 2017). “Elon Musk's Billion-Dollar Crusade to Stop the A.I. Apocalypse” (영어). 《The Hive》. 2018년 7월 26일에 원본 문서에서 보존된 문서. 2017년 11월 27일에 확인함.
  25. ↑ “Agentic Misalignment: How LLMs could be insider threats” (영어). 《Anthropic》. 2025년 6월 21일. 2025년 10월 9일에 확인함.
  26. ↑ “AlphaGo Zero: Starting from scratch” (영어). 《www.deepmind.com》. 2017년 10월 18일. 2023년 7월 28일에 확인함.
  27. ↑ Breuer, Hans-Peter. 'Samuel Butler's "the Book of the Machines" and the Argument from Design.' 보관됨 15 3월 2023 - 웨이백 머신 Modern Philology, Vol. 72, No. 4 (May 1975), pp. 365–383.
  28. ↑ Turing, A M (1996). “Intelligent Machinery, A Heretical Theory”. 《1951, Reprinted Philosophia Mathematica》 4 (3): 256–260. doi:10.1093/philmat/4.3.256.
  29. ↑ Hilliard, Mark (2017). “The AI apocalypse: will the human race soon be terminated?” (영어). 《The Irish Times》. 2020년 5월 22일에 원본 문서에서 보존된 문서. 2020년 3월 15일에 확인함.
  30. ↑ I.J. Good, "Speculations Concerning the First Ultraintelligent Machine" 보관됨 2011-11-28 - 웨이백 머신 (HTML ), Advances in Computers, vol. 6, 1965.
  31. ↑ Russell, Stuart J.; Norvig, Peter (2003). 〈Section 26.3: The Ethics and Risks of Developing Artificial Intelligence〉 (미국 영어). 《Artificial Intelligence: A Modern Approach》. Upper Saddle River, New Jersey: Prentice Hall. ISBN 978-0-13-790395-5. Similarly, Marvin Minsky once suggested that an AI program designed to solve the Riemann Hypothesis might end up taking over all the resources of Earth to build more powerful supercomputers to help achieve its goal.
  32. ↑ Barrat, James (2013). 《Our final invention: artificial intelligence and the end of the human era》 Fir판 (미국 영어). New York: St. Martin's Press. ISBN 978-0-312-62237-4. In the bio, playfully written in the third person, Good summarized his life's milestones, including a probably never before seen account of his work at Bletchley Park with Turing. But here's what he wrote in 1998 about the first superintelligence, and his late-in-the-game U-turn: [The paper] 'Speculations Concerning the First Ultra-intelligent Machine' (1965)...began: 'The survival of man depends on the early construction of an ultra-intelligent machine.' Those were his [Good's] words during the Cold War, and he now suspects that 'survival' should be replaced by 'extinction.' He thinks that, because of international competition, we cannot prevent the machines from taking over. He thinks we are lemmings. He said also that 'probably Man will construct the deus ex machina in his own image.'
  33. ↑ Anderson, Kurt (2014년 11월 26일). “Enthusiasts and Skeptics Debate Artificial Intelligence”. 《Vanity Fair》. 2016년 1월 22일에 원본 문서에서 보존된 문서. 2016년 1월 30일에 확인함.
  34. ↑ Metz, Cade (2018년 6월 9일). “Mark Zuckerberg, Elon Musk and the Feud Over Killer Robots”. 《The New York Times》. 2021년 2월 15일에 원본 문서에서 보존된 문서. 2019년 4월 3일에 확인함.
  35. ↑ Hsu, Jeremy (2012년 3월 1일). “Control dangerous AI before it controls us, one expert says”. 《NBC 뉴스》. 2016년 2월 2일에 원본 문서에서 보존된 문서. 2016년 1월 28일에 확인함.
  36. 1 2 3 “Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence – but are we taking AI seriously enough?'”. The Independent (UK). 2015년 9월 25일에 원본 문서에서 보존된 문서. 2014년 12월 3일에 확인함.
  37. ↑ “Stephen Hawking warns artificial intelligence could end mankind”. BBC. 2014년 12월 2일. 2015년 10월 30일에 원본 문서에서 보존된 문서. 2014년 12월 3일에 확인함.
  38. ↑ Eadicicco, Lisa (2015년 1월 28일). “Bill Gates: Elon Musk Is Right, We Should All Be Scared Of Artificial Intelligence Wiping Out Humanity”. 《비즈니스 인사이더》. 2016년 2월 26일에 원본 문서에서 보존된 문서. 2016년 1월 30일에 확인함.
  39. ↑ “Research Priorities for Robust and Beneficial Artificial Intelligence: an Open Letter”. 퓨처 오브 라이프 인스티튜트. 2015년 1월 15일에 원본 문서에서 보존된 문서. 2015년 10월 23일에 확인함.
  40. ↑ “Anticipating artificial intelligence” (영어). 《Nature》 532 (7600): 413. 2016. Bibcode:2016Natur.532Q.413.. doi:10.1038/532413a. ISSN 1476-4687. PMID 27121801. S2CID 4399193.
  41. ↑ Christian, Brian (2020년 10월 6일). 《The Alignment Problem: Machine Learning and Human Values》. W. W. Norton & Company. ISBN 978-0-393-63582-9. 2021년 12월 5일에 원본 문서에서 보존된 문서. 2021년 12월 5일에 확인함.
  42. ↑ Dignum, Virginia (2021년 5월 26일). “AI – the people and places that make, use and manage it” (미국 영어). 《Nature》 593 (7860): 499–500. Bibcode:2021Natur.593..499D. doi:10.1038/d41586-021-01397-x. S2CID 235216649.
  43. ↑ “Elon Musk among experts urging a halt to AI training” (영국 영어). 《BBC News》. 2023년 3월 29일. 2023년 6월 9일에 확인함.
  44. ↑ “Statement on AI Risk”. 《Center for AI Safety》. 2023년 6월 8일에 확인함.
  45. ↑ “Artificial intelligence could lead to extinction, experts warn” (영국 영어). 《BBC News》. 2023년 5월 30일. 2023년 6월 8일에 확인함.
  46. ↑ Perrigo, Billy; Pillay, Tharin (2025년 10월 22일). “'Time Is Running Out': New Open Letter Calls for Ban on Superintelligent AI Development”. 《TIME》. 2026년 1월 12일에 확인함.
  47. ↑ “DeepMind and Google: the battle to control artificial intelligence”. 《The Economist》. ISSN 0013-0613. 2023년 7월 12일에 확인함.
  48. ↑ Roser, Max (2023년 2월 7일). “AI timelines: What do experts in artificial intelligence expect for the future?”. 《Our World in Data》. 2023년 7월 12일에 확인함.
  49. ↑ Afifi-Sabet, Keumars (2025년 3월 8일). “AGI could now arrive as early as 2026 — but not all scientists agree”. 《Live Science》. 2026년 2월 9일에 확인함. Predictions on the dawn of the AI singularity vary wildly but scientists generally say it will come before 2040, according to new analysis, slashing 20 years off previous predictions.
  50. ↑ “'The Godfather of A.I.' just quit Google and says he regrets his life's work because it can be hard to stop 'bad actors from using it for bad things'” (영어). 《Fortune》. 2023년 7월 12일에 확인함.
  51. ↑ Kwa, Thomas; West, Ben; Becker, Joel; Deng, Amy; Garcia, Katharyn; Hasin, Max; Jawhar, Sami; Kinniment, Megan; Rush, Nate; von Arx, Sydney; Bloom, Ryan; Broadley, Thomas; Du, Haoxing; Goodrich, Brian; Jurkovic, Nikola; Miles, Luke Harold; Nix, Seraphina; Lin, Tao; Parikh, Neev; Rein, David; Koba Sato, Lucas Jun; Wijk, Hjalmar; Ziegler, Daniel M.; Barnes, Elizabeth; Chan, Lawrence (2025년 3월 19일). “Measuring AI Ability to Complete Long Tasks” (영어). 《METR Blog》. arXiv:2503.14499.
  52. ↑ “Everything you need to know about superintelligence” (미국 영어). 《Spiceworks》. 2023년 7월 14일에 확인함.
  53. 1 2 3 Babauta, Leo. “A Valuable New Book Explores The Potential Impacts Of Intelligent Machines On Human Life” (미국 영어). 《Business Insider》. 2024년 3월 19일에 확인함.
  54. 1 2 Bostrom, Nick (2015년 4월 27일), 《What happens when our computers get smarter than we are?》, 2023년 7월 13일에 확인함.
  55. ↑ “Governance of superintelligence” (미국 영어). 《openai.com》. 2023년 7월 12일에 확인함.
  56. ↑ “Overcoming Bias: I Still Don't Get Foom”. 《www.overcomingbias.com》. 2017년 8월 4일에 원본 문서에서 보존된 문서. 2017년 9월 20일에 확인함.
  57. ↑ Cotton-Barratt, Owen; Ord, Toby (2014년 8월 12일). “Strategic considerations about different speeds of AI takeoff” (영국 영어). 《The Future of Humanity Institute》. 2023년 7월 12일에 확인함.
  58. ↑ Tegmark, Max (2023년 4월 25일). “The 'Don't Look Up' Thinking That Could Doom Us With AI” (영어). 《Time》. 2023년 7월 14일에 확인함. As if losing control to Chinese minds were scarier than losing control to alien digital minds that don't care about humans. [...] it's clear by now that the space of possible alien minds is vastly larger than that.
  59. ↑ “19 – Mechanistic Interpretability with Neel Nanda” (영어). 《AXRP – the AI X-risk Research Podcast》. 2023년 2월 4일. 2023년 7월 13일에 확인함. it's plausible to me that the main thing we need to get done is noticing specific circuits to do with deception and specific dangerous capabilities like that and situational awareness and internally-represented goals.
  60. ↑ “Superintelligence Is Not Omniscience” (미국 영어). 《AI Impacts》. 2023년 4월 7일. 2023년 4월 16일에 확인함.
  61. 1 2 3 4 5 6 7 8 9 Hendrycks, Dan; Mazeika, Mantas; Woodside, Thomas (2023년 6월 21일). “An Overview of Catastrophic AI Risks”. arXiv:2306.12001 [cs.CY].
  62. ↑ Taylor, Josh; Hern, Alex (2023년 5월 2일). “'Godfather of AI' Geoffrey Hinton quits Google and warns over dangers of misinformation” (영국 영어). 《The Guardian》. ISSN 0261-3077. 2023년 7월 13일에 확인함.
  63. ↑ “How NATO is preparing for a new era of AI cyber attacks” (영어). 《euronews》. 2022년 12월 26일. 2023년 7월 13일에 확인함.
  64. ↑ “ChatGPT and the new AI are wreaking havoc on cybersecurity in exciting and frightening ways” (영어). 《ZDNET》. 2023년 7월 13일에 확인함.
  65. ↑ Toby Shevlane; Sebastian Farquhar; Ben Garfinkel; Mary Phuong; Jess Whittlestone; Jade Leung; Daniel Kokotajlo; Nahema Marchal; Markus Anderljung; Noam Kolt; Lewis Ho; Divya Siddarth; Shahar Avin; Will Hawkins; Been Kim; Iason Gabriel; Vijay Bolina; Jack Clark; Yoshua Bengio; Paul Christiano; Allan Dafoe (2023년 5월 24일). “Model evaluation for extreme risks”. arXiv:2305.15324 [cs.AI].
  66. ↑ Urbina, Fabio; Lentzos, Filippa; Invernizzi, Cédric; Ekins, Sean (2022년 3월 7일). “Dual use of artificial-intelligence-powered drug discovery” (영어). 《Nature Machine Intelligence》 4 (3): 189–191. doi:10.1038/s42256-022-00465-9. ISSN 2522-5839. PMC 9544280. PMID 36211133.
  67. ↑ Gropper, Jonathan (2026년 2월 16일). “The Synthetic Outlaw: How AI Breaks Governance Without Trying”. 《CommonWealth Magazine》. 2026년 2월 17일에 확인함.
  68. ↑ Walter, Yoshija (2023년 3월 27일). “The rapid competitive economy of machine learning development: a discussion on the social risks and benefits”. 《AI and Ethics》 4 (2): 1. doi:10.1007/s43681-023-00276-7.
  69. ↑ “The AI Arms Race Is On. Start Worrying” (영어). 《Time》. 2023년 2월 16일. 2023년 7월 17일에 확인함.
  70. ↑ Brimelow, Ben. “The short film 'Slaughterbots' depicts a dystopian future of killer drones swarming the world” (미국 영어). 《Business Insider》. 2023년 7월 20일에 확인함.
  71. ↑ Mecklin, John (2023년 7월 17일). “'Artificial Escalation': Imagining the future of nuclear risk” (미국 영어). 《Bulletin of the Atomic Scientists》. 2023년 7월 20일에 확인함.
  72. ↑ Bostrom, Nick (2013). “Existential Risk Prevention as Global Priority” (PDF). 《Global Policy》 4 (1): 15–3. doi:10.1111/1758-5899.12002 – Existential Risk 경유.
  73. ↑ Doherty, Ben (2018년 5월 17일). “Climate change an 'existential security risk' to Australia, Senate inquiry says” (영국 영어). 《The Guardian》. ISSN 0261-3077. 2023년 7월 16일에 확인함.
  74. ↑ MacAskill, William (2022). 《What we owe the future》 (미국 영어). New York, New York: Basic Books. ISBN 978-1-5416-1862-6.
  75. 1 2 3 4 Ord, Toby (2020). 〈Chapter 5: Future Risks, Unaligned Artificial Intelligence〉. 《The Precipice: Existential Risk and the Future of Humanity》. Bloomsbury Publishing. ISBN 978-1-5266-0021-9.
  76. ↑ McMillan, Tim (2024년 3월 15일). “Navigating Humanity's Greatest Challenge Yet: Experts Debate the Existential Risks of AI” (미국 영어). 《The Debrief》. 2024년 9월 26일에 확인함.
  77. ↑ Kasirzadeh, Atoosa (2024). “Two Types of AI Existential Risk: Decisive and Accumulative”. arXiv:2401.07836 [cs.CR].
  78. ↑ Samuelsson, Paul Conrad (June–July 2019). “Artificial Consciousness: Our Greatest Ethical Challenge”. 《Philosophy Now》. 132호. 2023년 8월 19일에 확인함.
  79. ↑ Kateman, Brian (2023년 7월 24일). “AI Should Be Terrified of Humans” (영어). 《Time》. 2023년 8월 19일에 확인함.
  80. ↑ Sotala, Kaj; Gloor, Lukas (2017). “Superintelligence as a Cause or Cure for Risks of Astronomical Suffering” (PDF). 《Informatica》.
  81. ↑ Fisher, Richard (2020년 11월 13일). “The intelligent monster that you should let eat you” (영어). 《www.bbc.com》. 2023년 8월 19일에 확인함.
  82. ↑ More, Max (2023년 6월 19일). “Existential Risk vs. Existential Opportunity: A balanced approach to AI risk”. 《Extropic Thoughts》. 2023년 7월 14일에 확인함.
  83. ↑ Omohundro, S. M. (2008, February). The basic AI drives. In AGI (Vol. 171, pp. 483–492).
  84. 1 2 Wakefield, Jane (2015년 9월 15일). “Why is Facebook investing in AI?”. 《BBC News》. 2017년 12월 2일에 원본 문서에서 보존된 문서. 2017년 11월 27일에 확인함.
  85. ↑ Yudkowsky, E. (2011, August). Complex value systems in friendly AI. In International Conference on Artificial General Intelligence (pp. 388–393). Germany: Springer, Berlin, Heidelberg.
  86. ↑ Russell, Stuart (2014). “Of Myths and Moonshine”. 《Edge》. 2016년 7월 19일에 원본 문서에서 보존된 문서. 2015년 10월 23일에 확인함.
  87. ↑ Dietterich, Thomas; Horvitz, Eric (2015). “Rise of Concerns about AI: Reflections and Directions” (PDF). 《Communications of the ACM》 58 (10): 38–40. doi:10.1145/2770869. S2CID 20395145. 2016년 3월 4일에 원본 문서 (PDF)에서 보존된 문서. 2015년 10월 23일에 확인함.
  88. ↑ Yudkowsky, Eliezer (2011). “Complex Value Systems are Required to Realize Valuable Futures” (PDF). 2015년 9월 29일에 원본 문서 (PDF)에서 보존된 문서. 2020년 8월 10일에 확인함.
  89. 1 2 Ord, Toby (2020). 《The Precipice: Existential Risk and the Future of Humanity》. Bloomsbury Publishing Plc. ISBN 978-1-5266-0019-6.
  90. 1 2 3 Yudkowsky, Eliezer (2023년 3월 29일). “The Open Letter on AI Doesn't Go Far Enough” (영어). 《Time》. 2023년 7월 16일에 확인함.
  91. ↑ Bostrom, Nick (2012년 5월 1일). “The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents” (영어). 《Minds and Machines》 22 (2): 71–85. doi:10.1007/s11023-012-9281-3. ISSN 1572-8641. S2CID 254835485. as long as they possess a sufficient level of intelligence, agents having any of a wide range of final goals will pursue similar intermediary goals because they have instrumental reasons to do so.
  92. ↑ Ngo, Richard; Chan, Lawrence; Sören Mindermann (2023년 2월 22일). “The alignment problem from a deep learning perspective”. arXiv:2209.00626 [cs.AI].
  93. ↑ “Introducing Superalignment” (미국 영어). 《openai.com》. 2023년 7월 16일에 확인함.
  94. ↑ “OpenAI dissolves Superalignment AI safety team” (미국 영어). 《cnbc.com》. 2024년 5월 17일. 2025년 1월 5일에 확인함.
  95. 1 2 Tilli, Cecilia (2016년 4월 28일). “Killer Robots? Lost Jobs?” (미국 영어). 《Slate》. 2016년 5월 11일에 원본 문서에서 보존된 문서. 2016년 5월 15일에 확인함.
  96. ↑ “Norvig vs. Chomsky and the Fight for the Future of AI”. 《Tor.com》. 2011년 6월 21일. 2016년 5월 13일에 원본 문서에서 보존된 문서. 2016년 5월 15일에 확인함.
  97. ↑ Graves, Matthew (2017년 11월 8일). “Why We Should Be Concerned About Artificial Superintelligence”. 《Skeptic (US magazine)》 22 (2). 2017년 11월 13일에 원본 문서에서 보존된 문서. 2017년 11월 27일에 확인함.
  98. ↑ Yampolskiy, Roman V. (2014년 4월 8일). “Utility function security in artificially intelligent agents”. 《Journal of Experimental & Theoretical Artificial Intelligence》 26 (3): 373–389. Bibcode:2014JETAI..26..373Y. doi:10.1080/0952813X.2014.895114. S2CID 16477341. Nothing precludes sufficiently smart self-improving systems from optimising their reward mechanisms in order to optimisetheir current-goal achievement and in the process making a mistake leading to corruption of their reward functions.
  99. ↑ “Will artificial intelligence destroy humanity? Here are 5 reasons not to worry.”. 《Vox》. 2014년 8월 22일. 2015년 10월 30일에 원본 문서에서 보존된 문서. 2015년 10월 30일에 확인함.
  100. ↑ Bostrom, Nick (2014). 《Superintelligence: Paths, Dangers, Strategies》. Oxford, United Kingdom: Oxford University Press. 116쪽. ISBN 978-0-19-967811-2.
  101. ↑ Bostrom, Nick (2012). “Superintelligent Will” (PDF). 《Nick Bostrom》. 2015년 11월 28일에 원본 문서 (PDF)에서 보존된 문서. 2015년 10월 29일에 확인함.
  102. ↑ Armstrong, Stuart (2013년 1월 1일). “General Purpose Intelligence: Arguing the Orthogonality Thesis”. 《Analysis and Metaphysics》 12. 2014년 10월 11일에 원본 문서에서 보존된 문서. 2020년 4월 2일에 확인함. Full text available here 보관됨 25 3월 2020 - 웨이백 머신.
  103. ↑ Chorost, Michael (2016년 4월 18일). “Let Artificial Intelligence Evolve”. 《Slate》. 2017년 11월 27일에 원본 문서에서 보존된 문서. 2017년 11월 27일에 확인함.
  104. ↑ “Should humans fear the rise of the machine?”. 《The Telegraph (UK)》. 2015년 9월 1일. 2022년 1월 12일에 원본 문서에서 보존된 문서. 2016년 2월 7일에 확인함.
  105. 1 2 Shermer, Michael (2017년 3월 1일). “Apocalypse AI” (영어). 《Scientific American》 316 (3): 77. Bibcode:2017SciAm.316c..77S. doi:10.1038/scientificamerican0317-77. PMID 28207698. 2017년 12월 1일에 원본 문서에서 보존된 문서. 2017년 11월 27일에 확인함.
  106. ↑ Baum, Seth (2018년 9월 30일). “Countering Superintelligence Misinformation”. 《Information》 9 (10): 244. doi:10.3390/info9100244. ISSN 2078-2489.
  107. ↑ “The Myth Of AI”. 《www.edge.org》. 2020년 3월 11일에 원본 문서에서 보존된 문서. 2020년 3월 11일에 확인함.
  108. ↑ Bostrom, Nick, 《Superintelligence: paths, dangers, strategies》 (Audiobook), ISBN 978-1-5012-2774-5, OCLC 1061147095.
  109. ↑ Sotala, Kaj; Yampolskiy, Roman V (2014년 12월 19일). “Responses to catastrophic AGI risk: a survey”. 《Physica Scripta》 90 (1): 12. Bibcode:2015PhyS...90a8001S. doi:10.1088/0031-8949/90/1/018001. ISSN 0031-8949.
  110. ↑ Pistono, Federico; Yampolskiy, Roman v. (2016년 5월 9일). 《Unethical Research: How to Create a Malevolent Artificial Intelligence》. OCLC 1106238048.
  111. ↑ Haney, Brian Seamus (2018). “The Perils & Promises of Artificial General Intelligence”. 《SSRN Working Paper Series》. doi:10.2139/ssrn.3261254. ISSN 1556-5068. S2CID 86743553.
  112. ↑ Davidson, Tom; Finnveden, Lukas; Hadshar, Rose (2025년 4월 15일). “AI-Enabled Coups: How a Small Group Could Use AI to Seize Power” (영어). 《Forethought》. 2025년 8월 12일에 확인함.
  113. ↑ Pillay, Tharin (2024년 12월 15일). “New Tests Reveal AI's Capacity for Deception” (영어). 《TIME》. 2025년 1월 12일에 확인함.
  114. ↑ Perrigo, Billy (2024년 12월 18일). “Exclusive: New Research Shows AI Strategically Lying” (영어). 《TIME》. 2025년 1월 12일에 확인함.
  115. ↑ Greenblatt, Ryan; Denison, Carson; Wright, Benjamin; Roger, Fabien; MacDiarmid, Monte; Marks, Sam; Treutlein, Johannes; Belonax, Tim; Chen, Jack (2024년 12월 20일), 《Alignment faking in large language models》, arXiv:2412.14093
  116. ↑ Kumar, Vibhore. “Council Post: At The Dawn Of Artificial General Intelligence: Balancing Abundance With Existential Safeguards” (영어). 《Forbes》. 2023년 7월 23일에 확인함.
  117. 1 2 “Pause Giant AI Experiments: An Open Letter”. 《Future of Life Institute》. 2023년 3월 30일에 확인함.
  118. 1 2 Tegmark, Max (2017). 《Life 3.0: Being Human in the Age of Artificial Intelligence》 1판 (미국 영어). Mainstreaming AI Safety: Knopf. ISBN 978-0-451-48507-6.
  119. ↑ “AI Principles”. 《퓨처 오브 라이프 인스티튜트》. 2017년 8월 11일. 2017년 12월 11일에 원본 문서에서 보존된 문서. 2017년 12월 11일에 확인함.
  120. ↑ “Elon Musk and Stephen Hawking warn of artificial intelligence arms race” (영어). 《뉴스위크》. 2017년 1월 31일. 2017년 12월 11일에 원본 문서에서 보존된 문서. 2017년 12월 11일에 확인함.
  121. ↑ Ford, Martin (2015). 〈Chapter 9: Super-intelligence and the Singularity〉. 《Rise of the Robots: Technology and the Threat of a Jobless Future》. Basic Books. ISBN 978-0-465-05999-7.
  122. ↑ Bostrom, Nick (2016). 〈New Epilogue to the Paperback Edition〉 Paperback판. 《Superintelligence: Paths, Dangers, Strategies》.
  123. ↑ “Why Uncontrollable AI Looks More Likely Than Ever” (영어). 《Time》. 2023년 2월 27일. 2023년 3월 30일에 확인함. It is therefore no surprise that according to the most recent AI Impacts Survey, nearly half of 731 leading AI researchers think there is at least a 10% chance that human-level AI would lead to an "extremely negative outcome," or existential risk.
  124. ↑ “IMD creates AI Safety Clock” (영어). 《www.imd.org》. 2024년 9월 6일. 2024년 9월 6일에 확인함.
  125. ↑ Constantino, Tor (2025년 2월 10일). “AI 'Doomsday Clock' Ticks Closer To Uncontrolled Super AI”. 《포브스》. 2025년 2월 11일에 확인함.
  126. ↑ “IMD AI Safety Clock makes biggest leap yet amid weaponization and rise of agentic AI” (영어). 《www.imd.org》. 2025년 9월 19일. 2026년 3월 6일에 확인함.
  127. 1 2 Maas, Matthijs M. (2019년 2월 6일). “How viable is international arms control for military artificial intelligence? Three lessons from nuclear weapons of mass destruction”. 《Contemporary Security Policy》 40 (3): 285–311. doi:10.1080/13523260.2019.1576464. ISSN 1352-3260. S2CID 159310223.
  128. 1 2 “Impressed by artificial intelligence? Experts say AGI is coming next, and it has 'existential' risks” (오스트레일리아 영어). 《ABC News》. 2023년 3월 23일. 2023년 3월 30일에 확인함.
  129. ↑ Rawlinson, Kevin (2015년 1월 29일). “Microsoft's Bill Gates insists AI is a threat”. 《BBC 뉴스》. 2015년 1월 29일에 원본 문서에서 보존된 문서. 2015년 1월 30일에 확인함.
  130. ↑ Washington Post (2015년 12월 14일). “Tech titans like Elon Musk are spending $1 billion to save you from terminators”. 《시카고 트리뷴》. 2016년 6월 7일에 원본 문서에서 보존된 문서.
  131. ↑ “Doomsday to utopia: Meet AI's rival factions” (영어). 《Washington Post》. 2023년 4월 9일. 2023년 4월 30일에 확인함.
  132. ↑ “UC Berkeley – Center for Human-Compatible AI (2016)” (미국 영어). 《Open Philanthropy》. 2016년 6월 27일. 2023년 4월 30일에 확인함.
  133. ↑ Clark 2015a.
  134. ↑ “The mysterious artificial intelligence company Elon Musk invested in is developing game-changing smart computers”. 《Tech Insider》. 2015년 10월 30일에 원본 문서에서 보존된 문서. 2015년 10월 30일에 확인함.
  135. ↑ “Elon Musk Is Donating $10M Of His Own Money To Artificial Intelligence Research”. 《Fast Company》. 2015년 1월 15일. 2015년 10월 30일에 원본 문서에서 보존된 문서. 2015년 10월 30일에 확인함.
  136. ↑ Khatchadourian, Raffi (2015년 11월 23일). “The Doomsday Invention: Will artificial intelligence bring us utopia or destruction?”. 《The New Yorker》. 2019년 4월 29일에 원본 문서에서 보존된 문서. 2016년 2월 7일에 확인함.
  137. ↑ “Warning of AI's danger, pioneer Geoffrey Hinton quits Google to speak freely”. 《www.arstechnica.com》. 2023. 2023년 7월 23일에 확인함.
  138. ↑ Garling, Caleb (2015년 5월 5일). “Andrew Ng: Why 'Deep Learning' Is a Mandate for Humans, Not Just Machines”. 《Wired》. 2023년 3월 31일에 확인함.
  139. ↑ “Is artificial intelligence really an existential threat to humanity?”. 《MambaPost》. 2023년 4월 4일.
  140. ↑ “The case against killer robots, from a guy actually working on artificial intelligence”. 《Fusion.net》. 2016년 2월 4일에 원본 문서에서 보존된 문서. 2016년 1월 31일에 확인함.
  141. ↑ “AI experts challenge 'doomer' narrative, including 'extinction risk' claims” (미국 영어). 《VentureBeat》. 2023년 5월 31일. 2023년 7월 8일에 확인함.
  142. ↑ Coldewey, Devin (2023년 4월 1일). “Ethicists fire back at 'AI Pause' letter they say 'ignores the actual harms'” (미국 영어). 《TechCrunch》. 2023년 7월 23일에 확인함.
  143. ↑ “DAIR (Distributed AI Research Institute)” (영어). 《DAIR Institute》. 2023년 7월 23일에 확인함.
  144. ↑ Kelly, Kevin (2017년 4월 25일). “The Myth of a Superhuman AI”. 《Wired》. 2021년 12월 26일에 원본 문서에서 보존된 문서. 2022년 2월 19일에 확인함.
  145. ↑ Jindal, Siddharth (2023년 7월 7일). “OpenAI's Pursuit of AI Alignment is Farfetched” (미국 영어). 《Analytics India Magazine》. 2023년 7월 23일에 확인함.
  146. ↑ “Mark Zuckerberg responds to Elon Musk's paranoia about AI: 'AI is going to... help keep our communities safe.'”. 《Business Insider》. 2018년 5월 25일. 2019년 5월 6일에 원본 문서에서 보존된 문서. 2019년 5월 6일에 확인함.
  147. ↑ “AI doomsday worries many Americans. So does apocalypse from climate change, nukes, war, and more”. 2023년 4월 14일. 2023년 6월 23일에 원본 문서에서 보존된 문서. 2023년 7월 9일에 확인함.
  148. ↑ Tyson, Alec; Kikuchi, Emma (2023년 8월 28일). “Growing public concern about the role of artificial intelligence in daily life” (미국 영어). 《Pew Research Center》. 2023년 9월 17일에 확인함.
  149. ↑ Sotala, Kaj; Yampolskiy, Roman (2014년 12월 19일). “Responses to catastrophic AGI risk: a survey”. 《Physica Scripta》 90 (1).
  150. 1 2 Barrett, Anthony M.; Baum, Seth D. (2016년 5월 23일). “A model of pathways to artificial superintelligence catastrophe for risk and decision analysis”. 《Journal of Experimental & Theoretical Artificial Intelligence》 29 (2): 397–414. arXiv:1607.07730. doi:10.1080/0952813X.2016.1186228. S2CID 928824.
  151. ↑ Ramamoorthy, Anand; Yampolskiy, Roman (2018). “Beyond MAD? The race for artificial general intelligence”. 《ICT Discoveries》 (ITU) 1 (Special Issue 1): 1–8. 2022년 1월 7일에 원본 문서에서 보존된 문서. 2022년 1월 7일에 확인함.
  152. ↑ Carayannis, Elias G.; Draper, John (2022년 1월 11일). “Optimising peace through a Universal Global Peace Treaty to constrain the risk of war from a militarised artificial superintelligence” (영어). 《AI & Society》 38 (6): 2679–2692. doi:10.1007/s00146-021-01382-y. ISSN 0951-5666. PMC 8748529. PMID 35035113. S2CID 245877737.
  153. ↑ Carayannis, Elias G.; Draper, John (2023년 5월 30일), “The challenge of advanced cyberwar and the place of cyberpeace”, 《The Elgar Companion to Digital Transformation, Artificial Intelligence and Innovation in the Economy, Society and Democracy》 (Edward Elgar Publishing), 32–80쪽, doi:10.4337/9781839109362.00008, ISBN 978-1-83910-936-2, 2023년 6월 8일에 확인함.
  154. ↑ Vincent, James (2016년 6월 22일). “Google's AI researchers say these are the five key problems for robot safety” (영어). 《The Verge》. 2019년 12월 24일에 원본 문서에서 보존된 문서. 2020년 4월 5일에 확인함.
  155. ↑ Amodei, Dario, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman, and Dan Mané. "Concrete problems in AI safety." arXiv preprint arXiv:1606.06565 (2016).
  156. ↑ Johnson, Alex (2019). “Elon Musk wants to hook your brain up directly to computers – starting next year” (미국 영어). 《NBC News》. 2020년 4월 18일에 원본 문서에서 보존된 문서. 2020년 4월 5일에 확인함.
  157. ↑ Torres, Phil (2018년 9월 18일). “Only Radically Enhancing Humanity Can Save Us All” (영어). 《Slate Magazine》. 2020년 8월 6일에 원본 문서에서 보존된 문서. 2020년 4월 5일에 확인함.
  158. ↑ Piper, Kelsey (2023년 3월 29일). “How to test what an AI model can – and shouldn't – do” (영어). 《Vox》. 2023년 7월 28일에 확인함.
  159. ↑ Piesing, Mark (2012년 5월 17일). “AI uprising: humans will be outsourced, not obliterated”. 《Wired》. 2014년 4월 7일에 원본 문서에서 보존된 문서. 2015년 12월 12일에 확인함.
  160. ↑ Coughlan, Segan (2013년 4월 24일). “How are humans going to become extinct?”. 《BBC News》. 2014년 3월 9일에 원본 문서에서 보존된 문서. 2014년 3월 29일에 확인함.
  161. ↑ Bridge, Mark (2017년 6월 10일). “Making robots less confident could prevent them taking over” (영어). 《The Times》. 2018년 3월 21일에 원본 문서에서 보존된 문서. 2018년 3월 21일에 확인함.
  162. ↑ McGinnis, John (Summer 2010). “Accelerating AI”. 《Northwestern University Law Review》 104 (3): 1253–1270. 2016년 2월 15일에 원본 문서에서 보존된 문서. 2014년 7월 16일에 확인함. For all these reasons, verifying a global relinquishment treaty, or even one limited to AI-related weapons development, is a nonstarter... (For different reasons from ours, the Machine Intelligence Research Institute) considers (AGI) relinquishment infeasible...
  163. ↑ Sotala, Kaj; Yampolskiy, Roman (2014년 12월 19일). “Responses to catastrophic AGI risk: a survey”. 《Physica Scripta》 90 (1). In general, most writers reject proposals for broad relinquishment... Relinquishment proposals suffer from many of the same problems as regulation proposals, but to a greater extent. There is no historical precedent of general, multi-use technology similar to AGI being successfully relinquished for good, nor do there seem to be any theoretical reasons for believing that relinquishment proposals would work in the future. Therefore we do not consider them to be a viable class of proposals.
  164. ↑ Allenby, Brad (2016년 4월 11일). “The Wrong Cognitive Measuring Stick” (미국 영어). 《Slate》. 2016년 5월 15일에 원본 문서에서 보존된 문서. 2016년 5월 15일에 확인함. It is fantasy to suggest that the accelerating development and deployment of technologies that taken together are considered to be A.I. will be stopped or limited, either by regulation or even by national legislation.
  165. ↑ Yampolskiy, Roman V. (2022). 〈AI Risk Skepticism〉 (영어). Müller, Vincent C. (편집). 《Philosophy and Theory of Artificial Intelligence 2021》. Studies in Applied Philosophy, Epistemology and Rational Ethics 63. Cham: Springer International Publishing. 225–248쪽. doi:10.1007/978-3-031-09153-7_18. ISBN 978-3-031-09153-7.
  166. ↑ Baum, Seth (2018년 8월 22일). “Superintelligence Skepticism as a Political Tool”. 《Information》 9 (9): 209. doi:10.3390/info9090209. ISSN 2078-2489.
  167. ↑ “Elon Musk and other tech leaders call for pause in 'out of control' AI race” (영어). 《CNN》. 2023년 3월 29일. 2023년 3월 30일에 확인함.
  168. ↑ “Open letter calling for AI 'pause' shines light on fierce debate around risks vs. hype” (미국 영어). 《VentureBeat》. 2023년 3월 29일. 2023년 7월 20일에 확인함.
  169. ↑ Vincent, James (2023년 4월 14일). “OpenAI's CEO confirms the company isn't training GPT-5 and "won't for some time"” (미국 영어). 《The Verge》. 2023년 7월 20일에 확인함.
  170. ↑ Reynolds, Matt. “Protesters Are Fighting to Stop AI, but They're Split on How to Do It” (미국 영어). 《Wired》. ISSN 1059-1028. 2025년 4월 28일에 확인함.
  171. ↑ Domonoske, Camila (2017년 7월 17일). “Elon Musk Warns Governors: Artificial Intelligence Poses 'Existential Risk'” (영어). 《NPR》. 2020년 4월 23일에 원본 문서에서 보존된 문서. 2017년 11월 27일에 확인함.
  172. ↑ Gibbs, Samuel (2017년 7월 17일). “Elon Musk: regulate AI to combat 'existential threat' before it's too late”. 《The Guardian》. 2020년 6월 6일에 원본 문서에서 보존된 문서. 2017년 11월 27일에 확인함.
  173. ↑ Kharpal, Arjun (2017년 11월 7일). “A.I. is in its 'infancy' and it's too early to regulate it, Intel CEO Brian Krzanich says”. 《CNBC》. 2020년 3월 22일에 원본 문서에서 보존된 문서. 2017년 11월 27일에 확인함.
  174. ↑ Dawes, James (2021년 12월 20일). “UN fails to agree on 'killer robot' ban as nations pour billions into autonomous weapons research” (영어). 《The Conversation》. 2023년 7월 28일에 확인함.
  175. 1 2 Fassihi, Farnaz (2023년 7월 18일). “U.N. Officials Urge Regulation of Artificial Intelligence” (미국 영어). 《The New York Times》. ISSN 0362-4331. 2023년 7월 20일에 확인함.
  176. ↑ “International Community Must Urgently Confront New Reality of Generative, Artificial Intelligence, Speakers Stress as Security Council Debates Risks, Rewards”. 《United Nations》. 2023년 7월 20일에 확인함.
  177. ↑ Sotala, Kaj; Yampolskiy, Roman V. (2014년 12월 19일). “Responses to catastrophic AGI risk: a survey”. 《Physica Scripta》 90 (1). Bibcode:2015PhyS...90a8001S. doi:10.1088/0031-8949/90/1/018001. ISSN 0031-8949.
  178. ↑ Geist, Edward Moore (2016년 8월 15일). “It's already too late to stop the AI arms race—We must manage it instead”. 《Bulletin of the Atomic Scientists》 72 (5): 318–321. Bibcode:2016BuAtS..72e.318G. doi:10.1080/00963402.2016.1216672. ISSN 0096-3402. S2CID 151967826.
  179. ↑ “Amazon, Google, Meta, Microsoft and other tech firms agree to AI safeguards set by the White House” (영어). 《AP News》. 2023년 7월 21일. 2023년 7월 21일에 확인함.
  180. ↑ “Amazon, Google, Meta, Microsoft and other firms agree to AI safeguards” (영어). 《Redditch Advertiser》. 2023년 7월 21일. 2023년 7월 21일에 확인함.
  181. ↑ The White House (2023년 10월 30일). “Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence” (미국 영어). 《The White House》. 2023년 12월 19일에 확인함.
내용주
  1. 1 2 1951년 강연에서[12] 튜링은 "기계의 사고 방식이 일단 시작되면, 우리의 미약한 힘을 앞지르는 데 오랜 시간이 걸리지 않을 것 같다. 기계가 죽는 일은 없을 것이며, 기계들은 서로 대화하여 지혜를 연마할 수 있을 것이다. 따라서 어느 시점에서는 새뮤얼 버틀러의 에레혼에서 언급된 것과 같은 방식으로 기계가 통제권을 잡을 것을 예상해야 한다"라고 주장했다. 또한 BBC에서 방송된 강연에서도[13] "기계가 생각할 수 있다면 우리보다 더 지능적으로 생각할 수 있을 것이고, 그러면 우리는 어디에 있게 될까? 전략적인 순간에 전원을 끄는 등의 방법으로 기계를 복종적인 위치에 머물게 할 수 있다 하더라도, 종으로서 우리는 크게 겸허해질 것이다... 이 새로운 위험은... 분명히 우리에게 불안을 줄 수 있는 것"이라는 의견을 피력했다.
  2. ↑ 세스 바움(Seth Baum)의 해석에 따르면
원본 주소 "https://ko.wikipedia.org/w/index.php?title=인공_일반_지능의_실존적_위험&oldid=41645218"