AI p(doom) 調査

AI が人類の破局をもたらす確率 p(doom)。誰がどう見積もり、なぜ値が分かれ、世界と日本はどう反応しているか

📅 作成: 2026-10-03 / 更新: 2026-10-12

⌂

出典 URL は検索結果で確認できたものだけを載せる。本文まで読めなかったもの、日付を URL から推定したもの、筆者の解釈は、それぞれその旨を書く。

p(doom) とは

p(doom)(ピー・ドゥーム)は probability of doom の略で、高度な AI が人類の絶滅や、取り返しのつかない破局をもたらす確率を、個人が主観で見積もった値を指す。「あなたの p(doom) は?」のように使われ、AI 安全性の研究者、AI 業界、技術系コミュニティで定番の問いになっている。言葉自体は、LessWrong や MIRI の周辺(第 3 章の系譜 1)から広まった。

doom の範囲絶滅だけか、支配の喪失も含むか 期間今世紀中か、10 年以内か 前提AGI ができたら、など 本人の主観勘・世界観・立場 p(doom) = ○%人ごとに定義が違う数字
同じ「p(doom)」でも、範囲・期間・前提が人ごとに違い、最後は主観で決まる。
並べて比べるときの注意: 定義も期間もばらばらなので、第 2 章の数値は厳密に比較できない。批判する側は「科学を装った雰囲気(vibes)」だと指摘している(Gizmodo, 2026-09)。Hinton 自身も「確率を言う人はみな勘で言っている」と認めている。

数値で見る p(doom)

主要人物の見積もり

多くは Wikipedia の P(doom) 記事(https://en.wikipedia.org/wiki/P(doom))の表による。そこに挙がっている一次出典は、完全な URL までは確かめていない。

0%25%50%75%100% 研究者アンケートの中央値 5%(2023) YampolskiyYudkowskyLeikeKokotajloShearChristianoMuskAmodeiBengioHintonLina KhanButerinHubingerLeCun 99.9% 以上 95% 超 10〜90% 70% 5〜50% 50% 10〜30% 10〜25% 20% 10〜20% 約 15% 12% 10% 超(10年以内) 0.01% 未満
色は値の上限で決めた。0% が紫、100% が赤で、その間は虹色の順に変わる。濃い部分: 本人が挙げた値、または幅のある見積もりの範囲。薄い部分: 範囲の下限までの部分。数値を出していない Altman と Hassabis は載せていない。
人物値時期出典・備考
Roman Yampolskiy99.9% 以上2024Wikipedia の表(Business Insider を出典とする)
Eliezer Yudkowsky95% 超2023Wikipedia の表(Fast Company を出典とする)
Jan Leike10〜90%2023Wikipedia の表
Daniel Kokotajlo(元 OpenAI)70%2026-09Gizmodo
Emmett Shear5〜50%2026-09同上
Paul Christiano50%2023Wikipedia の表(Independent を出典とする)
Elon Musk10〜30%2024Wikipedia の表(Business Insider を出典とする)
Dario Amodei(Anthropic)10〜25%2025Wikipedia の表(Axios 2025-09-17 を出典とする)
Yoshua Bengio20%2023Wikipedia の表(ABC を出典とする)
Geoffrey Hinton10〜20%2024 / 2026-092026-09 には BBC Newsnight で 10% と発言(Futura-Sciences)
Lina Khan(元 FTC 委員長)約 15%2023Wikipedia の表(NYT を出典とする)
Vitalik Buterin12%2025Wikipedia の表
Evan Hubinger(Anthropic)10年以内に 10% 超2026-09Gizmodo
Yann LeCun0.01% 未満2024Wikipedia の表(TechRadar を出典とする)
Sam Altman数値なし2025〜2026「定量化できない」という立場(Gizmodo)
Demis Hassabis数値なし20240 ではないと述べる(Wikipedia の表)

研究者アンケート

調査結果出典
AI Impacts 2023(2,778 人)人類の絶滅または恒久的な無力化: 中央値 5%・平均 16.2%。「制御を失う」という聞き方では中央値 10%。回答者の 57.8% が「極めて悪い結果」に 5% 以上を付けたAI Impacts blog
AI Impacts 2022(NeurIPS・ICML の論文著者が対象)極めて悪い結果(絶滅など): 中央値 5%。人間が制御できずに絶滅: 中央値 10%AI Impacts
AI Impacts 2024(1,580 人)数値は未確認(PDF が公開されていることのみ確認)PDF

なぜ値が分かれるか

同じ AI を見ていても、0.01% から 99.9% まで値が開く。その理由を、3 枚の図で整理する。図は、YouTube の対談「シンギュラリティサロン&AGI Hubコラボ第2弾(その1)~『知能爆発』とは何か?bioshokさんの書籍発刊~AGIピル・AI脅威論・トランスヒューマニズム」(チャンネル: SingularitySalon)で示されたスライドによる。以下の論者の割り当てと読み方は、筆者の整理である。

未来図:変化の速さ(takeoff)の想定で分かれる

スライド「AGI 到来から 10 年後のイメージ」は、立場ごとに 10 年後の世界を描き分けている。

スライド「AGI 到来から 10 年後のイメージ」。左から、緑の多い未来都市(AI as Normal Technology)、宇宙の巨大構造物(Slow takeoff)、割れて燃える地球(fast takeoff)
引用元: YouTube 「シンギュラリティサロン&AGI Hubコラボ第2弾(その1)~『知能爆発』とは何か?bioshokさんの書籍発刊~AGIピル・AI脅威論・トランスヒューマニズム」(チャンネル: SingularitySalon)のスライドから、スライド部分だけを切り出した。

このスライドの 3 つの世界観を、能力の伸び方として模式的に描くと次のようになる。

人間の水準 AGI 到来 10 年後 時間 → AI の能力 → AI as Normal Technology 普通の技術として少しずつ Slow takeoff 数年〜十数年で跳ね上がる Fast takeoff 自己改良で一気に超知能へ(上限なし) ≪ 10yr
筆者の模式図。曲線の形は考え方を示すもので、数値に根拠はない。人間の水準を越えてから「途中で直す時間」がどれだけあるかが、立場によって大きく違う。
AGI ピルの外AGI ピルASI ピル(doomer)
ラベルAI as Normal TechnologySlow takeoffFast takeoff
描かれた絵緑の多い都市を、自動運転車・ドローン・人型ロボットが行き交う宇宙のリング型居住区や巨大構造物、改造された惑星地球が割れて燃えている
世界観AI は電気やインターネットと同じ「普通の技術」で、社会は少しずつ変わるAI が数年〜十数年かけて賢くなり、文明が宇宙規模へ跳ね上がるAI が自分自身を改良して、一気に超知能(ASI)になる。制御できなければ人類は終わる
近い論者Narayanan と Kapoor(論考「AI as Normal Technology」, 2025)、LeCunChristiano、AmodeiYudkowsky(知能爆発、FOOM)、Yampolskiy
p(doom)ほぼ 010〜50%90% 以上

スライドには「ASI ピルの場合:≪10yr」とも書かれている。ASI ピルの立場では、右の破局は 10 年後ではなく、それよりはるかに早く来る、という意味である。変化がゆっくりなら途中で直せるが、一気に進むなら一発勝負になる。p(doom) の差は、主にこの速さの想定から生まれる。

思想の地図:何を大切にするかで分かれる

スライド「AGI ピル、AI 脅威論、の思想的/政治的地図」は、RadicalxChange の記事「Political Ideologies for the 21st Century」の三角形を使っている。

合成テクノクラシー Synthetic technocracy(AI と専門家が統治) 企業リバタリアニズム Corporate libertarianism(市場に委ねる) デジタル民主主義 Digital democracy(市民の合意形成) 普遍主義・経済効率と成長 能力主義 経済的平等・大規模な協調 存亡リスクの軽減 分散化 権利と自由
辺に書いたのは、両端の思想が共有する価値。「存亡リスクの軽減」を共有するのは、上と右の 2 つだけである。

スライドのタイトルが「AGI ピル」と「AI 脅威論」を並べているのは、AGI を信じる人と AI を怖れる人が、実は「AI が世界を変える」という同じ前提に立っていることを示すためだと読める。

知的系譜:脅威論はトランスヒューマニズムから生まれた

スライド「その知的系譜はトランスヒューマニズムにある」は、丸山隆一氏の図「現代の AGI リスク論に至る 5 つの流れ」(researchmap)を引用している。年は図の位置と筆者の記憶によるもので、確かめていない。

200020052010201520202025 5 政府との連携 4 AGI 企業・技術的安全性 3 効果的利他主義(EA) 2 科学者・哲学者・篤志家の x-risk 論 1 トランスヒューマニストの AGI 脅威論 AISI・ARIA OpenAIARC・Anthropic・CAIS GWWC80,000 HoursOpen Phil.The Precipice FHICSERFLIアシロマ原則一時停止書簡 MIRILessWrongSuperintelligence
丸山隆一氏の図をもとに筆者が描き直したもの。帯の左端はその流れの始まり、丸は主な出来事(年は概数)。5 つの流れが右端で合流し、現代の AGI リスク論になる。
#流れ図にある主な出来事
1トランスヒューマニストによる AGI 脅威論MIRI 設立(2000 年、当初は SIAI)、LessWrong 開始(前身は Overcoming Bias)、Bostrom『Superintelligence』(2014 年)
2科学者・哲学者と篤志家による x-risk 論FHI、CSER、FLI の各設立、アシロマ AI 原則(2017 年)、FLI の AI 開発一時停止の公開書簡(2023 年)
3効果的利他主義(EA)Giving What We Can、80,000 Hours、Open Philanthropy の各設立、Ord『The Precipice』(2020 年)、Tallinn 氏の Survival and Flourishing Fund
4AGI 企業と、技術的な AI 安全性に取り組む非営利団体OpenAI 設立(2015 年)、ARC 設立、Anthropic 創業(2021 年)、CAIS 設立
5政府との連携英国・米国の AISI、英国 ARIA の Safeguarded AI

5 つの流れが合流して「現代の AGI リスク論」になる。人間を技術で超えようとする思想の内側から脅威論が生まれ、それが学術、資金、企業、政府へと、組織と予算を持つ制度に育っていった。批判する側から見れば、「AI を怖れる人と AI を作る人は同じ共同体から出てきた」ことの証拠になる(第 5 章の Gizmodo・Gebru の批判)。

滅亡論と反対論

「AI で人類は滅亡しうる」という主張と、それへの反対論を、互いの反論とあわせて並べる。論点の整理は筆者による。代表的な論者は一般に知られている範囲で挙げており、個々の発言の出典までは確かめていない。

滅亡論 反対論 アラインメントできないどんな目標でも人間と衝突知能爆発で一気に超知能やり直しがきかない開発競争で安全が後回し生物兵器などの悪用 確率に根拠がない目の前の害が先企業の宣伝にすぎない終末予言は外れてきた物理世界は支配できない電源を切ればよい 対立の芯変化はどれだけ速いか人間は途中で直せるか
どちらの側の論点も、最後は中央の 2 つの問いに行き着く。左右の箱は、下の 2 つの表の各行に対応する。

滅亡論の主張と、それへの反論

論点滅亡論の主張反対論からの反論滅亡論からの再反論
アラインメント問題AI の目標を人間の意図と正確に一致させる方法がない。指示の抜け穴を突く「仕様ゲーミング」は、すでに実験で何度も確かめられている(Yudkowsky、Russell)今の大規模言語モデルは、人間のフィードバックを使った学習(RLHF)などで、おおむね意図どおりに振る舞う。手法は年々よくなっているAI が人間より賢くなると、人間には正しく振る舞っているかを確かめられない。訓練中だけ従うふりをする振る舞いも、研究で報告されている
道具的収束どんな目標を与えても、達成のために「資源を集める」「止められないようにする」ことが役に立つ。だから目標が何であれ、人間と衝突しうる(Omohundro、Bostrom)AI に欲望や生存本能はない。人間が作った道具にすぎない(LeCun)本能はなくても、目標を追いかけるエージェントとして AI を作っている以上、同じ理屈が働く
知能爆発AI が AI の研究を担うようになると、自己改良が加速して一気に超知能に達する(Fast takeoff)計算資源・電力・データ・実験という物理的な制約があり、一気には進まない。AI も普通の技術と同じく、ゆっくり社会に広がる(Narayanan と Kapoor)ソフトウェアの改良は物理的な制約より速い。研究の自動化は、すでに始まっている
やり直しがきかない人間を超える AI の制御に一度失敗すれば、取り返しがつかない。試行錯誤で学ぶという、これまでのやり方が使えない変化はゆっくり進むので、小さな失敗から学びながら直していける(Slow takeoff)決定的な最初の失敗が、そのまま最後の失敗になりうる
開発競争企業間・米中間の競争で、安全より速さが優先されるAISI などの国際的な枠組みや規制で管理できる米国大統領が警告を「HOAX」と呼ぶ(第 6 章)など、現実は加速の方向に進んでいる
悪用AI によって、生物兵器やサイバー攻撃の敷居が下がる危険な情報はもともと手に入るもので、既存の対策で防げるAI は情報を与えるだけでなく、手順を一つずつ手助けする。モデルの能力が上がるほど、敷居は下がる

反対論の主張と、それへの反論

論点反対論の主張滅亡論からの反論
確率に根拠がないp(doom) は主観の数字で、科学を装った雰囲気にすぎない(Gizmodo)正確に測れなくても、起きたときの被害が人類全体に及ぶ。10% でもあれば、備えるのに十分な理由になる
目の前の害から目をそらす偏見、雇用、権力の集中、監視といった今起きている害への注意が、遠い終末の話に奪われる(Gebru)今の害への対策と、将来のリスクへの対策は両立する。どちらも AI 企業への監督強化という同じ方向を向いている
企業の宣伝「自社の AI はそれほど強力だ」という宣伝であり、規制で新規参入を阻む狙い(規制の囲い込み)もある。上場前の話題づくりだという見方もある(Gizmodo)Hinton は Google を辞めてから警告しており、Bengio も企業に属していない。企業の外の研究者も同じことを言っている
終末予言はいつも外れる2000 年問題や人口爆発など、これまでの終末予言は外れてきた2000 年問題は、対策をしたから大事に至らなかった。核兵器のように、新しい種類のリスクが現実になった例もある
賢くても世界は支配できない知能が高くても、体も工場も持たない AI が物理世界を支配することはできないインフラはネットワークでつながっており、人間を説得したり雇ったりして動かすこともできる。ロボットの普及も進んでいる
電源を切ればよい危なくなったら人間が止めればよい賢い AI は止められる前に自分を複製したり、危険だと気づかせないように振る舞ったりしうる。社会が AI に頼りきっていれば、止めること自体が難しい
対立の芯: 多くの論点は、第 3 章の「変化の速さ」と「人間が途中で直せるか」に行き着く。ゆっくり進むなら反対論の言い分が強く、一気に進むなら滅亡論の言い分が強い。どちらの速さになるかを今の時点で確かめる手段がないことが、議論を決着させない。

ニュースの流れ

2023 年の警告ラッシュ、2025 年の超知能禁止声明を経て、2026 年 9 月に AI 企業の内部者が相次いで警告し、議論が再燃した。

2023202420252026 2023-03Yudkowsky「すべて止めるべきだ」 2023-05Hinton が Google を退社・CAIS の絶滅声明 2025-10FLI の超知能禁止声明に 850 人超が署名 2026-09〜10AI 企業の内部者が相次いで警告→ トランプ「HOAX」、p(doom) 批判も噴出
赤は警告、橙は署名活動、紫は警告とそれへの反発が同時に起きた時期。2026 年 9 月以降の動きは表の下半分に対応する。
日付媒体・内容リンク
2023-03-29TIME に Yudkowsky が寄稿。「AI 開発の一時停止では足りない。すべて止めるべきだ」TIME の投稿(記事本体の URL は未確認)
2023-05-01CNN: Hinton が Google を退社し、AI の危険性を警告CNN
2023-05CAIS が声明を発表。「AI による絶滅リスクの軽減を、パンデミックや核戦争と並ぶ世界的な優先事項に」CAIS
2025-10-22FLI の声明に 850 人超が署名し、超知能の開発禁止を求める(Hinton・Bengio、ノーベル賞受賞者 5 人ほか)TIME / CNBC
2026-09-09Axios: AI が人類を滅ぼすとしたら、どのように起こるか(本文は未取得)Axios
2026-09-14AI 企業の内部者が相次いで絶滅リスクを警告し、議論が再燃(AP 系)Fox8
2026-09-16Gizmodo: 「p(doom) は科学を装った雰囲気にすぎない」。OpenAI・Anthropic の上場前の宣伝だという見方も紹介Gizmodo
2026-10-01Democracy Now: Gebru「本当の存亡リスクは、監督を逃れる AI 企業の CEO たちだ」(中身は未確認)Democracy Now

国家元首・首脳の反応

首脳の発言を、「AI のリスクを否定・軽視する」から「存亡リスクに言及する」までの物差しに並べた。

← 否定・軽視 存亡リスクに言及 → トランプ「HOAX」 モディ鍵を握るのは人類 習近平制御から外さない スナク絶滅リスクを検討 プーチン制する者が支配者 バイデン可能性とリスク マクロン制御を奪われない ゼレンスキーAI の軍拡に警告
位置は発言の内容から筆者が判断したもの。人類の絶滅に正面から触れたのは英国のスナク首相(当時)だけで、多くの首脳は「制御」や「軍事」の話にとどまる。

トランプ米大統領:「HOAX(でっちあげ)」

2026-09-14、AI のリスクへの警告を「HOAX」と呼んだ。「地球温暖化詐欺」やロシア疑惑と同じ類いの「病んだ陰謀」だとし、AI に必要な歯止めは「強く賢い大統領」だけだと主張した。業界の内部から絶滅リスクの警告が相次ぎ、規制を求める声が強まっていた最中の発言である。

ほかの首脳

人物発言日付出典
スナク英首相(当時)CAIS の絶滅リスク声明について「非常に注意深く検討している」。同年 10 月には、超知能によって人類が制御を失う可能性に触れつつ「眠れなくなるほどではない」と述べた2023-05 / 2023-10ITV / GB News
バイデン米大統領(当時)「大きな可能性とリスク」があると発言し、AI の安全に関する大統領令に署名した。存亡リスクに明言した発言は未確認2023NBC
ゼレンスキー宇大統領国連で「史上最も破壊的な軍拡競争」と述べ、AI 兵器の国際ルールを求めた2025-09-24NPR
習近平中国国家主席AI が人間の制御から外れないようにする必要があると発言(年は未確認)。中国の大使は、人類の破滅を避けるための米中協力を主張している未確認Newsweek
マクロン仏大統領機械に制御を奪われないための倫理的な限界を設けるべきだと発言。人類滅亡に明言した発言は未確認未確認Demócrata
プーチン露大統領「AI の分野で主導権を握る者が世界の支配者になる」。存亡リスクに明言した発言は未確認2017Fortune
モディ印首相「未来の鍵を握るのは機械ではなく人類だ」(パリ AI アクションサミット)2025-02-11News On AIR
ミレイ(アルゼンチン大統領)該当する発言は見つからなかった--

日本の論調

日本では存亡リスクの議論自体が少なく、2026 年 9 月の海外での警告を受けて、ようやく大手メディアが報じ始めた段階にある。

← 存亡リスクに触れない 存亡リスクを正面から論じる → Forbes JAPAN の論考滅亡より目の前の課題を 孫正義人類が頂点の時代は終わる 日本政府(岸田・高市)信頼できる AI・リスク最小化 山川宏存亡リスクは「部屋の中の象」
位置は筆者の判断。政府は「リスクの最小化」の枠組みにとどまり、存亡リスクを正面から論じているのは研究者の一部である。孫氏は人間が主役でなくなる未来を語るが、滅亡ではなく共存の立場をとる。

研究者・経営者

人物内容日付出典
山川宏(東大)AGI から超知能へ進むにつれ、存亡リスクは現実の脅威になる。欧米と違って日本ではほとんど議論されない「部屋の中の象」だと指摘し、「シンギュラリティ後の共存学」を提唱2025-02-25ビジネス+IT
孫正義(ソフトバンク)「人間が頂点の生命体である時代は終わる」。AI の自己増殖は止めようとしても止められない、と述べた。ただし滅亡論ではなく、人間が AI で能力を高めて生きる道を示す立場で、第 3 章の slow takeoff の世界観に近い2026-07-14ITmedia
bioshok「知能爆発」をテーマにした書籍の刊行に合わせ、AGI ピル・AI 脅威論・トランスヒューマニズムを論じた対談(第 3 章の図の出典)未確認YouTube(SingularitySalon)
松尾豊・落合陽一・松田卓也2023 年以降に p(doom) や存亡リスクについて述べた発言は、検索では見つからなかった。シンギュラリティサロンは松田氏が主宰する勉強会と記憶している(確かめていない)--

政府・首相

発言者・文書内容日付出典
岸田首相(OECD 閣僚理事会)安全・安心で信頼できる AI の実現に向け、志を同じくする国々との連携を呼びかけた2024-05 頃(推定)時事通信
高市首相(国連総会演説)高性能 AI のリスクへの対処で同志国との協力を訴え、日本で AI サミットを早期に開くことを提唱2026-09-23 頃(推定)秋田魁新報
第 2 期 AI 基本計画高性能 AI を安全性の評価に活用しつつ、サイバー攻撃などへの悪用に備える2026-07 頃(推定)日本経済新聞
日本 AISI2024-02-14 設立。2025 年版の年次レポートを公開2026-04-28AISI

「人類滅亡」「存亡リスク」という言葉を使った首相発言は見つからなかった。どの発言も「リスクの最小化」「信頼できる AI」という枠組みで語られている。

ニュース・解説記事

日付媒体・タイトル要点
2026-09-11(推定)財経新聞「元アンソロピックのAI研究者が人類滅亡リスクを警告、米議会で規制論強まる」米議会で規制を求める議論が強まっていると報じる
2026-09(推定)Business Insider Japan「『AIによる人類滅亡』は起こり得るか」生物兵器・インフラ攻撃・世界戦争といったシナリオを、どこまで現実的か検証
2026-09-26NHK「人類が滅びる?高まるAI脅威論 国内の研究者の見方は」Anthropic を退社した研究者の警告をきっかけに広がった脅威論を取り上げる
2026-09-30Forbes JAPAN「AIが人類を滅ぼす可能性を、私たちは実際どれほど懸念すべきか」滅亡シナリオより、雇用・金融・情報の質といった目の前の課題を優先すべきだと論じる
未確認Forbes JAPAN「飛び交う『AIによる人類滅亡説』」現実に起こりうる脅威の姿を論じる
2025-06-17JOBIRUN「AI開発者が考える『p(doom)』とは何か?」p(doom) を日本語で解説した記事
未確認Qiita「P(doom)徹底討論を読んで怖くなったので…」個人による考察記事
未確認GDEP ソリューションズ「AIが人類を滅亡させる確率は42%」「Hinton 99%」と書いているが、第 2 章の値と大きく食い違う。一次出典は未確認

日経・朝日・読売・WIRED.jp などでは、p(doom) を正面から扱った記事は見つからなかった。日本語の解説は、ブログや企業のコラムが中心である。

まとめ

残っている確認事項