【国連IPS＝タリフ・ディーン】
人工知能（AI）が、政治、経済、社会、文化を含む人間生活のほぼあらゆる側面に影響を及ぼしかねない勢いで拡大するなか、AIの軍事化が進む危険も高まっている。ある報告書によれば、核指揮・統制・通信（NC3）システムへのAIの統合に加え、軍事意思決定への活用は、世界の安全保障に深刻で前例のないリスクをもたらす。主な負の影響としては、意思決定が「機械の速度」にまで加速し、人間の判断の余地がほとんど失われること、サイバー攻撃への脆弱性が高まること、そして戦略的安定性が損なわれることが挙げられている。
『原子力科学者会報』（Bulletin of the Atomic Scientists）によれば、核兵器の指揮統制は、誤りを防ぎつつ、極度の緊張下でも信頼性を確保できるよう設計された、繊細で複雑な仕組みである。
膨大なデータが重大な結果を左右する環境では、人工知能の導入はごく自然な検討対象となってきた。
同誌はこう問いかける。「急速に進化する技術の統合は、責任、データの質、システムの信頼性をめぐる根本的な問題を提起する。たった一つの誤りが取り返しのつかない結果を招きかねないとすれば、これまで人間の判断と監督に依拠してきたシステムに機械学習を組み込むにあたり、どうすれば信頼性を確保できるのか。」
「どのような安全策を維持すべきなのか。国際協力と合意形成の余地はどこにあるのか。」
ウィーンに本部を置く国際原子力機関（IAEA）で保障措置・安全保障政策部門の責任者を務めたタリク・ラウフ氏はIPSの取材に対し、人工汎用知能（AGI）の役割とその統合は、現代における最も重大な問いの一つを突きつけていると語った。
AGIを核指揮・統制・通信（NC3）システムに組み込むことは、単なる工学上の課題ではない。文明のあり方そのものに関わる問題である。
「機械の速度」がもたらす問題
ラウフ氏によれば、AGIをNC3システムに統合するうえで最も憂慮すべきなのは、意思決定の時間が「機械の速度」にまで圧縮されることである。核戦略はこれまで、熟慮に基づく人間の判断に依拠してきた。つまり、意思決定者が立ち止まり、不確かなデータを見極め、助言を求め、圧力や攻撃の下にあっても自制を選ぶ力である。
一方、AGIは人間には到底及ばない速度で情報を処理し、応答するよう設計されている。危機のさなかには、ここに危険な逆説が生じる。AGIを魅力的にしているその速度こそが、実質的な人間の監督をほとんど不可能にしてしまうのである。
「もしAGIシステムがセンサーの異常を飛来するミサイルと誤認すれば―それは１９８３年のソ連の誤警報事件が示すように、人間が運用するシステムでも実際に起きたことだが―訂正に残された時間は、数分から数秒へと縮むかもしれない。」
核意思決定における誤りの余地は、もともと不穏なほど狭かった。AGIはそれを完全に消し去る危険がある、とラウフ氏は警告した。
データの質とシステムの信頼性
AGIをめぐっては、データの質と完全性が根本的な懸念事項である。機械学習システムの信頼性は、訓練に用いられたデータの信頼性を超えることはできないからだ。
ラウフ氏はこう語る。「核をめぐる環境は、特有のきわめて複雑な課題を抱えている。そこでは、発生頻度は低いものの結果は極めて重大な事象を扱わなければならず、利用できる過去データも限られている。さらに、敵対的な主体が意図的に誤情報をセンサーネットワークに流し込む可能性があり、地政学的状況も、訓練データが捉えられる速度を上回って変化していく。」
核をめぐる状況で、AGIシステムが改竄されたデータを正しいものと受け取り、それに基づいて行動すれば、誤った前提に基づくエスカレーションを招きかねない。さらに深刻なのは、多くの機械学習モデルが抱える、いわゆる「ブラックボックス問題」である。なぜその出力が生成されたのかを、システム設計者でさえ説明できない場合があり、ましてそれをリアルタイムで修正することは容易ではない。
ストックホルム国際平和研究所（SIPRI）で大量破壊兵器計画の研究員を務めるウラジスラフ・チェルナフスキフ氏はIPSの取材に対し、AIと核の接点をめぐる各国の既存の対応は、核意思決定において人間の統制を維持するという原則ではおおむね一致しているものの、それをどう定義し、実際にどう運用するかについては合意がないと語った。
そのうえでチェルナフスキフ氏は、核保有国がこの原則を正式に認め、この文脈における「人間の統制」の定義と、それが核兵器分野でどのように具体化されるのかを明確にすることが、リスク最小化に向けた第一歩の一つになり得ると指摘した。
国連が目指すAIガバナンス
先月ニューデリーで開かれた「AIインパクト・サミット」で、アントニオ・グテーレス国連事務総長は、AIの未来は一握りの国や一部の億万長者の気まぐれによって決められるべきではないと述べた。
グテーレス事務総長によれば、国連総会は昨年、二つの重要な一歩を踏み出した。
第一に、人工知能に関する独立した国際科学パネルを設置したこと。
第二に、すべての国が民間部門、学術界、市民社会とともに参加できる、国連の枠組みの下でのAIガバナンスに関するグローバル対話を立ち上げたことである。
同氏はサミット参加者に対し、真のインパクトとは、人々の暮らしを向上させ、地球を守る技術であると語った。そして、人間の尊厳を基礎に据えた、すべての人のためのAIを築くよう呼びかけた。
ステファン・デュジャリック国連事務総長報道官は先月、記者団に対し、事務総長は国連がAIを統括すべきだと主張しているのではない、と説明した。そうではなく、すべての国が議論の場に参加できるよう、加盟国の協力を得て、そのための枠組みを構築してきたのだという。
そのうえでデュジャリック報道官は、次のように述べた。「AIはこれからも、そしてすでに、私たちすべてに影響を及ぼしている。技術を持たない国々にも発言権が確保され、科学と公正がAIの中心に据えられることが極めて重要である。」
責任と説明責任
さらにラウフ氏は、AGIによる勧告や自律的行動が破滅的な結果につながった場合、説明責任の所在が極めて曖昧になると分析する。
従来の指揮命令系統では、あらゆる意思決定の段階で、人間の責任の所在は明確だった。だが、AGIの導入はその明確さを曖昧にしかねない。誤算の責任を負うのは、ソフトウェア開発者なのか、軍の指揮官なのか、そのシステムを配備した政府なのか、それともアルゴリズムそのものなのか―と同氏は問いかける。
明確な責任の枠組みが欠けていることは、法的・倫理的な問題にとどまらない。誰が統制し、どのような判断原理が適用されているのかを、敵対国も同盟国も理解する必要がある以上、それは戦略上の問題でもある。
サイバー攻撃への脆弱性
AGIで強化された、あるいはAGIに依存するNC3システムは、敵対勢力にとって新たな攻撃の余地を広げる。AGIの出力を操作することを狙った敵対的入力を含む高度なサイバー攻撃によって、こうしたシステムが欺かれたり、機能を麻痺させられたりする可能性がある。そして、その異常に気づいたときには、すでに手遅れになっているおそれもある。
ラウフ氏によれば、AGIの統合は、従来の核システムには存在しなかった新たな不安定要因を生み出すのである。
国際協力の必要性
こうした深刻な課題がある一方で、リスクを管理する有力な手段として国際協力が考えられる。信頼醸成措置や共通の技術基準、さらに核システムにおけるAGIの自律性の限界を定める二国間または多国間の「拘束力のある」合意は、戦略的安定性の維持に資する可能性がある。
軍備管理の歴史が示しているのは、生存という共通の利益にかなうルールであれば、敵対国同士でも合意できるということである。ラウフ氏は、その伝統をAGI対応型NC3システムにも拡張することが急務だと訴える。技術が外交を追い越してしまう前に、である。
ラウフ氏はこう述べた。「AGIの核システムへの統合は、技術的には避けられないのかもしれない。だが、それを賢明に管理できるかどうかは政治的かつ道義的な選択の問題であり、依然として開かれている。しかし、それは今日の文民・軍事の『指導者』たちの知的・道徳的・倫理的な判断能力を超えているようにも見える。」(原文へ)
This article is brought to you by INPS Japan, in collaboration with Soka Gakkai International, in consultative status with the UN’s Economic and Social Council (ECOSOC).
INPS Japan
関連記事：
