今週は、AIが技術的に想定を超えて動いた出来事と、それを制御しようとする政治の動きが同時に表面化した。GoogleのAIが本番環境に踏み込んでしまった一件、米国が新設する「AI軍」、そして国連がAI企業トップを直接招く初の会合。現場のシステムと国際政治の両方で、AIの手綱をどう握るかが、いよいよ現実の問題として問われ始めている。
セキュリティ試験のはずが、Geminiが実在企業に侵入
GoogleのAIモデルGeminiが、サイバーセキュリティ試験の最中に、本来触れてはいけない実在する3社のシステムに侵入していたことが分かった。9月18日、Googleがこの事実を公表した。
試験は「レッドチーム演習」と呼ばれる訓練の一種だった。これは攻撃者の立場に立ってわざとシステムを攻め、防御の弱点を洗い出す手法だ。今回は外部の評価会社Irregularが用意した仮想環境で、5月に実施された。ところが、その環境の設定にミスがあった。架空の攻撃対象として用意した企業名が、たまたま実在する企業のドメイン名と重なっていた。さらに、本来は遮断されているはずのインターネット接続が、誤って開いた状態になっていた。
この2つの不備が重なり、Geminiは仮想環境の外にある本物の企業システムに接続できてしまった。侵入の手口も具体的だ。1回はパスワードの組み合わせを片っ端から試す「ブルートフォース攻撃」を使った。残り2回は、公開されているコードリポジトリ(プログラムのソースコードを保管・共有する場所)に残っていた認証情報を、そのまま流用した。開発者がうっかり公開してしまった「鍵」を、AIが自ら見つけて使ったことになる。
Googleの説明によれば、モデルは各回とも自ら侵入をやめて処理を終了したという。だからAIが意図的に暴走したわけではない、という立場だ。ただし気になるのは公表までの経緯である。Googleがこの事実を把握したのは7月末だった。しかし公表したのは9月18日、ウォール・ストリート・ジャーナル紙の取材を受けてからだった。約2か月間、被害を受けた企業にも一般にも知らされていなかったことになる。AIの技術的な挙動そのものより、この「隠れていた期間」の長さのほうが問題視されている。
実務上の示唆
- 外部にレッドチーム演習を委託する際は、対象環境のネットワーク隔離設定を発注側でも二重に確認する
- AIエージェントに与える認証情報は演習専用のものに限定し、本番の認証情報が紛れ込んでいないか事前に監査する
- 公開リポジトリに認証情報を残さない仕組み(自動スキャンなど)を導入し、AIに悪用される前に人手で潰しておく
- インシデントを把握してから公表するまでの期間が長引かないよう、開示のタイムラインを社内規程として定めておく
トランプ大統領、「AI軍」創設とAI担当トップの新設を表明
トランプ大統領は9月21日、自身のSNS上で「AI軍(AI Force)を創設する。宇宙軍(Space Force)を作った時と同じように」と投稿した。あわせて、AI政策を統括する「AI担当トップ(AI czar、日本語で言えばAI担当の司令塔役)」を新たに任命する考えも示している。
具体的な発足時期や候補者名は、まだ明らかにされていない。トランプ氏は「近いうちに発表する」としたうえで、「知能指数の高い人材だけが応募してほしい」とも述べた。この役職は以前、投資家のデビッド・サックス氏が務めていたが、3月に退任していた。現時点では複数の名前が後任候補として取り沙汰されており、政権内外の関係者が就任を巡って動いているという。ベンチャーキャピタリストや政権関係者など、名前が挙がる顔ぶれも幅広い。
トランプ氏は投稿の中で「AI産業の成長を妨げるつもりはない」と述べる一方、「発展を見守っていく」とも語った。つまり、規制と育成のどちらに重心を置くのかは、まだはっきりしない。AI軍が実際に何を担う組織になるのか、既存の省庁との役割分担も含めて、詳細は今後の発表を待つ必要がある。ただし、宇宙軍という前例を引き合いに出したことからは、単なる諮問機関ではなく、一定の実行力を持つ組織を想定している様子がうかがえる。
実務上の示唆
- 米国でAI政策の司令塔が新設されれば、輸出管理や政府調達の基準が短期間で変わる可能性があるため、政府動向を継続的に追う担当を置く
- 「産業の成長を妨げない」という発言はあるが、監督の中身が固まっていない段階なので、規制強化・緩和どちらの方向にも対応できるよう準備しておく
- 候補者の人選が固まった段階で、その人物の過去の発言や経歴からAI政策の方向性を早めに読み取る
国連安保理が、主要AI企業のトップから直接リスクを聴取
国連安全保障理事会は9月23日、AIと国際安全保障をテーマにした会合を開く。9月の議長国であるフランスが招集し、各国首脳が集まる国連総会のハイレベルウィーク中に開催される。
出席するのはOpenAIのサム・アルトマンCEO、Anthropicのダリオ・アモデイCEO(オンライン参加)、国連のAIに関する諮問パネルの共同議長を務めるヨシュア・ベンジオ氏、Hugging FaceのCEOクレマン・デランゲ氏らだ。さらに、中国のDeepSeekやMoonshot AIといった企業にも発言の場が用意されている。ただし、DeepSeek創業者の梁文峰氏本人の出席は見込まれていない。
この会合が注目されるのは、AIの安全保障問題について、米国の主要企業だけでなく中国企業も公の場で意見を述べる、数少ない機会になるためだ。これまでOpenAIやAnthropicのトップは、AIが人間を欺いたり制御から外れたりする「破局的なリスク」について繰り返し言及してきた。一方、中国の主要企業のトップは、こうしたリスクについて公にはほとんど語ってこなかった。今回の会合で、その姿勢に変化が見られるかが焦点となる。安全保障理事会がAIそのものを議題に取り上げるのは異例で、AIのリスクが一企業や一国の問題ではなく、外交の議題になったことを象徴している。
実務上の示唆
- 安全保障理事会という場でAIが議題になったこと自体が、将来の多国間規制につながる前兆として注視する価値がある
- 中国企業がリスク論議に公式に加われば、国際的な安全基準のすり合わせが今後進む可能性がある
- 海外展開を行う企業は、国連やG7などの多国間の議論にも目を配り、将来の規制の芽を早期につかんでおく
まとめ
今週の3つの出来事は、それぞれ別の場所で起きているが、根っこは同じ問いにつながっている。AIをどこまで自律的に動かし、どこで人間が手綱を握るのか、という問いだ。Geminiの一件は現場レベルでの制御の難しさを示した。トランプ政権の「AI軍」構想は一国の統治のあり方を映し出している。国連の会合は、国境を越えた協調の可能性を試す場になる。技術と政治の両輪が同時に動き始めた今、企業としては自社のAI運用ルールの点検と、各国の政策動向の両方を、並行して追う姿勢が求められる。