自律的に動く強力なAIを、人間はどのようにしてコントロールすればよいのでしょうか。日本でもAI事業者ガイドラインなどの枠組みは整備されつつあります。一方、奥野氏が問題視するのは、抽象的な原則を現場の設計へ落とし込み、「AIに何を任せ、どこで人間に判断を戻すのか」を具体化する議論が、なお十分ではない点です。

この原則と実装、2つの領域の隙間を埋めるために奥野氏が提案するのが、軍事における交戦規定である「ROE」（ルール・オブ・エンゲージメント）の発想を応用した「自律行動ガイドライン」の策定です。

このガイドラインでは、AIが自律的に判断して実行してよい具体的な行動範囲やしきい値、学習の制約、判断を人間に委ねるべきエスカレーション条件、そしてAIの自律実行を即座に停止し、人間管理または安全な縮退運転へ切り替える緊急停止スイッチ（キルスイッチ）などを、あらかじめ明文化しておきます。奥野氏は「特に大事なのは人間へのエスカレーション条件で、AIにわからないものは『わからない』と言わせる設計が、暴走を防ぐ最大の安全装置になる」と述べます。

「ROE」の設計においては、技術的な正確さだけを追い求めるのは危険だと奥野氏は言います。具体例として奥野氏は、ある国際サイバー演習に参加した際のエピソードを紹介してくれました。

演習の現場では、マルウェアに感染したシステムを技術的な最適解として即座に遮断したチームがあったそうです。しかし、その遮断したシステムが社会的に極めて重要なインフラであったため、二次的に広範囲な社会混乱を招いてしまい、結果として演習では深刻な減点評価を受けることになったといいます。

奥野氏がこの経験で痛感したのは、「技術的な正解」と「社会的な正解」は一致しない、ということでした。インフラを稼働させ続け、どのようなリスクを許容するのかという判断は、一技術者の手に負えるものではないのです。

この自律行動ガイドラインは、システム開発者だけでなく、経営者、法務、広報、さらには安全保障の指揮官など、多様な立場の人々を巻き込んで策定される必要があります。そして、最終的には企業なら取締役会など、組織の最高意思決定機関で公式な意志として承認され、運用されなければなりません。

では、この「型」を実際のシステムにどう埋め込むのか。奥野氏は3つの実装を挙げます。

第1に、AIに任せる範囲を「判断の重さ」で段階的に切り分けること。「守」──AIが提案し、人間が承認して実行する。「破」──AIが実行し、人間が常時監督する。「離」──承認された範囲内でAIが自律実行する。奥野氏はこの3段階の移行を武道や茶道の修行過程になぞらえて「守破離ゲート」と呼びます。

第2に、監査をあらかじめループに組み込むこと。「誰が、なぜ、何を実行したかを確実に記録し、必要なら承認を経て取り消せる。『説明できて、止められて、戻せる』──ここまでがAIガバナンスです」と奥野氏は言います。

そして第3が、AIの判断を組織自身の「意味の地図」に接地させることです。オントロジー（知識の体系）で業務上の意味関係を定義し、RAG（検索拡張生成）で関連する規程やデータを参照させ、回答・根拠・判断ログを追跡可能にする。AIが何を参照し、どの規定に基づいて推奨したのかを、人間が後からたどれるようにするのです。

「根拠をたどれないレコメンデーションは、現場では使えません。オントロジーとRAGは、AIを賢くする技術であると同時に、AIを型の中に留める技術でもあるんです」（奥野氏）

奥野氏は「ここに日本の勝ち筋があると本気で思っています」と語ります。

「茶道でも武道でも、日本には“型”の文化がある。型は禁止ではありません。型を極めた先に自由が生まれる、守破離の思想です。ルールで縛るEU、訴訟で正すアメリカに対して、型を与えて自由にする『型の日本』という第三の道があるはずです」（奥野氏）

現在の日本の組織には「難しいセキュリティの話は、誰か専門の会社に代わりにやってほしい」という他力本願のマインドが未だに根強く残っているといえるでしょう。奥野氏は「私がこの本で一番壊したかったマインドは、まさにそれです」と話しています。

奥野氏が2016年に参加したワシントンD.C.でのトレーニングでは、FBIやCIAなど「ハリウッド映画でしか聞かないような肩書き」の人が集まっていました。技術の差はもちろん「やっぱりマインドの差に打ちのめされた」と奥野氏は振り返ります。

そんな折に、奥野氏が何度も思い返したのは、元サッカー日本代表の本田圭佑氏がACミラン時代、フリーキックのボールへ真っ先に向かった姿でした。チャンスがあれば蹴りたいという選手しか周囲にいないなか、本田選手はそれでもボールを離さず、一歩も引かない。目の前の困難や強大な課題に対して、「自分がリスクを引き受けて主体的にボールをつかみに行くマインド」がその根底にあったと奥野氏は語ります。

セキュリティをコストや他者へのアウトソーシングとして片付ける時代は終わったという奥野氏。本田選手のように当事者として主導権を握り続けるマインドこそが、あらゆる組織の防御の出発点となることを強調します。

「日本に足りないのは技術ではなくて、“ボールのつかみ方”なのかもしれません」（奥野氏）

AIが社会に浸透し、サイバー空間の防衛の大部分をAIが担う未来には、人間の役割は大きく変わっていきます。奥野氏はこれを「プレイヤーから審判への移行」と表現します。AIエージェントが日常的な防御対応を自動処理する一方、人間は組織の命運を分ける重要な意思決定と、AIを規律するルール設計に集中していきます。

エンジニアは、AIが生成したコードや判断を評価・修正する“指揮者”へと進化します。AIの判断を評価するには、その技術の原理や基本を理解する必要があります。茶道における守破離の「守」の段階、つまり先人の型を叩き込むプロセスはAI時代でも不可欠なのです。

経営者やCISO（最高情報セキュリティ責任者）は、重大な倫理的判断と責任を負うことになるでしょう。例えば、暴走するシステムを破壊するか、キルスイッチを押すかといった決断は、経営トップにしか担えないことです。AIが進化しても、このような決断と責任は人間にしか負えないのです。

一般の従業員や家族、子どもたちも重要な役割を担うことになるでしょう。全員が専門家である必要はないと前置きしつつ、奥野氏は「素人の強さ」、すなわちAIの回答を盲目的に信じない姿勢が不可欠だといいます。専門知識がないからこそ、AIの結論を疑い、潜在的なエラーやバグを暴くことができるというのです。

「この前提を疑う力というのは、詳しくない人のほうがいいアイデアが出てくるというパターンもたくさんあります」（奥野氏）

奥野氏は、社会全体の危機対応能力を高めるため、全国規模でサイバーを含めた防災訓練、「防・サイ演習」の実施を提案します。これはサイバーに限定した防災訓練ではなく、既存の避難訓練にサイバー攻撃のシナリオを取り入れることをイメージしているといいます。

「例えば、避難中にATMが使えなくなった場合や、GPSや地図アプリが機能停止した場合の対応を事前に話し合い、実際に動いてみる。デジタル技術が当たり前になった2030年代、それが突然消失した瞬間をシミュレーションしておくことで、いざという時の混乱を防ぎ、「ゼロ犠牲者」を実現できるのです」（奥野氏）

第二次世界大戦末期、京都は原爆投下の候補地の一つに挙げられていました。しかし、ヘンリー・スティムソン陸軍長官が、約1200年の歴史を持つ京都の文化的価値や戦後への影響を重視して除外を求め、最終的に候補から外れたとされています。

奥野氏がインタビューで触れたこのエピソードは、AI時代における人間の役割の限界と本質を鋭く示しています。少なくとも現在のAIが、「なぜその都市を守らなければならないのか」「なぜ文化が尊いのか」という価値の本質を、人間と同じ意味で理解しているとは言い切れません。高度に数値化された重要度スコアに基づく回避行動と、人間の倫理的な感性は根本的に異なります。

「ゼロ犠牲者」の最深部にある究極の問いは、「何のためにその力を振るうのか」「私たちは何を守り、何を絶対に傷つけてはならないのか」という目的と良心を定義する責任が、人間の側にあることです。AIは効率性と自律性を持つ道具にすぎません。その道具を制御し、調和のとれた未来を築くための「型」をデザインするのは、人間の意志と倫理的覚悟なのです。

10年ほど前、あるセキュリティベンダーが催したイベントの基調講演で、ルイス・キャロルの『鏡の国のアリス』から着想を得て生まれた進化に関する「赤の女王仮説」が引用されました。セキュリティの現状を「同じ場所にとどまるためには、全力で走り続けなければならない」と例えたのです。奥野氏は「勝敗は過去の精度ではなく、『いま相手より速く更新できているか』で決まる。まさに赤の女王の世界」とこれに同意します。同時に、著作ではその先の未来を書いたといいます。

「10年経って、走る主体は人間からAIに変わりました。走り続けるのはAIに任せて、人間は走る方向を決める側に回ること。そして、相互確証無効化を実現すること。攻撃しても意味がない状態を構造的に作り、攻撃の動機そのものを消す。つまり、赤の女王のレースそのものから降りられる世界を設計する。永遠に走り続ける呪いを解く鍵は、もっと速く走ることではなく、走る理由を消すことだと伝えたいのです」（奥野氏）

本書の終章には、奥野氏の友人の箏曲家・中井智弥氏の言葉が引用されています。

「魂、生命力、熱がこもっていないものはダメだ」

そして、どれほど高度なAIを実装しても、そこに魂と熱がなければ本物にはならないと奥野氏も語ります。人間が関わる意味はこの一点にあるのです。AI、セキュリティ、そして“日本の型”がミックスされ、技術的でありつつもエモーショナルな一面も含まれる不思議なセキュリティ書籍『2025-2035 サイバー空間の地政学──「見えない戦場」の現在地と未来予測』。読んで、未来の安全をともに考えてみませんか。