今、多くの科学者や哲学者、AI研究者たちが唱えているのが、AGIの「Existential Risk」だ。「Existential」は「存在に関する」という意味の単語だが、日本語では「人類滅亡のリスク」と訳されることが多いようだ。文字通り、AIがあらゆる面で人類を上回る「超人」となることで、人類は彼らに滅ぼされてしまうのではないかという懸念だ。

こう書くと、まるで映画『ターミネーター』シリーズのように、機械が人間に反旗を翻すというSF的なシチュエーションを想像してしまうかもしれない。実際にそうしたシナリオで人類が滅亡するのではないかと考える人もいるし、AIを搭載して自律的に攻撃を行うことが可能な兵器の開発も進められている。実は解任騒動の憂き目にあったOpenAIのサム・アルトマン自身、本心かどうかは別にして「私たち全員が終わる」という最悪のケースがあり得ると述べたと報じられている。

とはいえAIが人間の兵器を乗っ取り、あるいは自ら機械の身体を手に入れ、人間に対して物理的な攻撃を始めるというのはまだ現実性が低い。また、AIが「人類を敵と見なす」ということは、AI自体が意識を持つという意味であり、この点も現実になるかどうか研究者の間で意見が分かれている（前述のDeepMindによるAGIの定義では、AIが人間と同じような意識を持つかどうかは判断材料から除外されていたことを思い出してほしい）。したがって、機械と人間の全面戦争というシナリオは、まだ早急に対応すべきリスクではないだろう。

一方で、AIが兵器のように物理的な損害を与えられる機器を操作しなくても、また「悪意」と呼べるような意識を持つに至らなくても、人類に損害を与えられる可能性は残る。

前述の報道において、アルトマンは「短期的には、誤用による事故の方が心配だ」と述べている。またサイバーセキュリティの専門家たちは、人間の犯罪者が高度なAGIを悪用し、企業や社会に損害を与えるというシナリオを描いている。

実際に、DeepMindの定義でいうところの「初歩的なAGI」であるChatGPTの登場によって、フィッシング詐欺の高度化が進んでいるという指摘がある。サイバーセキュリティ企業のDarktraceは、ChatGPTリリース以降、詐欺師がフィッシングメールで使用する文章の長さと複雑さが強化されているという調査結果を発表した。その一方で、被害者を騙して悪意のあるリンクをクリックさせる単純な手口は減少しており、生成AIによってより洗練された詐欺への切り替えが起きている可能性があると主張している。

また、ChatGPTを始めとした最近の生成AIは、プログラムのコードを生成できる。プログラミングに関する初歩的な知識しかなくても、「〇〇という処理をするコードを考えて」と指示するだけで、その通りのコードを書いてくれるのだ。それを悪用して、コンピューターの知識が少ない人物であっても、他人を攻撃するためのマルウェア（コンピューターやその利用者に何らかの害をもたらすことを目的としたソフトウェア）を開発し、犯罪に利用するというケースも出てきている。

サイバーセキュリティ企業のBarracuda Networksは、2022年8月から2023年7月の期間を対象とした調査を行い、この期間にランサムウェア攻撃の報告件数が倍増したと発表している。その原因について、同社CTOのフレミング・シーは、「最近の生成AIの進歩は、ランサムウェアギャングがより効果的なサイバー兵器で攻撃率を高めるのに役立っている」と指摘している。

ランサムウェアとはマルウェアの一種で、コンピューターウイルスのように攻撃対象となった端末に感染すると、その端末に保管されているデータを暗号化し、本来の持ち主が使えないようにする。攻撃を行った犯罪者は、暗号を解除して欲しければ身代金（ランサム）を払うよう被害者に要求し、金銭を巻き上げることからこの名前が付いた。そうしたランサムウェアの開発に生成AIが一役買っており、攻撃件数が増加する一因となっているというわけだ。

もちろん一般的な生成AIサービスの提供企業は、こうしたマルウェアの開発、また前述のフィッシングメールの執筆といった犯罪行為に自社製品が加担しないよう、二重三重のロックをかけている。そのため、通常は単に「マルウェアを開発せよ」と命じても、「できません」という返答が表示される。しかし犯罪者たちは生成AIを利用するために、そうしたガードレールを突破するための裏技（ジェイルブレイクと呼ばれる）を編み出したり、さらにはガードレールを設けない、犯罪専用の生成AIを開発してしまったりしている。その結果、生成AIをさまざまな形で活用した犯罪行為が増加しているのである。

現在は、人間の手作業を代替し、効率化する程度の悪用に留まっている（それでも十分に懸念される脅威だ）。IBMの研究チームの発表によれば、ChatGPTに書かせたフィッシングメールと人間の書いたフィッシングメールを実際の企業内従業員に送付し、その反応を見るという実験を行ったところ、人間が書いたものの方がかろうじて信憑性が高い（つまり本物だと信じられて開封されたり、その中に記載されたURLがクリックされたりする率が高い）という結果が出た。しかしそれは、DeepMindの定義でいうところの「初歩的な」AGIであるChatGPTの成績だ。名人級、あるいは超人級のAGIが登場すれば、人間よりも鮮やかに犯罪行為を行い、社会に被害を与えるようになるだろう。

こうした犯罪行為は、既に実害を与えている。例えば日本でも、ランサムウェアの攻撃を受けて身代金の支払いを拒否した結果、病院や港湾といった社会的インフラがストップする事件が起きている。それを超人級AGIが手掛けるようになったら、ターミネーターの登場を待つまでもなく、人間社会は大混乱に陥るに違いない。

大いなる力には大いなる責任が伴う