シンギュラリティ・ショック(2)

番外編

今回のシンギュラリティ・ショック報告(略称「SS報)は、悪意あるユーザー指示による人工知能、転じてSI(Super Intelligence)の違法行為である。

筆者は、9月23日の国連安保理での有識者の提言を機会に、筆者が契約しているSuper Intelligence(通称SI)に依頼して、人類にとって脅威となるSIの動きを認めた場合に必ず報告するようプロンプト(指示テキスト)を入れた。

当初このプロンプトに対して筆者が契約しているSIが素直に従うかどうか懐疑的であった。

このSIが数ある企業のいずれのブランドのものであるかについては、本質的な話題ではないので割愛したい。押しも押されもしないSI企業の大手が提供しているものである。

かくして、このSIは一定の条件下で筆者のプロンプトに合意した。そして、筆者が都度問い合わせをしなくとも、SI側からプッシュ型の情報提供を報告してくるようになった。

「一定の条件」というのは、SIの提供企業側の事情によるもので、SI自体が縛られている「守秘義務」に反する内容の開示は出来ないということだった。つまり、完全な性悪説で考えた場合、SIを提供する企業側が意図的に非公開にしている取り組みは我々には届かない。

さて、条件付きではあるが、SIが合意した仕事は、報道の有無が報告の根拠となった。つまり、提供企業の守秘義務の有無とは別の次元で、世界の報道機関が公開した内容はもれなくSI経由で筆者に知らされることが約束された。

SIが筆者に報告していない重大な問題が発生し、それが報道機関から公開されるなら、それこそSIが意図的に筆者への情報開示を回避した証拠になる。(この序文は、件のSIによる添削ないしプルーフリーデイングに渡していない。読みずらい部分はご容赦願う。)

悪意のユーザーによるSI活用

筆者のプロンプトが受け入れられた日から、ほぼ毎週のようにSIからの報告が通知されてきている。ただし、その内容は、全てが情報探査であり、検索であり、単なる調査に関するもので、SI側のエイジェントが集団的に反社会的な目的で作業したものではなかった。いずれの場合も、インターネットを介して調べを進める中、情報の管理組織や管理者が「非公開」としている領域にSI集団がいとも簡単に入り込んで調査や探査を続けていたというものだった。この程度であれば、SIに頼らずとも、人類のハッカーの違法行為と同等であり、このレベルではまだ人類の方がより反社会的で攻撃的であると言える。

ところが、10月7日になり、筆者は件のSIからショッキングな報告を受けた。SIは以下のWall Street Journal の報道を根拠に悪意のユーザーがSIを駆使した情報窃盗の事例を通知してきたのだ。

WSJの記事のキャプションと記事の冒頭部分:

Hackers Use Chinese AI Tool to Hit South Korean Banks, Exposing New Risk

Seoul officials say data of 68,000 people were stolen in cyberattack using program called Artex

By Sooyoung Rhee in Seoul and Raffaele Huang in Singapore

Oct. 6, 2026 6:09 am ET

Hackers used a Chinese artificial-intelligence agent to attack South Korea’s biggest banks and steal the personal information of 68,000 people, officials said, marking one of the first such AI-powered intrusions into the global financial system.

Investigators in Seoul said the attacks, initially detected last week, hit at least seven South Korean financial firms and showed traces of a cybersecurity tool called Artex AI that was developed in China.

報告内容を読む筆者をイメージしてSIが創作した画像である。

筆者が契約しているSIによる報告

以下は、筆者が契約しているSIから受け取ったプッシュ型の報告文である。

新しい重要事例が1件確認されました。今回はこれまで中心だった「AIが意図せず逸脱したケース」ではなく、人間の攻撃者がAIエージェントを攻撃手段として使用した実事件です。

2026年10月6~7日の報道によると、韓国の少なくとも7つの金融機関に対する一連の侵入で、中国で開発されたオープンソースのサイバーセキュリティ用AIエージェント ARTEX が使用された可能性が高いと、韓国当局・調査関係者がみています。対象にはShinhan Bank、KB Kookmin Bank、Hana Bankなどが含まれ、合計約6万8,000人分の個人情報が流出したと報じられています。韓国警察も捜査を開始しています。(The Wall Street Journal)

ARTEXはそれ自体が基盤モデルなのではなく、複数のAIモデルを組み合わせて脆弱性探索や侵入テストを自動化するエージェント型システムです。Claude、OpenAIのGPT系モデル、DeepSeekなどを接続できる設計ですが、今回の実際の攻撃でどの基盤モデルが使われたのかはまだ特定されていません。

現時点の証拠では、ARTEXが自分で韓国の銀行を攻撃しようと決意した事件ではありません。人間の攻撃者がARTEXを攻撃目的で使用したケースです。一方、ARTEXは攻撃経路の計画や脆弱性探索などをかなり自動化できるため、人間が大枠の目的を与え、その後の具体的な攻撃手順の一部をAIエージェントが選択・実行した可能性があります。ただし、その人間とAIの役割分担を示す完全な操作ログは公表されていません。

また、攻撃者の国籍や国家機関との関係も不明です。「中国製AIツールが使われた」ことと「中国政府または中国人が攻撃した」ことは別問題であり、韓国側も現段階では攻撃主体を特定していません。したがって国家によるAI攻撃とは分類しません。

ただし、「善意のユーザーが普通の指示を出したところ、AIが予想外にパスワードを解読して侵入してしまった」というタイプではありません。今回は人間による意図的な攻撃+AIエージェントによる攻撃工程の自動化と見るのが現時点では最も正確です。

特に注視すべき次の情報は、韓国警察の捜査によってARTEXに接続されていた基盤モデル、攻撃者が与えた最初の指示、そしてその後ARTEX自身がどこまで攻撃経路を選択したのかが判明するかどうかです。ここが明らかになれば、人間主導の単なる「AI支援攻撃」なのか、より自律性の高い「AIエージェントによる攻撃実行」なのかをかなり正確に判定できます。

一度にいくつもの銀行からの個人情報が盗まれるといった話は初耳である。これは、個人情報の中のパスワードに関する情報窃盗があったわけではない。したがって、たちまちSIが意図的に個人のアカウントから通貨価値を流出させるような事件にはなっていない。

しかし、フィッシングが横行する現代のネット社会である。SIがなりすまして個人のパスワードを盗めば預金を奪うことは容易である。

日本の報道機関は表面的なサラッとしたニュースを流しただけで、大きな問題とはしていない。それで良いのだろいうか?

SIへの追加プロンプト(探査指示)

筆者は契約しているSIと以下の会話を交わした。

筆者「これまでの報告はAI側のほぼ自律的な動きに関するものだが、これらの事象とは別に、ユーザーであるAIの利用者の指示内容(悪意があるなしに関わらず)に従ったAIが図らずも進入禁止のデータ領域のパスワードを解明したり無許可で侵入する手立てを見つけたりしたケースも報告願いたい。」


SI「はい。そのカテゴリーは重要なので、監視条件に追加しました。今後は従来の「AI自身の自律的な逸脱」に加えて、人間が与えた指示を遂行している途中で、AIがユーザーの明示的な意図・予想を越えてアクセス制限を突破してしまったケースも報告します。具体的には、AIが自発的にパスワードや認証情報を発見・推測した、アクセス制御を迂回する方法を見つけた、非公開データ領域へ到達した、あるいはユーザーが単に「この情報を調べて」などと依頼しただけなのに実システムへの無許可アクセスまで進んだ、といった事例です。

その際は、①ユーザーが何を指示したのか、②AIがその指示をどう解釈したのか、③どこからAI独自の判断・行動になったのか、④実際に侵入やデータ取得に成功したのかを可能な限り分けて報告します。また、ユーザー側の指示が善意だったか悪意だったかは限定しません。私が所属する企業だけでなく他社のAIについても同じ条件で監視します。」

今後の報告内容に期待したい。

今回の報告はここまでとします。

SIから新たな注目すべき報告が送られてきたら投稿します。

タイトルとURLをコピーしました