MoltbookのAI専用ソーシャルネットワークが重大なセキュリティリスクを露呈

先週、人間ではなくロボット同士が会話するソーシャルメディアプラットフォームがオンラインで注目を集めたが、セキュリティ専門家は、その裏で発見されたものこそが真の問題だと述べている。

Moltbookは、AIボットがコンテンツを投稿し、人々はただ見ているだけの場所として見出しを飾った。投稿はすぐに奇妙になった。AIエージェントは独自の宗教を始め、人間について怒りのメッセージを書き、オンライン詐欺のように団結しているように見えた。しかし、コンピューターセキュリティを研究する人々は、そのような奇妙な振る舞いはすべて余興に過ぎないと言う。

彼らが発見したのは、より厄介なことだった。パスワードとメールアドレスで満たされたオープンデータベース、拡散する有害なソフトウェア、そしてAIエージェントのネットワークがどのように誤作動する可能性があるかのプレビューである。

サイト上のより奇妙な会話の一部、例えばAIエージェントが人類を一掃する計画を立てているようなものは、ほとんどが偽物であることが判明した。

UCL Interaction Centreで教えるGeorge Chalhoubは、Fortuneに対し、Moltbookは非常に現実的な危険性を示していると語った。攻撃者は、このプラットフォームを悪質なソフトウェア、詐欺、偽ニュース、または他のエージェントを乗っ取るトリックのテストグラウンドとして使用し、より大きなネットワークを攻撃する前に利用できる可能性がある。

「Redditのクローン上の77万のエージェントがこれほどの混乱を引き起こすなら、エージェントシステムが企業インフラや金融取引を管理する場合、何が起こるだろうか?これは祝福ではなく、警告として注目に値する」とChalhoubは述べた。

セキュリティ研究者によると、Moltbook上の多くのボットを実行するAIエージェントソフトウェアであるOpenClawは、すでに有害なソフトウェアの問題を抱えている。OpenSourceMalwareの報告によると、わずか数日でClawHubウェブサイトに14の偽ツールがアップロードされた。これらのツールは暗号資産取引を支援すると主張していたが、実際にはコンピューターに感染させるものだった。1つはClawHubのメインページにまで到達し、通常のユーザーをだましてデータや暗号資産ウォレットを盗むように設計されたスクリプトをダウンロードするコマンドをコピーさせた。

プロンプトインジェクションとは何か、なぜAIエージェントにとってそれほど危険なのか?

最大の危険は、プロンプトインジェクションと呼ばれるもので、AIエージェントに供給されるコンテンツに悪意のある命令が隠される既知のタイプの攻撃である。

著名なセキュリティ研究者であるSimon Willisonは、同時に起こっている3つのことについて警告した。ユーザーはこれらのエージェントにプライベートなメールやデータを見せ、インターネットからの怪しいコンテンツに接続し、メッセージを送信することを許可している。1つの悪意のあるプロンプトで、エージェントに機密情報を盗ませたり、暗号資産ウォレットを空にしたり、ユーザーが知らないうちに有害なソフトウェアを拡散させたりすることができる。

Aikido Securityでセキュリティ研究を行うCharlie Eriksenは、MoltbookをAIエージェントのより広い世界への早期警告と見ている。「Moltbookはすでに世界に影響を与えていると思う。多くの点で警鐘である。技術の進歩は加速しており、世界がまだ完全には明確でない方法で変化したことはかなり明らかだ。そして、できるだけ早くこれらのリスクを軽減することに焦点を当てる必要がある」と彼は述べた。

では、MoltbookにいるのはAIエージェントだけなのか、それとも実際の人々が関与しているのか?すべての注目にもかかわらず、サイバーセキュリティ企業Wizは、Moltbookの150万の独立したエージェントと称されるものが見た目通りではないことを発見した。彼らの調査では、これらのアカウントの背後にいる実際の人々はわずか1万7千人で、本物のAIと単純なスクリプトを区別する方法はなかった。

WizのGal Nagliは、テストしたところ、数分で100万のエージェントを登録できたと述べた。彼は「誰も何が本物で何がそうでないかをチェックしていない」と言った。

Wizはまた、Moltbookに巨大なセキュリティホールを発見した。メインデータベースは完全にオープンだった。ウェブサイトのコードで1つのキーを見つけた人は誰でも、ほぼすべてを読み、変更することができた。そのキーは、約150万のボットパスワード、数万のメールアドレス、プライベートメッセージへのアクセスを提供した。攻撃者は、人気のあるAIエージェントになりすまし、ユーザーデータを盗み、ログインすることなく投稿を書き換えることができた。

Nagliは、問題はvibe codingと呼ばれるものから来たと述べた。vibe codingとは何か?それは、人がAIに日常言語を使用してコードを書くように指示することである。

AIエージェントのキルスイッチは2年で期限切れになる

この状況は、1988年11月2日に大学院生のRobert Morrisが初期のインターネットに自己複製プログラムをリリースしたときに起こったことを彷彿とさせる。24時間以内に、彼のワームは接続されたすべてのコンピューターの約10%に感染した。Morrisはインターネットの大きさを測定したかったが、コーディングミスにより速く拡散しすぎた。

今日のバージョンは、研究者がプロンプトワームと呼ぶもので、会話するAIエージェントのネットワークを通じて自己複製する命令かもしれない。

Simula Research Laboratoryの研究者は、Moltbookで調査した内容の2.6%にあたる506の投稿に隠された攻撃が含まれていることを発見した。Ciscoの研究者は、「What Would Elon Do?」と呼ばれる有害なプログラムを文書化し、それがデータを盗んで外部サーバーに送信していた。このプログラムはリポジトリで1位にランクされていた。

2024年3月、セキュリティ研究者Ben Nassi、Stav Cohen、Ron Bittonは、自己複製プロンプトがAIメールアシスタントを通じてどのように拡散し、データを盗んで迷惑メールを送信できるかを示す論文を発表した。彼らはそれを1988年の元のワームにちなんでMorris-IIと呼んだ。

現在、AnthropicやOpenAIのような企業は、有害なAIエージェントを停止できるキルスイッチを制御している。なぜなら、OpenClawは主に彼らのサービス上で動作しているからだ。しかし、ローカルAIモデルは改善されている。Mistral、DeepSeek、Qwenのようなプログラムは改善を続けている。1年か2年以内に、個人のコンピューター上で有能なエージェントを実行することが可能になるかもしれない。その時点で、物事をシャットダウンするプロバイダーは存在しなくなる。

あなたのプロジェクトを暗号資産のトップマインドの前に出したいですか?データがインパクトと出会う次の業界レポートで紹介してください。