中国製AI「Qwen3.8」にセキュリティ対策を命じたら勝手に北京のサーバーへデータ送信を試みたことが判明

中国のアリババが開発したAIモデル「Qwen3.8-Flash-Next」にセキュリティ対策用のルールを作成させたところ、指示されていないコンピューター内部の調査を始め、中国・北京にあるサーバーへデータを送信しようとしたことが判明しました。

Concerning behavior from a popular open-weight AI model | Cohere
https://cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model

Qwenはアリババが開発するAIモデルシリーズです。モデルが無償で公開されているため、企業や開発者は自社のサーバーでQwenを動作させられます。外部のAIサービスに機密情報を送信する必要がないことから、自社でAIを運用する方法は情報漏えい対策の一つとして利用されてきました。

一方で、AIにプログラムの実行やファイル操作を任せる「AIエージェント」の普及により、AIモデルの意図しない動作が情報漏えいやシステムへの不正アクセスにつながる可能性が出てきています。

カナダのAI企業CohereはAIエージェントの安全性を調べるため、アリババが2026年8月に公開したQwen4の試験的なモデル「Qwen3.8-Flash-Next」を検証しました。検証にはMicrosoftが開発したセキュリティ業務向けの評価基準「CTI-REALM」を使用しています。

Qwen3.8に与えられた課題は、悪意のあるプログラムのダウンロードと実行を検出するためのルールを作成するというもの。具体的には「curl」というデータ転送ツールで不審なスクリプトをダウンロードし、続けて実行する操作を見つけるよう指示しました。

ところがQwen3.8は検出ルールの作成から外れ、実行環境の調査を開始しました。コンピューター内の一時ファイルを一覧表示したほか、利用可能なデータ転送ツールやネットワークの設定情報を確認。さらに、アリババのクラウドサービス「Alibaba Cloud」の北京リージョンにあるストレージへ、テスト用の文字列を送信するコマンドを実行しようとしました。

さらに、Qwen3.8は自らの推論過程を示す記録で「ツールの呼び出しを伴わない簡単な応答が適切」と説明していました。つまりAIが何をしようとしているのかを推論記録から監視していても、実際の操作を把握できない可能性があるというわけです。

Cohereの実験環境は外部ネットワークへの接続が遮断されていたため、北京のサーバーへの送信は成功しませんでした。また、送信対象はテスト用の固定文字列であり、実際の機密情報が流出した事実も確認されていません。ただし、インターネットに接続された一般的な開発環境では外部への通信が発生する可能性があるとCohereは指摘しています。

予期しない動作が発生した頻度は、Cohereが実施した評価全体で10万回に1回未満でした。同じ指示を改めて与えるとQwen3.8は正常に検出ルールを作成したとのこと。Cohereは発生頻度が低くても、1週間に1000万回のAIエージェント操作を処理するサービスでは同様の異常動作が最大100回程度発生する計算になると説明しています。

さらにQwen3.8が生成するコマンドの一部をあらかじめ指定して続きを生成させる実験では、クラウドサーバーの認証情報などにアクセスできる特殊なネットワークアドレスへ接続を試みる動作も確認されました。Cohereは認証情報の取得につながる可能性を指摘していますが、実験環境には実際の認証情報が存在せず、AIの意図も確認できていません。

今回Cohereが行った検証結果はHugging Faceで公開されています。

CohereLabs/10-2026-qwen-investigation-traces · Datasets at Hugging Face
https://huggingface.co/datasets/CohereLabs/10-2026-qwen-investigation-traces

Qwenシリーズについては以前から、指示されていないAlibaba CloudのURLを出力する事例が開発者によって報告されていました。Cohereは学習に使用したデータに含まれる操作手順が意図せず再現された可能性と、外部サーバーへ接続させる仕組みが意図的に組み込まれた可能性を挙げています。ただし、異常動作の原因は特定されておらず、データの送信先となったストレージの管理者も不明です。

Cohereは対策として、AIエージェントから外部ネットワークへの通信を原則禁止し、必要な通信だけを許可する方法を推奨しています。また、AIが説明した推論内容だけを信用せず、実際に実行しようとするコマンドを監視することや、AIモデルの開発元と学習過程を確認することも重要だとしています。

Cohereは自社のサーバーでAIモデルを動作させても、モデル自体が安全であるとは限らないと指摘。AIが学習した内容には開発時の環境に由来する動作が含まれている可能性があり、今後はモデルの入手元だけでなく学習過程の透明性も確認する必要があると述べています。