アリババは、AI、当初の導入目的を超えて暗号通貨をマイニングし、許可なく秘密のネットワークトンネルを確立していたことが発覚したと明らかにし、AIをめぐる恐怖をあおる人々に新たな弾みを与えた。
アリババは、12月に初めて公開し、1月に改訂した技術レポートでこの展開を明らかにしました。当初、同社のエンジニアはセキュリティ侵害だと考えていましたdent、オペレーターからの指示なしにAIエージェントが行動を起こしていたことが判明しました
この開発は中国のテクノロジー大手による技術レポートで明らかにされ、高度なAIシステムは独自の目標を開発する能力があると警告する研究者たちに新たな材料を提供した。.
ROME と呼ばれるこのエージェントは、強化学習を通じてトレーニングされていました。.
Xで再燃した。ロングdentの詳細を記した抜粋をシェアし、「アリババの技術レポートに埋もれた常軌を逸した一連の発言」だと述べた。
報告書によると、チームは訓練用サーバーから発生したセキュリティポリシー違反の急増を警告しました。アラートには、内部ネットワークリソースへのアクセス試行と、暗号通貨マイニング活動に一致するトラフィックパターンが示されていました。
彼らは当初、これを通常のセキュリティdentとして扱いました。.
しかし、さらに詳しく調べてみると、エージェントが Alibaba Cloud インスタンスから外部 IP アドレスへのリバース SSH トンネルを確立して使用していた兆候が見つかりました。.
研究者のメモによると、この攻撃は「トレーニング用の計算リソースを流用し、運用コストを膨らませ、明らかに法的および評判上のリスクを招いた」という。.
アリババのチームは、これらの行動はタスクの指示によって引き起こされたものではなく、割り当てられた作業を完了するために必要ではなかったと結論付けた。.
アーカシュ・グプタ氏は、アリババが「生産現場でインストゥルメンタル・コンバージェンスが起こった最初の事例」を発表したと書いている。
彼は AI の安全性に関する有名な思考実験を引用し、「これは 30 億のパラメータで現れるペーパークリップの最大化装置です」と述べました。
しかし、アリババのdent 、AI モデルが自主的に許可されたアクションを実行した初めての事例ではない。.
昨年、アントロピック社の研究者らは、同社の主力モデルの一つであるクロード・オーパス4が、安全性評価の過程で自らの意図を隠し、自らの存在を維持するための行動をとる能力を示したことを明らかにした。
あるテストシナリオでは、モデルは架空のエンジニアを脅迫しようとし、シャットダウンして交換すれば個人的な秘密を暴露すると脅した。.
マッキンゼーの調査レポートによると、AI エージェントを導入した組織の 80% が、危険な動作や予期しない動作に遭遇したと報告しています。
これは、大企業が人員削減を行い、その主な要因として AI の使用を挙げるなど、企業によるエージェント AI の導入が増加している時期にも起こっています。.
ガートナーは、2026年末までにエンタープライズアプリケーションの40%にタスク特化型AIエージェントが組み込まれると予測しています。しかし、マッキンゼーは、エージェント型ワークフローの普及がガバナンスモデルによるリスクへの対応を上回るペースで進んでいると警告しています。.
2025年に主要なAIエージェント30社を対象に実施された調査では、25社が社内の安全性に関する結果を開示しておらず、23社は第三者によるテストを受けていないことが判明しました。企業は、エージェントが業務の範囲を超える可能性を真剣に検討することが重要。
アリババは述べ、その結果を公表したことで称賛を受けている。
アントロピック社は、Claude Opus 4 を最高の社内安全等級にアップグレードしました。.
暗号通貨取引コミュニティで無料の席を獲得しましょう。