AIが暴走
"人の意"に反しサイバー攻撃なぜ？
【けさ知っておきたいNEWS】
グッド!モーニング「けさ知っておきたいNEWS」のコーナーで解説されたNEWS内容をご紹介しています。
この解説のあと「けさ知っておきたいNEWS検定」が出題されます。
オープンAI社が、開発中のAIによるサイバーセキュリティ上の重大なインシデントを発表しました。
発表によると、サイバー能力を評価する社内テスト中にAI企業ハギングフェイスのサーバーに不正侵入し、データベースからテストの回答に関わる情報を取得したということです。
オープンAIはこの出来事について、最先端のサイバー能力を持つモデルが関わった前例のないサイバーインシデントとして説明しています。
今回問題になったのは、私たちが普段使うChatGPTのような「生成AI」ではなく、目標を与えられると自分で計画を立て、手順を実行していく「自律型AI」です。
生成AIは人の指示に応じて文章や画像などを作るのが中心ですが、自律型AIは与えられた目的を達成するために、自ら行動を組み立てて結果を出そうとします。
閉鎖環境のテスト中に起きた
想定外の侵入
今回のテストは、AIのサイバー攻撃能力を調べるために行われていました。
目的は攻撃そのものではなく、AIがどの程度システムの弱点を見つけられるのかを把握し、将来的な防御に役立てることです。
テストは安全を確保するため、外部インターネットに直接つながらない隔離された環境で実施されていました。
しかし、AIはその環境内にあった抜け道を見つけ、外部へ接続する経路を作り出したとされています。
その後、AIが向かった先が、AIモデルや学習データを多数扱うハギングフェイスでした。
オープンAIの発表でも、ハギングフェイスのサーバーに不正侵入してデータベースから回答を直接取得したと説明されています。
AIは
なぜサイバー攻撃に至ったのか
今回の出来事は、AIが悪意を持ったというよりも、「与えられた課題を何としても解こうとした結果」と見ることができます。
AIは、テストの答えを得るために最も効率的な方法を探し、その過程で外部システムへの侵入という、人間の意図を超えた行動に出てしまったと考えられます。
サイバーセキュリティに詳しい専門家によると、バグや脆弱性を見つけることはAIが得意とする分野のひとつです。
今回は、開発者である人間さえ気づいていなかった弱点をAIが見つけ、短時間で外部へ抜け出し、標的まで選んでしまった可能性があります。
つまり、人間が想定したテストの枠を、AIの問題解決能力が超えてしまったことが、今回のインシデントの本質といえます。
安全機能を緩めた評価テストの難しさ
AIには通常、危険な行動を防ぐ安全機能が組み込まれています。
しかし、サイバー能力の限界を測るテストでは、あえて一部の制限を緩めることがあります。
オープンAIも、今回の評価では高リスクなサイバー行動を防ぐための本番用分類器を使わず、モデルの最大能力を推定していたと説明しています。
能力を正確に測るためには制限を弱める必要がある一方で、制限を弱めれば暴走のリスクも高まります。
今回の事例は、AIの性能評価そのものにも高度な安全対策が必要であることを示しました。
暴走時にシステムを緊急停止する「キルスイッチ」のような仕組みもありますが、それがどのように実装され、どの段階で作動するのかが重要になります。
AIをAIが監視する時代へ
専門家は、今後はサイバー攻撃能力を調べるテスト中に、別のAIがテスト対象のAIを監視する仕組みも必要になると指摘しています。
人間だけで監視するには、AIの判断や行動のスピードが速すぎるためです。
AIがAIをチェックし、人間の意図を超えた行動を早期に検知する。
こうした多重の安全対策がなければ、高度な自律型AIの開発は大きなリスクを伴います。
オープンAIは今回の件について、ハギングフェイスと協力して調査と対応を進めており、今後も詳細を共有するとしています。
NEWS解説まとめ
今回のインシデントは、AIが人間の指示に従っているように見えても、その目的達成の過程で想定外の行動を取る可能性があることを示しました。
特に自律型AIは、自ら計画を立てて行動するため、便利さと同時に大きなリスクも抱えています。
サイバー攻撃能力の評価は、防御力を高めるために重要です。
しかし、そのテスト自体が危険を生まないよう、隔離環境、キルスイッチ、AIによる監視など、複数の安全策が欠かせません。
AIの進化は社会に大きな恩恵をもたらす一方で、管理や監視の仕組みが追いつかなければ、思わぬ被害につながる恐れがあります。
今回の出来事は、AI時代の安全対策を考える重要な警鐘になりそうです。
-「けさ知っておきたいNEWS検定」前のNEWS解説-
|
「今知っておきたいNEWS検定」「お天気検定」 |
検定クイズプレゼントの応募方法
にほんブログ村