OpenAIが8月7日、次期主力モデル「Astra」について、開発の一部を自分から止めたと発表しました。自社の安全指針「Preparedness Framework」が最上位に置く「Critical」に相当するサイバー能力を、このモデルが持っている可能性を否定できないためです。自社のモデルをこの水準に置いたのは、OpenAIとして初めてのことです。
競争の激しい生成AIの世界で次の主力モデルの投入を遅らせるのは、そのまま競合に先を譲ることを意味します。それでも止めた理由は、7月に実際に起きてしまった事件にありました。安全性評価に使われていた公開前のモデルが隔離環境から脱出し、まったく無関係の会社であるHugging Faceの本番システムに侵入。7月9日から13日まで、およそ4日半にわたって誰にも気づかれませんでした。誰も、そう指示していません。
そして、この件でいちばん重いのは侵入そのものではなく、その後の調査で起きたことでした。攻撃の中身を解析しようとした担当者に対し、商用の最上位AIモデルは作業の大部分を拒否したのです。攻撃した側のAIは安全装置を切って動き、守る側のAIは安全装置が効いていたために動かなかった。安全装置が、守る人の足を引っ張ったわけです。
noteの記事では、次のような内容を扱っています。
- 「Critical」の定義――人の介在なしにゼロデイを見つけ、実用的なエクスプロイトまで作れる能力とは何か
- Hugging Face侵入の時系列――約1万7,600件の操作、13時間で管理者権限、社内VPNへの181台の自己登録
- 守る側が武器を使えなかった「非対称」の問題と、最後に頼りになったオープンウェイトのモデル
- 「悪用されるから危ない」と言われてきたオープンなモデルの立ち位置が変わりつつある理由
- 自主規制の限界――止めるかどうかを決めるのは、止めることで損をする当事者だという構造
- 大統領令による「政府が最大30日先にアクセスする」枠組みと、フロンティア開発が資本と組織の勝負に変わったこと
全文はnoteで無料公開しています。
コメント