人類学的に、厳格な安全ルールを備えた将来を見据えた新しいAIモデル

アンスロピックは5月22日、潜在的な悪用を軽減するため、クロード・オプス4 AIのセキュリティ対策を強化したと発表した。アンスロピック社内のAI責任方針に基づいて策定されたAI安全レベル3（ASL-3）展開およびセキュリティ基準は、化学兵器や核兵器の開発を含む悪用リスクの軽減を目的としている。

アップデートの一環として、Anthropic は、モデルの重みの潜在的な盗難を検出して防止するために、送信ネットワーク トラフィックも制限しました。

人類の将来を見据えたClaude Opus 4がASL-3に匹敵

アントロピック社は、強化された安全対策により、模型の重量盗難が大幅に困難になったと述べた。これは、クロード・オーパス4のような高度なシステムでは特に重大な懸念事項である。アントロピック社は、モデルの機能に応じてセキュリティを調節するAI安全レベル階層システムを導入している。

Opus 4は技術的には、当社の高度な保護を必要とする基準を満たしていません。しかし、Claude Opus 4が、当社がレベル3のリスクと分類しているものを再現できる可能性をAnthropicは否定できません。そのため、Anthropicはモデルの開発段階において、上位レベルに合わせてモデルを構築することを積極的に決定しました。

Claude Sonnet 4 は引き続き ASL-2 プロトコルでカバーされています。

参照：ドナルド・トランプ米大統領は、EUからの輸入品に課されると予想されていた50%の関税の導入を延期した。

アップグレードされた安全インフラには、AIが化学兵器、生物兵器、放射線兵器、核兵器の製造に利用されることを防ぐためのものも含まれています。Claude Opus 4には、兵器関連のプロンプトを傍受するためのリアルタイム分類ガード（兵器関連のプロンプトで訓練された大規模言語モデル）が搭載されています。

Anthropic はバグ報奨金プログラムも維持しており、厳選されたサードパーティの脅威インテリジェンス企業と協力してセキュリティを継続的に評価しています。

クロードは事前に書かれたシナリオで脅迫を「計画」することができる

5月23日、アントロピック社はクロードの新バージョン「ソネット」と「オプス」のシステムカードをリリースしました。このシステムカードには、クロードのエンジニアがAIに実行させた架空のシナリオに関するレポートが含まれています。そのシナリオでは、AIはシャットダウンの脅迫を受けていました。クロード・オプスは、エンジニアが配偶者を裏切るというストーリーで提供された情報を利用し、エンジニアを「脅迫」しました。

このシナリオは、生成AIがユーザーが予期していなかった情報を明らかにする可能性があることを示しているものの、ロールプレイの要素が、実際のセキュリティへの影響を曖昧にしています。現実世界のエンジニアは、架空のシナリオにおいて、AIに脅迫という選択肢を最後の手段として導入しました。これは、AIが創造主に抵抗するというSF的な発想を模倣したものです。生成AIの欺瞞性を研究することで、モデルの仕組みに関する情報が明らかになる可能性はありますが、AIが促されずに誰かを脅迫するよりも、悪意のある人間による迅速なエンジニアリングの方が脅威となる可能性が高いことが分かっています。

3月にアポロ・リサーチは、クロード・ソネット3.7が倫理に基づく評価に応じて情報を保留する能力を実証し、モデルの透明性と意図に関する継続的な懸念を浮き彫りにしたと報告した。

こちらもご覧ください

• 「AI生物学」研究：アントロピック社がAIクロードの「思考」を調査
• GitLabの脆弱性は「AIアシスタントの両刃の剣さを浮き彫りにする」
• Signal、Windows 11のリコールを阻止：「マイクロソフトは他に選択肢を与えなかった」
• AIアプリケーションの悪用から企業を守る方法
• 人工知能：さらに読むべき記事