イベント「12 Days of Open AI」の枠組みの中で、Open AIは「意図的アラインメント」と呼ばれる先駆的な手法を発表しました。これは、大規模言語モデル(LLM)の安全性と信頼性を高めることを目的とした画期的な手法です。この手法の特徴は、モデルが人間が確立した安全基準をより明確かつ適切な方法で理解し、遵守するように直接指導することです。
熟慮的アライメントとは何ですか?
熟慮的アラインメントは、安全規制を直接解釈し適用する方法を大規模言語モデル(LLM)に教えることに焦点を当てた高度なトレーニング方法です。ラベル付きの例からの間接的な学習に依存する従来の方法とは異なり、このアプローチにより、モデルは推論過程中に安全な指示について明確に推論することができます。これは、モデルが複雑または曖昧な安全状況に直面する場合に特に役立ち、フィードバックを与える前に関連するポリシーを徹底的にレビューするのに役立ちます。
この画期的なアプローチは、特に今後のo 3モデルのような高度なモデルにおいて、LLMの安全性と精度を大幅に向上させることが期待されています。Deliberative Alignmentは、モデルが人間が書いた規制について直接的な推論を行うのを支援することにより、AIが生成した応答が技術的に正しいだけでなく、すべての状況で安全で文脈に即したものであることを保証する新しい時代を切り開きます。
熟慮的アライメントの核心要素
安全規制から直接学びましょう
ラベル付きの例から学ぶだけでなく、モデルは安全仕様の内容に基づいて直接トレーニングされます。これにより、特定の文脈で必要なルールを正しく把握して適用することができます。
チェーン・オブ・ソート・リーズニング
この方法は、モデルがユーザーの要件を深く反映し、内部規制に関連する情報を探すことを促します。その結果、回答は安全であるだけでなく、文脈や要件にも関連しています。
インクリメンタル監視ファインチューニング-SFT
トレーニング過程は、安全規制に関連するプロンプトと完了の両方を含む設計されたデータセットで実行されます。ステップバイステップのアプローチを取ることにより、モデルは徐々により包括的かつ効果的な方法で安全性を理由付けすることを学習します。
古い方法と新しい改善の利点
方法熟慮的アライメントは、人間の反応からの強化学習(RLHF)や憲法AI(CAI)などの従来の調整戦略の多くの制限を克服し、優れた改善をもたらしました
- より良い安全コンプライアンス: GPT-4 oやClaude 3.5 Sonnetなどの以前のモデルと比較して、この新しい方法は安全ポリシーのコンプライアンスが大幅に向上し、潜在的なリスクからユーザーを保護するのに役立ちます。
- 不必要な拒否を最小限に抑える:改善された推論能力により、熟慮的アライメントはモデルがより微妙な回答を与えるのを支援し、無害な質問が誤って拒否されるケースを最小限に抑えます。
- 効果的なスケーラビリティ: Deliberative Alignmentで集計データを生成する過程は、人間からのラベル付きデータへの依存を減らし、トレーニングパフォーマンスを最適化し、コストを節約します。
AIにおけるアクティブリンキングのハイライト
安全基準を推論過程に直接統合する
従来の方法では、データラベルを作成するために安全基準のみを適用するのに対し、プロアクティブなリンク方法はこれらの基準をモデルの推論過程に直接統合します。これにより、システムはセキュリティと倫理原則を参照して意思決定を行うことができ、より正確で情報に基づいた結果を生み出すのに役立ちます。
思考の連鎖における推論
このアプローチは、モデルが複雑な問題をより小さく、簡単なステップに分析することを促します。モデルは応答する前に、関連する安全ポリシーを参照して、与えられたフィードバックが常に倫理的な原則に従っていることを確認します。たとえば、ユーザーの要求が潜在的に有害である場合、モデルは要求の非倫理的な性質を特定し、組み込みの安全ルールに基づいて適切なフィードバックを提供します。
集計データを生成する
アクティブリンキングは、人間の注釈にあまり依存する必要がないトレーニング例を作成する新しい方法を提供します。この方法はスケーラビリティを向上させ、安全モデルやルールの開発に簡単に適応できるため、トレーニング過程の効率が向上します。
一般性と堅牢性を向上させる
安全パラメータに基づいて推論する方法をモデルに教えることにより、プロアクティブなリンクは、様々な状況で一般化する能力を向上させるだけでなく、異常な状況や敵対的攻撃に対する耐性も高めます。この能力は、AIシステムに対するユーザーの信頼を維持する上で特に重要です。
の結果
意図的なアラインメント法でトレーニングされたAIモデルのパフォーマンスは、様々な安全基準に基づいて評価されています。特に、o 1は潜在的に有害な結果を回避することに優れており、非影響的なリマインダーに対処する際にはより柔軟になっています。この改善は、AIシステムにおける安全性と適用性のバランスにおいて重要な前進を示しています。
未来の意味。
2025年までに、o 3モデルが正式に開始され、意図的なアラインメント戦略の有効性が示されることが期待されています。Open AIの目標は、複雑な倫理原則を将来のAIモデルに統合し続け、安全要件を満たすだけでなく、共有された社会的価値を反映するようにすることです。AIが多くの分野でますます存在するようになるにつれて、意図的なリンクなどの方法を通じて言語モデルの安全性と信頼性を向上させることが非常に重要です。これにより、ユーザーの信頼を構築し、AIの責任ある開発を促進することができます。つまり、意図的なリンクは、AI安全性の研究における重要な突破口であり、より強力で理解しやすく、倫理的価値に沿ったAIシステムの可能性を開き、世界中の複雑な問題を効果的に解決するのに役立ちます。
次のような新しいニュースをさらにご覧ください: Canvas on ChatGPT: 新機能
