マイクロソフトのMuがWindows 11の設定メニューに自然言語チャット機能を導入

デバイス上で処理するための Microsoft の最新の小さな言語モデルには、Windows 11 設定アプリケーションという特定の使用例があります。

Muは、設定メニューにあるAIエージェントを支える技術で、ユーザーが自然言語で質問できるようにします。許可を得ると、エージェントはユーザーが提示した問題を解決するために自ら行動を起こすことができます。そのため、数百ものシステム設定を解釈し、操作できる必要があります。

Mu は現在、一部の Windows Insider 向けにプレビュー中です。

Muが比較的コンパクトなハードウェアに処理能力を詰め込む方法

6月23日のプレスリリースで、Microsoftは設定画面のAIエージェントを支えるデバイス内小規模言語モデルの仕組みを明らかにしました。MuはAzure Machine LearningのNVIDIA A100 GPUでトレーニングを開始しました。トレーニング後、MuはPCのニューラル・プロセッシング・ユニット（NPU）で実行され、1秒あたり100トークン以上の応答速度を実現します。

Mu は、Microsoft が Phi Silica からデバイス上で小規模な言語モデルを実行する方法について学んだことを基に構築されています。Phi Silica は、Snapdragon X シリーズ ノート PC 上の Windows 11 Copilot+ PC 向けに 2024 年に構築されたモデルです。

Microsoft によると、デコーダーのみのアーキテクチャーではなく、エンコーダー/デコーダー言語モデルを選択すると、効率も向上します。

「入力トークンと出力トークンを分離することで、Muのワンタイムエンコーディングは計算とメモリのオーバーヘッドを大幅に削減します」と、マイクロソフトのWindows応用科学担当バイスプレジデント兼ディスティングイッシュドエンジニアであるVivek Pradeep氏はブログ記事に記している。「実際には、これは専用ハードウェアにおけるレイテンシの低減とスループットの向上につながります。」

マイクロソフトによると、エンコーダー・デコーダー言語モデルはデコーダーのみのモデルよりも効率的である。画像：マイクロソフト

MuはCopilot+ PCのNPU向けに最適化されています

NPUの開発を通して、Microsoftの開発者たちはMuの設計をプロセッサに適合させる方法を習得しました。これには、モデルアーキテクチャとパラメータ形状をハードウェアの並列処理能力とメモリ制限に適合させること、エンコーダとデコーダ間のパラメータ配分を最適化すること、そしてその他の方法で効率性を高めることなどが含まれます。

入力トークンの表現と出力ロジットの生成に同じ重みセットを使用することで、パラメータ数が削減されました。これは、メモリが制限された NPU で高速なパフォーマンスを確保するための重要な要素です。

ユーザーが NPU でサポートされていない、または非効率的な操作を示唆する質問をした場合、Mu はそれらの操作を回避します。

さらに、トランスフォーマー アーキテクチャとモデル量子化手法の変更により、NPU の電力効率が向上します。

設定画面のAIエージェントは、Windows 11 Insider Preview Buildで利用可能で、DevチャネルのWindows Insiderがアクセスできます。現時点ではSnapdragon搭載のCopilot+ PCでのみ利用可能ですが、MicrosoftによるとAMDおよびIntel搭載PCでも未定の時期に利用可能になる予定です。

ChatGPT メーカーが再編を検討している中、Microsoft と OpenAI の交渉についてお読みください。