Windows 11とNPUで実現するWindowsのAI

Windows 11とNPUで
実現するWindowsのAI
木澤朋和
Microsoft MVP for Windows and Device for IT
windows-podcast.com
2023年2月25日 .NETラボ勉強会

自己紹介
• 木澤朋和(きざわともかず)
• 某メーカー系でエンジニアをやっています
• Microsoft MVP for Windows and Devices for IT
(2022/7~2023/6)
• ブログの執筆
• ポッドキャスト番組の配信、動画(YouTube)の配信
Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 2

ポットキャスト番組
• 「WoodStreamのデジタル生活」
• マイクロソフトの製品や技術をお話しする番組
• windows-podcast.com/podcast
• 各種音声配信サービスとYouTubeで毎週配信
• 配信 13年 / 668回
Google
Podcasts
Spotify

YouTube
• YouTube動画も毎週更新しています。
• https://www.youtube.com/@windows-podcast

ご注意
• 本セッションは2023年2月21日時点の情報からお話ししていま
す。
• 今後、マイクロソフト及び各プロセッサメーカーの動向で
内容は変更されることがあります。

本日の内容
• WindowsのAI機能にNPUがなぜ必要か?
• 各プロセッサメーカーとWindowsの動向
• Windows Studio Effectsとは?
• ニューラルネットコンピューティングとNPU
• WindowsのAI機能の展開
• 各プロセッサメーカーの対応

Windows 11の
Windows Studio Effects

Windows Studio Effects
• 背景ぼかし
• カメラに映っている人物の背景をぼかす。
• 人物の映像をリアルタイムに検出して、背景をぼかす。
• アイコンタクト(視線の補正)
• カメラに映っている人物の「目」がカメラ目線になるように
映像を補正する。(次ページ)
• 自動フレーミング
• カメラに映っている人が移動するした場合に、人に合わせて画面の枠(フレー
ム)を移動させ、常に人を追うようにする。
• 音声フォーカス
• 「喋っている人の声」以外を除去する。近くにいる他の人の喋り声や騒音な
どを除去して鮮明でクリアな音声を入力する。

アイコンタクト
• カメラ目線にする
画像:マイクロソフトより

自動フレーミング
• 人に合わせてフレームを移動
移動
枠が移動

Windowsすべてのカメラ/音声入力で利用可
• 特定のアプリケーション向けではなく
• Windowsのカメラ入力、音声入力の機能で利用可
• Teamsだけではなく
• Zoom
• Webex
• その他カメラと音声入力をする
すべてのアプリケーションから使うことができる。

Windows Studio Effectsを
実現するためにNPUが活躍
• 映像と音声をリアルタイムに識別して補正する処理が必要
• Windows Studio EffectはNPUを搭載したデバイスでないと機
能しない。
• 現時点ではArmプロセッサのQualcomm Snapdragonと
Microsoft SQ3のみが対応

NPUとは?

ニューラルコンピューティング
• 人間の脳細胞を模したもの
• 脳内の神経細胞(ニューロン)とニューロン同士を接続するつな
がりであるシナプスから構成
• 図の丸がニューロン、線がシナプス
左側が情報の入力、
中間が推論過程、
右側が答え
https://www.ac-illust.com/ より

ニューラルコンピューティング
• 入力した情報(例えば画像)から
条件を抽出してそれらの関連性のかさみ付け答えを導きだす
https://www.ac-illust.com/ より
85%で「犬」
いろいろ推論

実現するには
• 沢山の情報から判定する必要がある。
• 「複数の処理を同時に」行わなければならない。
• この過程で複雑な数値計算は必要としない
大抵は「行列計算」であり
実際は「加算」か「乗算」を行う。
• 浮動小数点演算のような機能ではなく
単精度の整数演算で十分

Windows Studio Effectsからの利用
• 背景ぼかし
• 背景ぼかしをするために「人の形」を見極めて、映像の中のどこまでが人で
どこからが背景なのかを割り出す。
• 映像から「人」である部分を推論。
• アイコンタクト/自動フレーミング
• 映像の中から動いている人を割り出す。
• 人の瞳を特定する
• ノイズキャンセリング機能
• 主に話している人の声とバックの騒音、他の人の会話を分けなければなりま
せん。
• リアルタイムに行う
• 同時に入ってくる沢山の情報を同時に処理する

処理するプロセッサ
• CPU
• Central Processing Unit
• Intel Coreプロセッサ
• AMD Ryzenプロセッサ
• Qualcomm Snapdragon
• GPU
• Graphics Processing Unit
• NVIDIA GeForceシリーズ
• AMD RADEONシリーズ
• NPU
• Neural Processing Unit

CPU
• CPUは原則、シーケンシャルな処理をする。
• 入力があって、計算をして、出力する。
• この処理を順番に一つ一つ行っていきます。
• 複雑で高度な計算を行います。
• 同時処理
• マルチコア、マルチスレッドでも、数十個くらいです。
• 最新の第13世代CoreプロセッサのCore i9-13900でも32スレッド
• 映像や音声などの非常に多くの複数の情報の同時に限界

GPU
• 映像にしたい情報入力して、
画像にするために計算をして、
画像の情報にして出力
• 同時処理
• 複数の処理をする単位としては(注:超乱暴な言い方をすると)
NVIDIAのGeForce RTX4090は16,384の同時処理を行う。
• CPUほど高度な計算を行うわけではない。
• そういう意味ではニューラルネットワークなどのAI的な処理に向いて
いる。(現実的に扱われている)
• 演算内容としては高精度な浮動小数点演算も行う。
• 同時に消費電力も高くなる。
• AIの処理としてはそこまでの演算能力は必要としない

NPU
• NPUはGPU同様に複数の情報を同時に処理する仕組みを持った
AI処理に特化したプロセッサ
• 32ビット浮動小数点演算ではなく16ビットや8ビットの
整数演算を高速に処理
• 複雑な計算を行うこともなくGPUほど消費電力が高くない
• 「行列計算」に最適化されたプロセッサとして誕生

だからNPU
• ニューラルコンピューティングはCPUとGPUで賄えていた
• 更に効率よく低消費電力で処理するNPUを適用
• CPUとGPUにもそれぞれ仕事がある
その他のAI的な処理はNPUに任せるというトレンド
• 特にスマートフォンの世界ではカメラ機能や各種認識機能を
はじめとしてNPUが活躍している。

モバイル系NPUの特徴
• ニューラルコンピューティング
• 「トレーニング」と「推論」というフェーズに分かれている
• 特にモバイル系では「推論」の機能に注力
• トレーニング済みの学習情報を持っており、
そこから推論する動き。

Windows 11の展開

Windows Studio Effectsは公開
• 「Windows Studio Effectsは特定のハードウェアSnapgradon
8cx Gen3(Microsoft SQ3のベース)で動いている。
他のOEMやハードウェアベンダーとも連携する。
デバイスとWindowsエコシステムを構築し続けるためにも
Windows Studio Effects は公開する。」
• Ignight 2022の動画より
MicrosoftのGroup Program managerのFred Balsigerさん

各種NPUへの対応
• 「将来、有望なNPUにWindows Studio Effectsを採用する計画
もある。
したがって、業界全体の将来の技術がこれらのNPUを活用し、
すべてのWindowsマシンでWindows Studio Effectsのますます
広範囲なエコシステムが見られるようになるでしょう」
• Ignight 2022の動画より
MicrosoftのGroup Program managerのFred Balsigerさん

各種NPUの対応
• NPUを活用するライブラリが必要
• 現時点ではQualcommのSnapdgragonに特化した仕組みとなっ
ている
• 「Windowsの場合、QualcommはSnapdragonのNeural処理エ
ンジンAPIを利用できるようにしている。これでNPUで直接処
理できるようになっている。とはいえ、特定のハードウェア
アーキテクチャを抽象化して、開発者向けのより包括的なソ
リューションに取り組んでいる。これについては来年のBuild
までに情報を提供していく。」(Fred Balsigerさん)

各プロセッサメーカーの対応

Qualcomm
• Snapgragon
• QualcommのSOC Snapdrgon 8cx Gen3にはトレーニング情報があ
る
• ここからデータを入力して推論させてWindows Studio Effectsな
どに適用
• 「オートフレーミング」「ノイズキャンセル」「音声アクティ
ベーション」「顔検出」「ジェスチャートラッキング」などを
サポート

Qualcomm
• QualcommはMicrosoft SQ1の段階でWindows Studio Effects
のアイコンタクトの機能を実装
• Snapdragon 8cx => Microsoft SQ1にNPU搭載済み
https://developer.qualcomm.com/blog/ai-accelerated-experiences-security-windows-snapdragon

Intel
• Intel
• インテルは「XPU」という考え方でCPU、GPU、NPUを統合を
計画
• インテルでは第10世代Coreプロセッサ(Ice Lake)でIntel
GNA(Gaussian & Neural Accelerator)としてAIアクセラレータ
を投入
• OpenVINOとしてAIソリューションとしてSDKの公開
• Windows Studio Effectsには未適用

Intel
• 第14世代CoreプロセッサにあたるMeteor Lake、第15世代Core
プロセッサと想定されるLuner Lakeには「Integrated AI
Accelaration」としてAI処理の特化したNPU相当の機能が入る
ことが発表されている。

Intel
• CES2023の直前に発表
• インテルは第13世代CoreプロセッサのノートPC対応版の発表
• NPU(インテルではVPU(Visual Processing Unit))を外付けにす
ることを可能としていることを発表
• 第14世代Coreプロセッサへの
NPU(VPU)に内蔵に向けての
布石と言える。

AMD
• AMDはZen4,Zen5アーキテクチャでAIE(AI Engine)と呼ばれる
旧Xilinx(AMDが買収)の技術が適用されようとしている。

AMD
• CES2023でRyzen AI EngineでWindows Studio Effectsに正式
対応を発表
https://www.youtube.com/live/OMxU4BDIm4M?feature=share&t=1416

Apple Siliconはどうなる?
• 2/17にマイクロソフトが正式に対応を承認
http://bit.ly/3XQbR4E

YouTubeでも解説しています
https://www.youtube.com/@windows-podcast/
ポッドキャスト番組
https://windows-podcast.com/podcast/

Windows 11とNPUで実現するWindowsのAI

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Windows 11とNPUで実現するWindowsのAI

Ähnlich wie Windows 11とNPUで実現するWindowsのAI (20)

Mehr von Tomokazu Kizawa

Mehr von Tomokazu Kizawa (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (12)

Windows 11とNPUで実現するWindowsのAI