2024年版のNPUのAIおよび機械学習（ML）演算性能の比較表です（DSPがNPUとして使われる場合も含む）。スマホ・タブレットを含む、一般的なPCのプロセッサーに搭載されるNPUの性能を比較しています。
CPUやGPUから分離されたNPU単体の理論性能となっている点に注意してください。他のユニットも含めた合計AI性能は表記の性能よりも高くなる可能性がありますし、理論上の最大性能なので、実際のパフォーマンスとは異なる可能性があります。
標準ベンチマーク（メーカーごとの差が小さい）が定まってきたら、そちらへ置き換えることを検討しています。まだ発展途上の分野であり、どのように扱ったら良いか思案中なので、こうしたら良いなどの案があればコメント等で教えて頂けると幸いです。
注意
- 掲載の性能「TOPS（INT8）」は1秒あたりの何兆回の演算を行えるかの理論上の最大性能です。また、掲載しているのはCPUやGPUから分離されたNPU単体におけるAI・機械学習（ML）のパフォーマンス（理論上の最大値）です。CPUやGPUでもAI処理を行える場合がある他、そちらに別のAIエンジンが搭載されている場合もあり、プロセッサー全体（CPU+GPU+NPU）のAIパフォーマンスは大きく異なる可能性があります。他にも、使用する学習モデルやAPIなどによっても性能が前後する可能性があるため、参考程度に見てください。
NPUの性能比較表（理論性能）
CPUやGPUから分離されたNPU単体の理論性能をまとめています。一部の仕様が公表されていないNPUに関しては、メーカーの発言やベンチマークスコアからの推定値を載せている場合があります（末尾に？を付けています）。
絞り込み
主な対象デバイス
| プロセッサ | NPU性能 （TOPS） | CPU | TDP （PL1） | GPU | |
|---|---|---|---|---|---|
| コア | スレッド | ||||
| Ryzen AI 9 HX 370（発売前） | 50.0 | 12 | 24 | 28W | Radeon 890M |
| Ryzen AI 9 365（発売前） | 50.0 | 12 | 24 | 28W | Radeon 880M |
| Core Ultra 200V（発売前） | 48.0 | 8 | 8 | Xe2 GPU | |
| Snapdragon X Elite | 45.0 | 12 | 12 | 23W | Adreno X1 |
| Snapdragon X Plus | 45.0 | 10 | 10 | 23W | Adreno X1 |
| Exynos 2400 | 44.0 | 10 | 10 | 23W | Xclipse 940 |
| Apple M4シリーズ | 38.0 | M4 GPU | |||
| Apple A17 Pro | 35.0 | 6 | 6 | A17 Pro GPU | |
| Snapdragon 8 Gen 3 | 34.0 | 8 | 8 | Adreno 750 | |
| Dimensity 9300 | 33.0? | 8 | 8 | Immortalis-G720 MP12 | |
| Apple M2 Ultra | 31.6 | 24 | 24 | 80W | M3 Ultra GPU（60/76コア） |
| Snapdragon 8 Gen 2 | 26.0 | 8 | 8 | Adreno 740 | |
| Snapdragon 8 Gen 1 | 26.0 | 8 | 8 | Adreno 730 | |
| Snapdragon 8 888 | 26.0 | 8 | 8 | Adreno 660 | |
| Apple M1 Ultra | 22.0 | 20 | 20 | 60W | M1 Ultra GPU（48/64コア） |
| Apple M3シリーズ | 18.0 | M3 GPU（8コア～） | |||
| Apple A16 Bionic | 17.0 | 6 | 6 | A16 GPU | |
| Ryzen 7 8700G | 16.0 | 8 | 16 | 65W | Radeon 780M |
| Ryzen 5 8600G | 16.0 | 6 | 12 | 65W | Radeon 760M |
| Ryzen 7 8840U | 16.0 | 8 | 16 | 28W | Radeon 780M |
| Ryzen 5 8640U | 16.0 | 6 | 12 | 28W | Radeon 760M |
| Ryzen 7/9 8045(H/HS)シリーズ | 16.0 | 8 | 16 | 45W | Radeon 780M |
| Ryzen 7/9 8040(H/HS)シリーズ | 16.0 | 8 | 16 | 45W | Radeon 780M |
| Ryzen 5 8045(H/HS)シリーズ | 16.0 | 6 | 12 | 45W | Radeon 760M |
| Ryzen 5 8040(H/HS)シリーズ | 16.0 | 6 | 12 | 45W | Radeon 760M |
| Apple M2シリーズ（Ultra除く） | 15.8 | M2 GPU（8コア～） | |||
| Apple A15 Bionic | 15.8 | A15 GPU（4/5コア） | |||
| Snapdragon 870 | 15.0 | 8 | 8 | Adreno 650 | |
| Snapdragon 865/865+ | 15.0 | 8 | 8 | Adreno 650 | |
| Snapdragon 780G/778G | 12.0 | 8 | 8 | Adreno 642/642L | |
| Core Ulrta 100シリーズ | 11.0 | ||||
| Apple M1シリーズ（Ultra除く） | 11.0 | M1 GPU（7コア～） | |||
| Apple A14 Bionic | 11.0 | 6 | 6 | A14 GPU | |
| Ryzen 7 7840U | 10.0 | 8 | 16 | 28W | Radeon 780M |
| Ryzen 5 7640U | 10.0 | 6 | 12 | 28W | Radeon 760M |
| Ryzen 7/9 7040(H/HS)シリーズ | 10.0 | 8 | 16 | 45W | Radeon 780M |
| Ryzen 5 7040(H/HS)シリーズ | 10.0 | 6 | 12 | 45W | Radeon 760M |
| Snapdragon 860 | 7.0 | 8 | 8 | Adreno 640 | |
| Snapdragon 855/855 Plus | 7.0 | 8 | 8 | Adreno 640 | |
| Apple A13 Bionic | 6.0 | 6 | 6 | A13 GPU | |
| Snapdragon 768G | 5.5 | 8 | 8 | Adreno 620 | |
| Snapdragon 765G/765 | 5.5 | 8 | 8 | Adreno 620 | |
| Snapdragon 7c/7c Gen 2 | 5.0 | 8 | 8 | Adreno 618 | |
| Snapdragon 750G | 5.0 | 8 | 8 | Adreno 619 | |
| Snapdragon 720G | 5.0 | 8 | 8 | Adreno 618 | |
| Snapdragon 690G | 5.0 | 8 | 8 | Adreno 619L | |
| Apple A12 | 5.0 | 6 | 6 | A12 GPU（4コア） | |
| Apple A12X/A12Z | 5.0 | 8 | 8 | A12 GPU（7/8コア） | |
| Dimensity 1000シリーズ | 4.5 | 8 | 8 | ||
| Snapdragon 732G/730G/720G | 3.6 | 8 | 8 | Adreno 618 | |
| Snapdragon 480 5G | 3.3 | 8 | 8 | Adreno 619 | |
| Snapdragon 680 4G | 3.3 | 8 | 8 | Adreno 610 | |
| Google Tensor G3 | ? | 8 | 8 | Mali-G715 MP7 | |
| Google Tensor G2 | ? | 8 | 8 | Mali-G710 MP7 | |
| Google Tensor | ? | 8 | 8 | Mali-G78 MP20 | |
よくありそうな質問
- Google Tensor はないの？
- Google TensorのAI処理に使われる「TPU」について、Googleは具体的な仕様や性能を明らかにしていません。最適化も他メーカーと少し異なる印象ですし、API（処理の方式のようなもの）も現在の最新SoCでは主要ではないものだったりして、他のSoCのベンチマーク比較からの推測も難しいため、残念ながら具体的な数値を載せることができません。
- 高いNPU性能（AI性能）って必要なの？
- AI処理や生成AIはオンラインで利用できるもの（たとえばChatGPTのような）があります。それで十分という場合には、必要という訳ではありません。
WindowsでのCopilot+のローカル動作要件が40TOPSと明言されたことから、各メーカーが高性能なNPU搭載プロセッサーを一気に出していますが、PC側に高性能なNPUが必要となるAI処理というのは、ローカルでAI処理を行う場合です。
低負荷な処理の場合には高性能なNPUでなくても対応できることがありますし、専用のNPUでなくてもGPUなどで対応できるケースもあるので、実は必ずしも無いと困るものではないです（一部機能に制限が掛かることはあるかもですが）。
