CUDA
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2024/03/11 07:13 UTC 版)
開発元 | NVIDIA |
---|---|
最新版 | |
対応OS | Microsoft Windows, Linux, Android[3][4] |
種別 | GPGPU |
公式サイト | CUDA Zone |
概要
もともとリアルタイムグラフィックス表示用途、特にゲームグラフィックス用途に特化したGPUを開発していたのがNVIDIAやATI (現AMD) であるが、プログラマブルシェーダーの発展によるプログラマビリティの向上を受け、その高い処理性能をグラフィックス以外にも活用できるようにするためにNVIDIAが開発した技術がCUDAである。このような汎用コンピューティング向けのGPU活用技術をGPGPU (General-Purpose computing on Graphics Processing Units) と呼ぶ。
GPU向けのプログラミング環境としてはHLSLやGLSL、NVIDIA Cgを用いたものもあるが、こちらはDirect3DもしくはOpenGLをバックエンドとするリアルタイムCG描画専用のプログラミング環境となっており、変数の型にGPU特有の型しか使えない(特に出力として用いるテクスチャメモリのフォーマットに制約が大きい)など汎用的なプログラムの記述は困難である。CUDAでは、HLSLやGLSLと異なり、よりC言語に近い構文および言語機能(ポインタなどを含む)を採用しており、またDirect3D/OpenGLといったバックエンドを使うことなくプログラムロジックを記述できるため、汎用コンピューティングに適している。
GPUはシンプルな演算ユニットを多数搭載しており、ピーク理論演算性能 (FLOPS) は同一価格帯のCPUをしのぐものもある。そのため、並列性や演算密度の高い処理を行なう場合、少数で複雑な構成を備えた同規模のCPUと比べて高い処理性能が出せる。 その逆に複雑な分岐処理(演算密度の低い処理)はCPUと比較して苦手であり、またGPUへ入力データを供給する、あるいはGPUによる演算結果をCPU側へリードバックするには接続バス (PCI-Express) を通してデータを転送する必要があり、これがボトルネックとなりうる可能性もあるため、適用分野や問題を解くアルゴリズムを慎重に選ぶ必要がある[11]。
また、CUDAで作成したプログラムを最大限最適化するためには、Warpや共有メモリなどのNVIDIA GPUデバイスアーキテクチャに関する深い知識も必要となる[12]。
なお、CUDAの発表は2006年11月[13]、CUDA 1.0の提供開始は2007年7月[14]であり、後発のGPGPU関連技術にはOpenCL (1.0仕様公開は2008年[15]) やDirectCompute (DirectXコンピュートシェーダー。Windows 7/DirectX 11.0と同時に2009年に一般提供開始[16]) などが存在するが、それぞれ技術用語は異なるものの全体としてはCUDAに非常に似通った特徴を持つ。先発技術であるCUDAは、2014年時点で教育・研究機関での採用事例が多い[17]ほか、機械学習などの分野で産業界でも採用への取り組みが進んでいる[18]。
対応言語
CUDA C はC言語とC++の一部の構文のみ対応。C言語を拡張している。CUDA C/C++のソースコードの拡張子には通例.cuが使われ、ヘッダーの拡張子には.cuhが使われる[19]。BLASインターフェイス経由でベクトル・行列演算が可能(cuBLAS[20])。FFTライブラリ(cuFFT[21])も付属する。SDKとなるCUDA Toolkitには、CUDA実装によるC++向けのテンプレートベース並列アルゴリズムライブラリ「Thrust」も付属する[22]。
なおCUDAバージョン7では、C++11規格のサポートが強化され、デバイスコードにおけるラムダ式の利用などが可能となっている[23] [24]。 CUDAバージョン8では、機械学習向けのライブラリが強化され、Pascalアーキテクチャの固有機能を利用した拡張が多数追加された[25][26]。
CUDA Fortran は The Portland Group (PGI) から提供されている[27]。Fortran 2003 を拡張している[28]。
NVIDIAのCUDAコンパイラnvcc自体はLLVMベースであり、新しいプログラミング言語や新しいプロセッサのサポートを追加するコンパイラSDKも提供されている[29]。
言語バインディング
C言語以外からCUDAを呼べるようにしたバインディングがある。
- Java - JCuda(JCublas, JCufft, JCurand, JCusparse, JCusolver, JNvgraph, JCudpp, JNpp, JCudnn)
- Python - PyCUDA
- Perl - KappaCUDA、CUDA::Minimal
他にも、Ruby, Lua, MATLAB, IDL, Mathematica などもある。
注釈
出典
- ^ Release Notes :: CUDA Toolkit Documentation
- ^ NVIDIA CUDA Toolkit Release Notes
- ^ NVIDIA CodeWorks for Android | NVIDIA Developer
- ^ NVIDIA GameWorks Documentation - NVIDIA CUDA for Android
- ^ What Is CUDA | NVIDIA Official Blog
- ^ Accelerated Computing | NVIDIA Developer
- ^ 開発者向けのCUDA並列コンピューティングプラットフォーム | NVIDIA
- ^ 第3回 CUDAとGPUコンピューティングの広がり | Think IT
- ^ 日経エレクトロニクス 2007/10/8 「プロセサはマルチ×マルチへ」
- ^ 第7回 CUDAプログラミングモデル② | G-DEP:
- ^ HPCシンポジウムで見えたTSUBAME2.0の設計思想 (1) ポストペタスケールへ向けGPUをどう活用していくのか
- ^ 第6回 CUDAプログラミングモデル① | G-DEP
- ^ Press Release | NVIDIA
- ^ NVIDIA CUDA 1.0、GPUコンピューティング向けに機能を強化 | NVIDIA
- ^ 並列プログラミング規格「OpenCL 1.0」が標準として批准 - @IT
- ^ 西川善司の3Dゲームファンのためのグラフィックス講座。台頭するDirectCompute技術 - GAME Watch
- ^ NVIDIA GPUコンピューティング応用事例のご紹介
- ^ 【GTC2014】NVIDIA、基調講演でCUDAを自動車にもたらす開発キット「JETSON TK1」の提供開始など発表 / NVLink、3Dメモリで、帯域幅問題を解消する新GPU「Pascal(パスカル)」も計画 - Car Watch
- ^ CUDA プロジェクト | CLion
- ^ cuBLAS - NVIDIA CUDA ZONE
- ^ cuFFT - NVIDIA CUDA ZONE
- ^ Thrust - NVIDIA CUDA ZONE
- ^ NVIDIA Pushes CUDA 7 RC With C++11 Features, Runtime Compilation - Phoronix
- ^ The Power of C++11 Programming in CUDA 7 | Parallel Forall
- ^ CUDA 8 PERFORMANCE OVERVIEW - November 2016, NVIDIA
- ^ CUDA 8.0 新機能のご紹介 - GTC Japan 2016
- ^ NVIDIAのCUDAアーキテクチャGPUにおけるFortranサポート
- ^ PGI CUDA Fortran のコンパイル・オプション
- ^ CUDA LLVM Compiler | NVIDIA Developer
- ^ “CUDA-X”. NVIDIA Developer. 2024年3月11日閲覧。
- ^ 第3回 CUDAとGPUコンピューティングの広がり | Think IT(シンクイット)
- ^ CUDA 7.5: Pinpoint Performance Problems with Instruction-Level Profiling | Parallel Forall
- ^ コンパイラ、そしてもっと:アクセラレーター・プログラミング
- ^ Faster Parallel Reductions on Kepler | Parallel Forall
- ^ Kepler GPUアーキテクチャとプログラム最適化 (10) Keplerから搭載されたレジスタ内のデータの入れ替え命令 | マイナビニュース
- ^ 第3回 CUDAとGPUコンピューティングの広がり | Think IT
- ^ ASCII.jp:OpenCLでCUDAを追撃!? AMD「ATI Stream」が狙うものは
- ^ AMDがSC15にて、「Boltzmann Initiative」を発表 – AMD GPU用C++とCUDAコンパイラー - 株式会社エーキューブ
- ^ HIP : C++ Heterogeneous-Compute Interface for Portability - GPUOpen
- ^ SIGGRAPH ASIA 2009 - 非プラットフォーム依存パラレルの本命、「OpenCL」最新事情 (6) OpenCLはCUDAやDirectComputeと競合するのか | マイナビニュース
- ^ "GeForceの父" David Kirk博士、東大で並列コンピューティングについて講演 (4) CUDAの動作の仕組み | マイナビニュース
- ^ CUDA Toolkit 6.5
- ^ CUDA 7.0 Downloads | NVIDIA Developer
- ^ CUDA 7.5 Downloads Archive | NVIDIA Developer
- ^ CUDA Toolkit 8.0 - Feb 2017 | NVIDIA Developer
- ^ CUDA Toolkit 9.2 Download | NVIDIA Developer
- ^ CUDA Toolkit 10.2 Download | NVIDIA Developer
- ^ CUDA Toolkit 11.8 Downloads | NVIDIA Developer
- ^ a b Release Notes :: CUDA Toolkit Documentation (v11.0)
- ^ “NVIDIA CUDA Toolkit Release Notes”. CUDA Toolkit Documentation. 2020年7月26日閲覧。
- ^ Installation Guide Mac OS X :: CUDA Toolkit Documentation
- ^ NVIDIA CUDA Toolkit - Developer Tools for macOS | NVIDIA Developer
- ^ CUDA Toolkit 12.1 Downloads | NVIDIA Developer
- ^ NVIDIA® OptiX™ Ray Tracing Engine
- ^ NVIDIA OptiX™ Legacy Downloads | NVIDIA Developer
- ^ How to Get Started with OptiX 7 | NVIDIA Technical Blog
- ^ GPU changes (for CUDA and OpenGL) in After Effects CC (12.1) | After Effects region of interest
- ^ 4Gamer.net ― NVIDIA製GPUが「Photoshop」「After Effects」「Premiere Pro」の最新版「CS4」アクセラレーションをサポート。ムービーでその効果をチェック
- ^ Premiere Pro CCでは、2基のNVIDIA Quadro M6000上でCUDAを活用することで、1基のIntel Xeon E5-2697 v3を用いる場合と比較して、最大で24倍の速度性能向上を提供できるとしている。Adobe Premiere Pro CC – さらにスピーディーなビデオ編集 | NVIDIA
- ^ ただし、CUDAによって必ずしも処理が高速化するわけではない。CUDA/OpenCL/Mercury Playback Engine について(Adobe Premiere Pro)
- ^ Doc:JA/2.6/Manual/Render/Cycles/GPU Rendering - BlenderWiki
- ^ NVIDIA CUDA に対応した GPU に対する MATLAB GPU 演算のサポート - MATLAB & Simulink
- ^ Using GPUs in MATLAB » Loren on the Art of MATLAB
- ^ OpenCV 2.2 Released - ROS robotics news
- CUDAのページへのリンク