Standard Performance Evaluation Corporationとは？わかりやすく解説

Standard Performance Evaluation Corporation（SPEC、標準性能評価法人）は、コンピュータの公平で意味のあるベンチマークを作成することを目指して設立された非営利団体である。SPECは1988年に設立され、全ての主要なコンピュータ企業やソフトウェア製造業者などのメンバー企業が資金提供している。SPECのベンチマークはコンピュータシステムの性能評価に今日広く使われていて、その測定結果はSPECのウェブサイト上で公表されている。

そのベンチマークは「現実の」状況をテストすることを目指している。例えば SPECweb2005 はWebサーバの性能評価のために様々なタイプのHTTPリクエストを並行していくつも行う。SPEC CPU はCPU性能を評価するために、GCCコンパイラやチェスプログラム crafty などのいくつかのプログラムの実行時間を測定する。様々なタスクにはそれぞれ現実での重要性を考慮した重み付けがされており、その重み付けを使用して最終的にひとつのベンチマーク結果を得るようになっている。

SPECベンチマークはプラットフォームに依存しないプログラミング言語（通常、C言語またはFORTRAN）で書かれていて、利用者は自分のプラットフォームで動作する任意のコンパイラでコンパイルすることができる。ただし、ソースコードを変更することはできない。製造業者はSPECベンチマークの結果を改善するためのコンパイラの最適化手法を適用していると言われている。

ベンチマークを使うためには、ライセンスをSPECから購入する必要がある。その費用はテストの種類によって数百ドルから数千ドルまである。ベンチマークにはGPLによりライセンスされるソフトウェアが含まれるため、この支払いモデルはGPL違反であるとして批判されてきた。

ベンチマーク一覧

現在のベンチマーク

SPEC CPU2006：CPU、メモリ、コンパイラの総合的な性能評価
- CINT2006 ("SPECint")：整数演算を評価する。コンパイラ、インタープリタ、ワードプロセッサ、チェスプログラムなどを実行。
- CFP2006 ("SPECfp")：浮動小数点数演算を評価する。物理現象のシミュレーション、三次元グラフィックス、画像処理、化学計算などを実行。
SPECweb2005：PHPおよび（または）JSPの性能評価
SPECviewperf：OpenGL三次元グラフィックスシステムの性能評価。実アプリケーションの各種レンダリングタスクを実行。
SPECapc：いくつかの一般的な三次元指向のアプリケーションの性能評価
SPEC HPC2002：高性能並列コンピューティングシステムの性能を気象予測や化学計算のプログラムで評価
SPEC OMP V3.1：OpenMPベースのアプリケーションの性能評価
SPECjvm98：Java仮想マシンの動作するJavaクライアントシステムの性能評価
SPECjAppServer2004：Java 2 Enterprise Edition (J2EE)ベースのアプリケーションサーバを中心とした多層システムの性能を評価するベンチマーク
SPECjbb2005：三層クライアント・サーバシステムをエミュレートしサーバサイドJavaの性能を評価（主に中間層の評価）
SPEC MAIL2001：メールサーバの性能評価。SMTPとPOPプロトコルを実行。
SPEC SFS97_R1：NFSファイルサーバのスループットと応答時間の測定

今後登場予定のベンチマーク

SPECappPlatform：Web向けエンタープライズプラットフォームの性能評価（Jakarta EEと.NETなど）
SPECimap2003：エンタープライズレベルのメールサーバの性能評価（SMTPとIMAP4プロトコル）
SPEC MPI：MPI (Message Passing Interface) ベースのアプリケーションの性能評価

過去のベンチマーク

SPECjAppServer2001
SPECjAppServer2002
SPECjbb2000
SPECweb96
SPECweb99
SPECweb99_SSL
SPEC CPU92
SPEC CPU95
SPEC CPU2000
SPEC HPC96
SPEC SFS97

Standard Performance Evaluation Corporationとは？わかりやすく解説