ベンチマーク‐テスト【bench mark test】
ベンチマークテスト
ベンチマーク
ベンチマーク（英: benchmark）とは、本来は測量において利用する水準点を示す語で、転じて金融、資産運用や株式投資における指標銘柄など、試金石として比較のために用いる指標を意味する。また、広く社会の物事のシステムのあり方や規範としての水準や基準などを意味する。またベンチマーキングとは自社の課題解決のために、競合他社などの優れた経営手法（ベストプラクティス）を持つ企業を分析するプロセスを指す。
測量におけるベンチマーク
建築物、構造物などの位置や高さなどの水準点または基準点に用いる。通常では動かない位置をベンチマークポイントに定めそれを基準として建物、構造物の位置を決める。ベンチマークには金属鋲などが打ち込まれることもある。また設計図書にどこがベンチマークポイントかは必ず明記される。元来ベンチマーク (benchmark) と言う場合は測量などで使用される基準の物を指す。
コンピュータにおけるベンチマーク
コンピュータの分野においては、コンピュータシステムのハードウェアやソフトウェアの性能を測定するための指標のことを指す。ひとつあるいは複数のプログラムを実行した結果をベンチマークスコアと呼び、ある対象に関する相対的な性能を表す指標として用いられる。また、ベンチマークスコアを測定するための特別なプログラム（ベンチマーキングプログラム）自体をベンチマークと呼ぶこともある。著名なベンチマーキングプログラムとしてHPC性能を測るLINPACKや、データベース処理の性能を測定するTPC、DirectXにより3DCGの性能を測る3DMarkなどがある。
その他、ハードウェアの3D機能を高度に駆使し、十分な動作速度を確保するための要求スペックが高いパソコン用のゲームソフトやオンラインゲームでは、動作の確認と宣伝を主目的として、メーカーがゲーム素材を利用したベンチマークソフトや体験版を制作し、配布することもみられている。
ベンチマークは、異なる部品構成やアーキテクチャを持ちスペックなどによる直接的な性能比較ができないシステムの間において、様々な観点で性能を比較する手段を提供する。またベンチマーク結果を集計しグラフ化や比較が可能なウェブサイトも多数存在している。レタッチソフトなどビデオカードのGPUに依存した機能があるソフトウェアではインストール前に自身のハードウェアで利用できる機能を把握したり、適切な機材へ変更する際の指針となる。AdobeはPhotoshopに対応したGPUの最小要件に関しては、ベンチマーク結果を集計したサイトを参照するように誘導している[1]。
日本語において「ベンチマークスコアを測定する」ことを俗に「ベンチマークを取る」と表することがあるが、これはなんらかの値を記録することを「記録を取る」「データを取る」と呼ぶ慣習からきている。
コンピュータにおけるベンチマークテスト
コンピュータ・アーキテクチャが進化するにつれ、その仕様を見ただけでは各種コンピュータの性能を比較することが難しくなってきた。そのため、異なるシステム上で動作できるテストプログラムが開発されてきた。そのようなテストを実行した結果を比較することで異なるアーキテクチャの性能を比較するためである。たとえば、インテルのPentium 4プロセッサと同程度の演算性能を示すAMDのAthlon XPプロセッサは動作周波数が（Pentium 4 よりも）低い。つまり、同じベンチマークテストを実行したとき、AMD の動作周波数の低いプロセッサとインテルの動作周波数の高いプロセッサが同程度の結果を示すのである。
ベンチマークは特定の負荷状況を再現するよう設計されている。元からベンチマーク用に開発されたプログラムは意図的にそのような負荷を作り出す。普通のアプリケーションをベンチマークとして使う場合もあり、この場合はそのアプリケーションの負荷が再現される。アプリケーションを使ったほうが実際の性能をよく表しているが、システム内の特定の部品の性能（ディスク性能、ネットワーク性能など）を測定したい場合などには専用ベンチマークプログラムが使われることが多い。
マイクロプロセッサの設計において、ベンチマークは測定手段となると共に回路化すべき部分の重要な判断基準となる。たとえば、あるベンチマークがあるアプリケーションのアルゴリズムの鍵となる部分を抜き出したものだった場合、そのベンチマークはそのアプリケーションの性能に大きな影響を与える部分を抜き出したものと考えることができる。そのような小さなプログラムをシミュレータで動作させることによって、性能を向上させる手がかりを得ることができる。
2000年ごろまで技術者はSPECを設計時に使っていたが、SPECは非常に大きいプログラムであり、シミュレータで動作させるには適していなかった。1998年、Markus Levy と半導体企業12社は EEMBC（Embedded Microprocessor Benchmark Consortium、組込みプロセッサベンチマーク協会）を設立しEmbedded Microprocessor Benchmark Consortium、組込み市場向けのベンチマークを標準化した。これによってSPECよりも小さなプログラムで性能的に問題となるアルゴリズムに注目した測定が可能となった。半導体企業が測定したベンチマーク結果はEEMBCで検証および認定後、公表可能となる。EEMBC は組み込み用プロセッサが益々低消費電力化していくことから、電力消費のベンチマークを標準化しようとしている。
問題点
コンピュータ企業はこれまで実性能とかけ離れた非現実的なベンチマーク性能を提示してきた。たとえば、1980年代のコンパイラには浮動小数点演算のベンチマークによく出てくる特定の操作を意味的には等価だがもっと高速な操作に置き換えるものもあった。しかし、そのような小手先の高速化はベンチマーク以外には通用しない。ユーザーが製造業者が公表しているベンチマーク結果を使う場合、自分が知っているアプリケーションの負荷に直接関係するベンチマークやなんらかの認証を受けたベンチマーク以外は十分注意する必要がある。ベンチマークは実際のアプリケーションの代替品であり、そのアプリケーションが何らかの理由で使えないときのみ使われるべきものである。性能が最重要課題ならば、実際に使うシステムの負荷をベンチマークとして使う。それが不可能なら実際の負荷になるべく近いベンチマークを使う。そのベンチマークが認証されたものでなければ、慎重さが重要となる。たとえば、同じプログラムで性能を測定しても、入力や負荷状況によって測定結果が逆転することはあり得ないことではない。
このような状況が問題となった1980年代は、CPUのアーキテクチャが従来の16ビットから32ビットへ大きく転換する時期にあたり、企業が都合のよい独自のベンチマークを発表していた。アーキテクチャやOSが異なる環境での比較は単純ではなく、アプリケーションベンダやユーザも巻き込んでの試行錯誤が続いていた。1990年代中盤ごろになるとRISCやVLIWアーキテクチャが登場し、ハードウェアの構造が単純になったことでコンパイラ技術が性能に重大な影響を与えることが明らかとなった。現在ではベンチマークはコンパイラ開発で使われることが多い。それは単にベンチマークプログラムの結果を良くするだけではなく、一般のアプリケーションの性能も向上させるために使われている。
依然として製造業者はその製品が得意とする分野のベンチマーク結果のみを公表しているが、このような手法を「ベンチマーケティング」などと呼ぶこともある。しかし理想的なベンチマークとは、アプリケーションが利用できない場合や、特定のプロセッサやコンピュータシステムへの移植がコスト的に困難である場合などでの、実際のアプリケーションの代用としてあるべきである。パフォーマンスを重視するのであれば、ターゲットとなる環境でのアプリケーションスイートこそが唯一のベンチマークとなりうる。
プログラミング作業におけるベンチマーク
ある特定の機能を果たすプログラムを書くときに複数の手法が存在した場合、どの手法が最も効率的かを知る上でベンチマークを取る。このときに使うベンチマークは次節以降で紹介される、既成のベンチマークソフトを使うのではなく、下に示すような調査項目を記録できる処理を作成し、それをプログラム中に埋め込んで実行し、計測する。
また、コンパイラの設定によっては同じソースでも実行効率が変わるので、この点を明らかにする際もベンチマークを取ってどれが最善か調べる。特に、多種のCPUアーキテクチャ上で実行されるプログラムを作っているならば、この作業は入念に行う価値がある。
主な調査項目:
ベンチマークの分類
- 実際のプログラム
- ワープロソフト
- ユーザーのアプリケーションソフトウェア
- カーネル（基本的なベンチマーク）
- 基本的なコードを含む
- 一般に実プログラムから抽出されたコードを使う
- 典型例：リバモアループ (Livermore loop)
- linpack ベンチマーク（FORTRANで書かれた基本的な線形代数サブルーチンを含む）
- 結果は MFLOPS で表されることが多い
- 簡単なベンチマーク
- ユーザーがコンピュータの基本部品を評価するためにプログラムを書くことができる
- 合成ベンチマーク (Synthetic Benchmark)
- 合成ベンチマークを作成する手順
- 多くのアプリケーションを実行して操作の統計情報を得る
- 各操作の比率を割り出す
- その比率を元にプログラムを作成する
- 合成ベンチマークの例：
- Whetstone
- Dhrystone
- 合成ベンチマークを作成する手順
著名なベンチマークソフトウェア
- Dhrystone - 整数演算性能
- Whetstone - 浮動小数点演算性能
- SPEC - 総合性能、マルチプロセッサ性能
- TPC-C - トランザクション性能
- LINPACK - 浮動小数点演算性能
パーソナルコンピュータ向け
- HDBENCH - CPU, RAM, HDD, グラフィック
- 3DMark - 3D総合性能
- PCMark - CPU、グラフィック、RAM、HDD総合性能
- Windows エクスペリエンス インデックス
- PassMark - CPU、グラフィック、RAM、HDD総合性能。AdobeがGPUの要件の参照先としている[1]。
- CrystalDiskMark - HDD
- CINEBENCH - CPU（R15以前はGPUも計測できた）
- Blender Benchmark - CPU、GPU（汎用演算及びレイトレーシングアクセラレータ）
- V-Ray Benchmark - CPU、GPU（汎用演算及びレイトレーシングアクセラレータ）
- スーパーπ - 金田康正教授が開発した円周率計算プログラム。これを使ってCPUの速度を計測することを俗に「π焼き」と呼ぶ。
スマートフォン・タブレット端末向け
- AnTuTu Benchmark - CPU, RAM, グラフィック
自動車におけるベンチマーク
日本の自動車業界においては、他の分野と用法がやや異なり指標というよりも、目指すべき目標という意味で用いられる場合がほとんどである。そのため、完成度の高い自動車が「ベンチマーク」とされ、また、それを上回る自動車が発表されれば、その車が新たにベンチマークとされるので、頻繁に基準の変更が行われる。ただし、特に歴代で評価の高い自動車は他により優れた車があってもベンチマークとされやすく、Cセグメントではフォルクスワーゲン・ゴルフが、スポーツカーではポルシェ・911が、ハンドリングではBMW各車が、軽自動車ではスズキ・ワゴンRがベンチマークとされることが多い。
このように、自動車業界において慣例的に使用されるベンチマークには明確な定義はほとんどなく、自動車評論家の評価などによって決められる曖昧なものとなっている。他社の自動車製品を分解・解析し、その仕組みやコスト構成を明らかにするリバースエンジニアリングは世界的に行われている。このベンチマーキングにより取得できる情報は営業秘密にはあたらないので、ライバル会社がこれを利用することは基本的に違法行為ではない[2]。
なお、自動車における本来の意味での（技術的な）ベンチマークには以下のようなものが存在するが、逆にこれらが消費者にベンチマークと呼ばれることはあまりない。各種性能の試験・測定には、テストドライバーがテストコースなどで行う各種走行実験/試験のほか、風洞やシャシダイナモが用いられる。日本国内で型式認証を受ける自動車の燃費性能試験の際、国土交通省が指定しているのは風の影響が避けられない「惰行法[3]」であるが、北米では風の影響が少ない速度域を含む「高速惰行法」を、欧州では、各部品ごとに測定した抗力を合算した数値を補正値とし、屋内のシャシダイナモで試験が行える方式を用いている[4]。
- 操縦安定性（直進性、ハンドリング、ロードホールディング、制動力）
- 騒音・振動・ハーシュネス
- ドライバビリティー
- 馬力・トルク
- 燃料消費率
- 抗力（摩擦損失、空気抵抗、転がり抵抗）
- 10・15モード燃費
- JC08モード
- WLTP
- NCAP
- 0 - 400 m（SS 1/4 mile）加速
- 0 - 1000 m加速
- 0 - 100 km/h（0 to 60 mph）加速
- サーキットのコースレコード
- 最高速度記録
出典
- ^ a b “Photoshop グラフィックプロセッサー（GPU）カードに関するよくある質問”. helpx.adobe.com. 2020年12月11日閲覧。
- ^ 当社のライバル会社が、当社の製品を購入して分解してその仕組みを調べ上げ（リバースエンジニアリング）、同等の性能をもつ製品を開発してしまいました。このようなライバル会社の行為は違法でしょうか。また、秘密保護のための対策はありますか。 | クレア法律事務所
- ^ 国沢光宏 (2016年4月28日). “三菱自「燃費不正」問題の測定方法『惰行法』と『高速惰行法』の違いとは”. MOTA. 2024年4月5日閲覧。
- ^ Avanti Yasunori (2016年5月22日). “スズキの報告から見えてくる燃費試験「惰行法」の課題とは？”. clicccar. 2024年4月5日閲覧。
| The "box" approach | |
|---|---|
| テストレベル | |
| Testing types, techniques, and tactics |
|
| 関連項目 | |
 カテゴリ | |
 | この項目は、コンピュータに関連した書きかけの項目です。この項目を加筆・訂正などしてくださる協力者を求めています（PJ:コンピュータ/P:コンピュータ）。 |
「ベンチマークテスト」の例文・使い方・用例・文例
- ベンチマーク・テストのページへのリンク
