benchmark
「benchmark」とは・「benchmark」の意味
「benchmark」とは、基準や目安となるものを指す言葉である。主に、品質や性能を測定する際に比較対象となる基準値や、業界標準とされる水準を意味する。また、一般的な目標や達成すべき水準を示す場合もある。「benchmark」の発音・読み方
「benchmark」の発音は、IPA表記では /ˈbɛnʧmɑrk/ であり、IPAのカタカナ読みでは「ベンチマーク」となる。日本人が発音するカタカナ英語では「ベンチマーク」と読むことが一般的である。「benchmark」の定義を英語で解説
A benchmark is a standard or point of reference against which things may be compared or assessed. It is commonly used to measure the quality or performance of a product, service, or process by comparing it to a set standard or industry norm. It can also refer to a general goal or level of achievement that should be reached.「benchmark」の類語
「benchmark」の類語には、standard（標準）、yardstick（基準）、gauge（尺度）、criteria（基準）、reference point（参照点）などがある。これらの言葉は、それぞれニュアンスや使用状況が異なるが、基準や目安となるものを指す点では共通している。「benchmark」に関連する用語・表現
「benchmark」に関連する用語や表現には、benchmarking（ベンチマーキング）、performance benchmark（性能基準）、industry benchmark（業界基準）、financial benchmark（財務基準）などがある。これらは、それぞれ異なる分野や目的で基準を設定し、比較や評価を行う際に用いられる。「benchmark」の例文
1. The company set a benchmark for customer satisfaction.（会社は顧客満足度の基準を設定した。） 2. Our product's performance exceeds the industry benchmark.（私たちの製品の性能は業界基準を上回っている。） 3. Benchmarking helps businesses identify areas for improvement.（ベンチマーキングは、企業が改善すべき分野を特定するのに役立つ。） 4. The financial benchmark is used to evaluate the company's performance.（財務基準は、会社の業績を評価するために使用される。） 5. The test results were compared to the established benchmark.（テスト結果は、確立された基準と比較された。） 6. The new software was tested against a benchmark to ensure its quality.（新しいソフトウェアは、品質を確保するために基準と比較してテストされた。） 7. The company's sales figures are well above the industry benchmark.（会社の売上高は業界基準を大幅に上回っている。） 8. The benchmark for success in this project is achieving a 10% increase in sales.（このプロジェクトでの成功の基準は、売上が10%増加することである。） 9. The government set environmental benchmarks for companies to follow.（政府は、企業が従うべき環境基準を設定した。） 10. The new technology has become the benchmark for innovation in the industry.（新しい技術は、業界での革新の基準となっている。）ベンチマーク
ベンチマーク（benchmark）とは、基本的には「基準」「水準」あるいは「指標」といった意味の表現である。比較評価の基準と位置づけられる対象を指す場合もあれば、「目標」に近い意味で用いられることもある。
ベンチマークの元々の語義は、測量の分野における「水準点」である。水準点は、標高の計測などにおいて基準として使用される標識（標石）である。この、原義の「水準」「基準」のニュアンスが、他の派生的な意味・用法においても踏襲されているといえる。
ビジネス分野では、「比較の際の基準」を指す意味で「ベンチマーク」の語が用いられる。たとえば、金融関連の分野では、日経平均株価指数や東証株価指数（TOPIX）などのいわゆる指標銘柄をベンチマークと呼ぶことが多い。
コンピュータ関連の分野では、ベンチマークは「ベンチマークテスト」と呼ばれる評価手法、ならびに、その評価に用いられるプログラム群を指す意味で用いられることが多い。ベンチマークテストはコンピューターシステムの性能を客観的に比較するために用意されたプログラムであり、システムにある程度の負荷をかけることで演算処理や入出力処理の速度などを計測できるようになっている。ベンチマークテストによって計測され数値化された指標はベンチマークスコアと呼ばれる。
ビジネス分野では「基点」というより「目標」に近い意味で「ベンチマーク」あるいは「ベンチマーキング」の語が用いられることも多い。これは、自社の成長や効率化を実現するために、優れた企業や競合他社を調査・分析し、自社の改善に活かすという考え方である。製品の品質改良を目的とするベンチマークは特に「製品ベンチマーク」と呼ばれることがある。製品ベンチマークでは競合他社の製品を分解して分析研究する場合も珍しくない。
ベンチ‐マーク【bench mark】
ベンチマーク
投資信託の運用実績の良し悪しを判断するための基準値となるものです。例えば、日本の株式市場であれば、日経225種平均株価や東証株価指数（ＴＯＰＩＸ）がベンチマークに相当します。一般的に日本株に投資する投資信託の場合、これらをベンチマークとしてファンドの運用実績の良し悪しを判断します。なぜベンチマークが必要なのかと言えば、投資信託の場合、ファンドの運用実績が市場の値動きに勝てたのかどうかが評価の分れ目になるからです。同じ10％の上昇率を示した日本株投資のファンドでも、日経平均株価が20％値上がりしている状況の下での10％と、日経平均株価が10％値下がりしている状況の下での10％の上昇率とでは、後者のほうが高く評価されるわけです。
ベンチマークテスト
ベンチマーク
本来は水準測量の水準点のこと。一般に、何かを比較する際の評価基準を意味する用語として用いられる。例えば、韓国現代自動車の工場設備のベンチマークはトヨタ北九州工場である、といわれている。
ベンチマーク
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/04/05 03:47 UTC 版)
ベンチマーク（英: benchmark）とは、本来は測量において利用する水準点を示す語で、転じて金融、資産運用や株式投資における指標銘柄など、試金石として比較のために用いる指標を意味する。また、広く社会の物事のシステムのあり方や規範としての水準や基準などを意味する。またベンチマーキングとは自社の課題解決のために、競合他社などの優れた経営手法（ベストプラクティス）を持つ企業を分析するプロセスを指す。
測量におけるベンチマーク
建築物、構造物などの位置や高さなどの水準点または基準点に用いる。通常では動かない位置をベンチマークポイントに定めそれを基準として建物、構造物の位置を決める。ベンチマークには金属鋲などが打ち込まれることもある。また設計図書にどこがベンチマークポイントかは必ず明記される。元来ベンチマーク (benchmark) と言う場合は測量などで使用される基準の物を指す。
コンピュータにおけるベンチマーク
コンピュータの分野においては、コンピュータシステムのハードウェアやソフトウェアの性能を測定するための指標のことを指す。ひとつあるいは複数のプログラムを実行した結果をベンチマークスコアと呼び、ある対象に関する相対的な性能を表す指標として用いられる。また、ベンチマークスコアを測定するための特別なプログラム（ベンチマーキングプログラム）自体をベンチマークと呼ぶこともある。著名なベンチマーキングプログラムとしてHPC性能を測るLINPACKや、データベース処理の性能を測定するTPC、DirectXにより3DCGの性能を測る3DMarkなどがある。
その他、ハードウェアの3D機能を高度に駆使し、十分な動作速度を確保するための要求スペックが高いパソコン用のゲームソフトやオンラインゲームでは、動作の確認と宣伝を主目的として、メーカーがゲーム素材を利用したベンチマークソフトや体験版を制作し、配布することもみられている。
ベンチマークは、異なる部品構成やアーキテクチャを持ちスペックなどによる直接的な性能比較ができないシステムの間において、様々な観点で性能を比較する手段を提供する。またベンチマーク結果を集計しグラフ化や比較が可能なウェブサイトも多数存在している。レタッチソフトなどビデオカードのGPUに依存した機能があるソフトウェアではインストール前に自身のハードウェアで利用できる機能を把握したり、適切な機材へ変更する際の指針となる。AdobeはPhotoshopに対応したGPUの最小要件に関しては、ベンチマーク結果を集計したサイトを参照するように誘導している[1]。
日本語において「ベンチマークスコアを測定する」ことを俗に「ベンチマークを取る」と表することがあるが、これはなんらかの値を記録することを「記録を取る」「データを取る」と呼ぶ慣習からきている。
コンピュータにおけるベンチマークテスト
コンピュータ・アーキテクチャが進化するにつれ、その仕様を見ただけでは各種コンピュータの性能を比較することが難しくなってきた。そのため、異なるシステム上で動作できるテストプログラムが開発されてきた。そのようなテストを実行した結果を比較することで異なるアーキテクチャの性能を比較するためである。たとえば、インテルのPentium 4プロセッサと同程度の演算性能を示すAMDのAthlon XPプロセッサは動作周波数が（Pentium 4 よりも）低い。つまり、同じベンチマークテストを実行したとき、AMD の動作周波数の低いプロセッサとインテルの動作周波数の高いプロセッサが同程度の結果を示すのである。
ベンチマークは特定の負荷状況を再現するよう設計されている。元からベンチマーク用に開発されたプログラムは意図的にそのような負荷を作り出す。普通のアプリケーションをベンチマークとして使う場合もあり、この場合はそのアプリケーションの負荷が再現される。アプリケーションを使ったほうが実際の性能をよく表しているが、システム内の特定の部品の性能（ディスク性能、ネットワーク性能など）を測定したい場合などには専用ベンチマークプログラムが使われることが多い。
マイクロプロセッサの設計において、ベンチマークは測定手段となると共に回路化すべき部分の重要な判断基準となる。たとえば、あるベンチマークがあるアプリケーションのアルゴリズムの鍵となる部分を抜き出したものだった場合、そのベンチマークはそのアプリケーションの性能に大きな影響を与える部分を抜き出したものと考えることができる。そのような小さなプログラムをシミュレータで動作させることによって、性能を向上させる手がかりを得ることができる。
2000年ごろまで技術者はSPECを設計時に使っていたが、SPECは非常に大きいプログラムであり、シミュレータで動作させるには適していなかった。1998年、Markus Levy と半導体企業12社は EEMBC（Embedded Microprocessor Benchmark Consortium、組込みプロセッサベンチマーク協会）を設立しEmbedded Microprocessor Benchmark Consortium、組込み市場向けのベンチマークを標準化した。これによってSPECよりも小さなプログラムで性能的に問題となるアルゴリズムに注目した測定が可能となった。半導体企業が測定したベンチマーク結果はEEMBCで検証および認定後、公表可能となる。EEMBC は組み込み用プロセッサが益々低消費電力化していくことから、電力消費のベンチマークを標準化しようとしている。
問題点
コンピュータ企業はこれまで実性能とかけ離れた非現実的なベンチマーク性能を提示してきた。たとえば、1980年代のコンパイラには浮動小数点演算のベンチマークによく出てくる特定の操作を意味的には等価だがもっと高速な操作に置き換えるものもあった。しかし、そのような小手先の高速化はベンチマーク以外には通用しない。ユーザーが製造業者が公表しているベンチマーク結果を使う場合、自分が知っているアプリケーションの負荷に直接関係するベンチマークやなんらかの認証を受けたベンチマーク以外は十分注意する必要がある。ベンチマークは実際のアプリケーションの代替品であり、そのアプリケーションが何らかの理由で使えないときのみ使われるべきものである。性能が最重要課題ならば、実際に使うシステムの負荷をベンチマークとして使う。それが不可能なら実際の負荷になるべく近いベンチマークを使う。そのベンチマークが認証されたものでなければ、慎重さが重要となる。たとえば、同じプログラムで性能を測定しても、入力や負荷状況によって測定結果が逆転することはあり得ないことではない。
このような状況が問題となった1980年代は、CPUのアーキテクチャが従来の16ビットから32ビットへ大きく転換する時期にあたり、企業が都合のよい独自のベンチマークを発表していた。アーキテクチャやOSが異なる環境での比較は単純ではなく、アプリケーションベンダやユーザも巻き込んでの試行錯誤が続いていた。1990年代中盤ごろになるとRISCやVLIWアーキテクチャが登場し、ハードウェアの構造が単純になったことでコンパイラ技術が性能に重大な影響を与えることが明らかとなった。現在ではベンチマークはコンパイラ開発で使われることが多い。それは単にベンチマークプログラムの結果を良くするだけではなく、一般のアプリケーションの性能も向上させるために使われている。
依然として製造業者はその製品が得意とする分野のベンチマーク結果のみを公表しているが、このような手法を「ベンチマーケティング」などと呼ぶこともある。しかし理想的なベンチマークとは、アプリケーションが利用できない場合や、特定のプロセッサやコンピュータシステムへの移植がコスト的に困難である場合などでの、実際のアプリケーションの代用としてあるべきである。パフォーマンスを重視するのであれば、ターゲットとなる環境でのアプリケーションスイートこそが唯一のベンチマークとなりうる。
プログラミング作業におけるベンチマーク
ある特定の機能を果たすプログラムを書くときに複数の手法が存在した場合、どの手法が最も効率的かを知る上でベンチマークを取る。このときに使うベンチマークは次節以降で紹介される、既成のベンチマークソフトを使うのではなく、下に示すような調査項目を記録できる処理を作成し、それをプログラム中に埋め込んで実行し、計測する。
また、コンパイラの設定によっては同じソースでも実行効率が変わるので、この点を明らかにする際もベンチマークを取ってどれが最善か調べる。特に、多種のCPUアーキテクチャ上で実行されるプログラムを作っているならば、この作業は入念に行う価値がある。
主な調査項目:
ベンチマークの分類
- 実際のプログラム
- ワープロソフト
- ユーザーのアプリケーションソフトウェア
- カーネル（基本的なベンチマーク）
- 基本的なコードを含む
- 一般に実プログラムから抽出されたコードを使う
- 典型例：リバモアループ (Livermore loop)
- linpack ベンチマーク（FORTRANで書かれた基本的な線形代数サブルーチンを含む）
- 結果は MFLOPS で表されることが多い
- 簡単なベンチマーク
- ユーザーがコンピュータの基本部品を評価するためにプログラムを書くことができる
- 合成ベンチマーク (Synthetic Benchmark)
- 合成ベンチマークを作成する手順
- 多くのアプリケーションを実行して操作の統計情報を得る
- 各操作の比率を割り出す
- その比率を元にプログラムを作成する
- 合成ベンチマークの例：
- Whetstone
- Dhrystone
- 合成ベンチマークを作成する手順
著名なベンチマークソフトウェア
- Dhrystone - 整数演算性能
- Whetstone - 浮動小数点演算性能
- SPEC - 総合性能、マルチプロセッサ性能
- TPC-C - トランザクション性能
- LINPACK - 浮動小数点演算性能
パーソナルコンピュータ向け
- HDBENCH - CPU, RAM, HDD, グラフィック
- 3DMark - 3D総合性能
- PCMark - CPU、グラフィック、RAM、HDD総合性能
- Windows エクスペリエンス インデックス
- PassMark - CPU、グラフィック、RAM、HDD総合性能。AdobeがGPUの要件の参照先としている[1]。
- CrystalDiskMark - HDD
- CINEBENCH - CPU（R15以前はGPUも計測できた）
- Blender Benchmark - CPU、GPU（汎用演算及びレイトレーシングアクセラレータ）
- V-Ray Benchmark - CPU、GPU（汎用演算及びレイトレーシングアクセラレータ）
- スーパーπ - 金田康正教授が開発した円周率計算プログラム。これを使ってCPUの速度を計測することを俗に「π焼き」と呼ぶ。
スマートフォン・タブレット端末向け
- AnTuTu Benchmark - CPU, RAM, グラフィック
自動車におけるベンチマーク
日本の自動車業界においては、他の分野と用法がやや異なり指標というよりも、目指すべき目標という意味で用いられる場合がほとんどである。そのため、完成度の高い自動車が「ベンチマーク」とされ、また、それを上回る自動車が発表されれば、その車が新たにベンチマークとされるので、頻繁に基準の変更が行われる。ただし、特に歴代で評価の高い自動車は他により優れた車があってもベンチマークとされやすく、Cセグメントではフォルクスワーゲン・ゴルフが、スポーツカーではポルシェ・911が、ハンドリングではBMW各車が、軽自動車ではスズキ・ワゴンRがベンチマークとされることが多い。
このように、自動車業界において慣例的に使用されるベンチマークには明確な定義はほとんどなく、自動車評論家の評価などによって決められる曖昧なものとなっている。他社の自動車製品を分解・解析し、その仕組みやコスト構成を明らかにするリバースエンジニアリングは世界的に行われている。このベンチマーキングにより取得できる情報は営業秘密にはあたらないので、ライバル会社がこれを利用することは基本的に違法行為ではない[2]。
なお、自動車における本来の意味での（技術的な）ベンチマークには以下のようなものが存在するが、逆にこれらが消費者にベンチマークと呼ばれることはあまりない。各種性能の試験・測定には、テストドライバーがテストコースなどで行う各種走行実験/試験のほか、風洞やシャシダイナモが用いられる。日本国内で型式認証を受ける自動車の燃費性能試験の際、国土交通省が指定しているのは風の影響が避けられない「惰行法[3]」であるが、北米では風の影響が少ない速度域を含む「高速惰行法」を、欧州では、各部品ごとに測定した抗力を合算した数値を補正値とし、屋内のシャシダイナモで試験が行える方式を用いている[4]。
- 操縦安定性（直進性、ハンドリング、ロードホールディング、制動力）
- 騒音・振動・ハーシュネス
- ドライバビリティー
- 馬力・トルク
- 燃料消費率
- 抗力（摩擦損失、空気抵抗、転がり抵抗）
- 10・15モード燃費
- JC08モード
- WLTP
- NCAP
- 0 - 400 m（SS 1/4 mile）加速
- 0 - 1000 m加速
- 0 - 100 km/h（0 to 60 mph）加速
- サーキットのコースレコード
- 最高速度記録
出典
- ^ a b “Photoshop グラフィックプロセッサー（GPU）カードに関するよくある質問”. helpx.adobe.com. 2020年12月11日閲覧。
- ^ 当社のライバル会社が、当社の製品を購入して分解してその仕組みを調べ上げ（リバースエンジニアリング）、同等の性能をもつ製品を開発してしまいました。このようなライバル会社の行為は違法でしょうか。また、秘密保護のための対策はありますか。 | クレア法律事務所
- ^ 国沢光宏 (2016年4月28日). “三菱自「燃費不正」問題の測定方法『惰行法』と『高速惰行法』の違いとは”. MOTA. 2024年4月5日閲覧。
- ^ Avanti Yasunori (2016年5月22日). “スズキの報告から見えてくる燃費試験「惰行法」の課題とは？”. clicccar. 2024年4月5日閲覧。
| The "box" approach | |
|---|---|
| テストレベル | |
| Testing types, techniques, and tactics |
|
| 関連項目 | |
 カテゴリ | |
 | この項目は、コンピュータに関連した書きかけの項目です。この項目を加筆・訂正などしてくださる協力者を求めています（PJ:コンピュータ/P:コンピュータ）。 |
ベンチマーク
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/11/19 04:21 UTC 版)
「Mantle (API)」の記事における「ベンチマーク」の解説
Direct3D 11よりも高い効率を発揮した。 バトルフィールド4では、性能の向上が見られた 。デモである「Star Swarm」では、AMD A10-7700KとAMD Radeon R9 290Xを使用した場合に、1080pで319%向上した結果が残されている。
※この「ベンチマーク」の解説は、「Mantle (API)」の解説の一部です。
「ベンチマーク」を含む「Mantle (API)」の記事については、「Mantle (API)」の概要を参照ください。
「ベンチマーク」の例文・使い方・用例・文例
「ベンチマーク」に関係したコラム
- ベンチマークのページへのリンク
