Comments
Description
Transcript
ベンチマークとはなにか？ 現在入手可能なベンチマーク
システムの記事 組み込みプロセッサや FPGA を搭載した基板の性能を比較し てみたいと思うのは，システム設計者にとっては当たり前のこ 現在入手可能なベンチマーク・ソフトウェア とだろう．このプロセッサの性能をはかる目安として MIPS 値 や drystone が一般的に使われているが，より組み込みシステ ムの用途に特化したパフォーマンスをはかる基準が提示され， 多くの CPU，FPGA ベンダが参加してベンチマークの基準が 策定されてきた．この成果を公表する． （編集部） 表 1 に，組み込み市場で一般的なベンチマーク・ソフト ウェアを示します． Dhrystone と SPEC は古くから存在し，プロセッサ・ベ ンダを含めて広範囲に利用されています． BDTI は信号処理市場でよく引用されます．MediaBench ベンチマークとはなにか？ と MiBench は産業界ではあまり用いられませんが，大学 などの学術機関では一般的です．その理由は，用途別ベン ベンチマークは，もともと作業台に記された刻印が，あ チマークにも関わらず，ソース・コードが無償で提供され， る測定基準になっていたことに起源を持ちます．その後作 産業界でプロセッサ選定時に重視されるスコアの信憑性よ 業台の刻印は改良されて物差しに変わりました．ことマイ りも，ベンチマーク開発そのものやプロセッサのアーキテ クロプロセッサに視点を移すと，その性能を客観的に測定 クチャとの関連性，コンパイラの最適化に関心があるから しんぴょうせい および比較ができ，信憑性のある方法で評価できることが です． EEMBC の会員企業は約 50 社あり，整備されたベンチ 重要です． プロセッサを選択する場合，セット・メーカにとっては マーク策定プロセスと公平な策定基準を持つことで産業界 実際に利用するアプリケーション・ソフトウェアを実行し の厚い信頼を得て，実質的な業界標準ベンチマーク・ソフ て比較すれば，いちばん正確な結果が得られると思われま トウェアになっています． す．しかし，比較の段階は開発の初期段階であるため，ま だアプリケーション・ソフトウェアがポーティングされて ● Dhrystone は汎用プロセッサの性能評価に使われるが， いない場合がほとんどです．また，アプリケーション・ソ プロセッサ，メモリ，サブシステムの性能予測は困難 フトウェアは性能評価を念頭に書かれているわけではない Dhrystone は1984 年にReinhold P. Weicker が開発した ので，コードを書き換える手間が必要です．このような場 ベンチマーク・ソフトウェアです．一つの測定ループの中 合にベンチマーク・ソフトウェアは比較を容易に実現でき に存在する 12 個のプロシージャ（手続き）から構成される ます． 合成ベンチマーク（synthetic benchmark）です．合成ベン チマークとは，一般的なプログラムを統計的に分析し，そ ベンチマーク，EEMBC，Dhrystone，SPECmark，BDTI，MediaBench，スコア計測法 132 Design Wave Magazine 2007 February 組み込みマイコンにおける ベンチマーク利用法の新しい動向 表1 組み込み市場で一般的なベンチマーク・ソフトウェア ベンチマークの名称 策定目的 策定は 1 社か 企業連合か 評価内容 用 途 合成ベンチマークか 実用途ベースか 第三者によるスコ アの検証・認定 Dhrystone BDTI MediaBench MiBench EEMBC 汎用プロセッサの 整数演算処理性能 を評価・比較する 汎用プロセッサ，メ モリ，コンパイラ の性能評価と比較 信号処理用途向け に性能の評価と比 較を行う 画像処理，通信， DSP 用途向けに性 能評価と比較を行う 六つの組み込み用 途向けに性能評価 と比較を行う 七つの組み込み用 途向けに処理・消 費電力の性能評価 と比較を行う １社 連合体（約 45 社の 会員企業） 1社 1 社（大学） 1 社（大学） 連合体（約 50 社の 会員企業） 処理性能 処理性能 処理性能 処理性能 処理性能 処理性能と消費エ ネルギー 汎用プロセッサ サーバ，ワークス テーション，高性 能数値演算処理， UNIX 系画像処理 DSP マルチメディア， 通信 車載，民生機器， ネットワーク，OA， セキュリティ，通信 機器 車載・産業機器， 民生機器，Java， OA 機器，ネット ワーク機器，通信機 器，ストレージ機器 合成 実用途 合成 実用途 合成 合成 なし なし 存在するが，認定さ れていないスコアを 公開することは可能 なし なし 検証・認定はスコ アを公開するため の必要条件 サーバ向けにエネル ギーと処理性能を評 価・比較する指標を 策定する委員会を設置 STB，マルチメディア 携帯電話などのビデオ 用途向けにBDTI Video Benchmark をリリース 無償 有償 近年の流れ ソフトウェアは 有償か 無償か SPEC ― 無償 ― ― 無償 無償 消費エネルギー測 定法を標準化した 有償 の負荷を再現できるようにした単純なプログラムの集合体 主体となって策定したベンチマーク・ソフトウェアです．米 です． 国の非営利団体 SPEC（Standard Performance Evaluation Dhrystone は，頻繁に使うコピーや比較といったストリ Corporation，http://www.spec.org/）はワークステー ング処理をプログラムのベースにしており，プロセッサの ションやサーバで実際に用いられるアプリケーション・ソ 整数演算性能を評価するためのものです．1 秒間に何回測 フトウェアをベースにSPECmark を策定しており，これは 定ループを回せたかで処理性能を評価します．VAX11/ Dhrystone のような合成ベンチマークではありません．整 780 の性能が 1MIPS とよく言われますが，このマシンの 数演算性能を示す SPECint と浮動小数点演算性能を示す Dhrystone 値が 1,757 になるため，測定結果の Dhrystone SPECfp があります． 値を 1,757 で割った値を DMIPS（ドライストーン・ミップ ス）という場合が多くあります． 1989 年にリリースされた SPEC89 からスタートし，プロ セッサの進化とともにこのベンチマークにも拡張と改良が Dhrystone は現在，プロセッサ・ベンダのマーケティン 加えられ，SPEC92, SPEC95, SPEC CPU2000, CINT2000, グ・ツールとして一般的に用いられているベンチマーク・ CFP2000 へと発展していきました．具体的なベンチマーク ソフトウェアの一つです．しかし，プログラム・サイズが の種類としては，流体シミュレーション 171.swim，3 次元 比較的小さく，キャッシュにヒットしてしまうため，メモ 空間におけるマルチグリッド・ソルバ 172.mgrid，変微分 リ・バスの性能まで考慮することができません．現実的な 方程式 173.applu，流体力学 178.galgel などがあります． プロセッサの性能はメモリとのインターフェースに大きく SPECmark は高性能をうたうプロセッサのマーケティン 依存するため，Dhrystone ではプロセッサ・メモリ・サブ グ・ツールとしてよく利用されます． システムの性能を予測することは困難です． ● B D T I は信号処理向けで，D S P ，汎用プロセッサ， ● SPECmark はワークステーションやサーバで用いられ るソフトウェアをベースにしている SPECmark は，もともとワークステーション・メーカが FPGA が評価対象 BDTI ベンチマークは，信号処理能力の検証用ベンチマー ク・ソフトウェアです．アルゴリズム・カーネル・ベンチ Design Wave Magazine 2007 February 133