笠原一輝のユビキタス情報局

より“フェアな”ベンチマークとなった「SYSmark2004」




 アプリケーションベンチマークのデファクトスタンダード(事実上の標準)として利用されているBAPCoのSYSmark2002がバージョンアップされ、SYSmark2004となった。

 SYSmark2004では、利用されているアプリケーションがバージョンアップし、最新のアプリケーションが追加されたほか、SYSmarkの特徴となっているシナリオも最新のPCの使い方にあわせて更新された。また、このバージョンからはBAPCoのメンバーとしてAMDやTransmetaも加わり、PCやCPUの処理能力を計測するベンチマークとしてよりフェアなものとなっている。


●AMD、Transmetaが加入することでより透明性が増したBAPCo

SYSmark2004の起動画面

 今回リリースされたSYSmark2004は、2001年末に公開されたSYSmark2002の後継となるバージョンだ。SYSmark2002に関しては本誌のようなWebメディア、あるいは各PC雑誌などにおいて一般的なベンチマークとして多く利用されているが、これに異を唱える人もいた。それはAMDだ。

 実際、筆者の記事でもこのことにふれたことがある。詳しくはそちらの記事を参照して頂きたいが、要するにAthlon XPとPentium 4の性能比が、SYSmark2001(SYSmark2002の前のバージョン)に比べてSYSmark2002で大きくなってしまったのだ。つまり、SYSmark2002は、SYSmark2001に比べてIntelに対するAMDの性能比が悪くなっていたのだ。

 どうしてこのようなことが起こるかと言えば、ベンチマークの作り手が想定するユーザーの利用シーンが年々変化していくからだ。

 SYSmarkのようなベンチマークは、ユーザーが実際にPCを利用するシーンを想定し、それを元したシナリオを再現するスクリプトを作成する。そのシナリオを自動実行してPCの応答時間を記録していくことでスコアを作り出す。

 具体的にはあるアプリケーションを起動し、ファイルを読み込み、編集し、そして保存するというプロセスが実行され、その処理にかかった時間が記録されていく。

 この時に、例えば、昨年まではほとんど使われていなかった命令セットも、次の年には利用頻度があがったため、テストに組み込もう、ということが十分起こりうる。そして、実際SYSmark2002では、2001に比べてシナリオの入れ替えが行なわれ、そのためAMDに不利なテストになった、と考えることができる。

 BAPCoは、PCベンダやCPUベンダなど複数の加盟企業から構成されている。このシナリオの作成は、加盟企業間で議論され、最終的には投票によって決定されるが、SYSmark2002のリリース当時AMDは加盟していなかった。そのため、AMDの言い分は反映されていなかったと考えられる。結果、AMDはSYSmark2002を認めず、同社のモデルナンバーの根拠となるベンチマークにもSYSmark2002を利用してこなかった。

 だが、その後AMDはBAPCoに加盟したことを発表し、TransmetaもBAPCoに加盟することで、状況は大きく変化した。SYSmark2004の作成にはAMDやTransmetaの言い分も反映されているはずであり、より公平なベンチマークになったということができるだろう。

●新しいアプリケーションが加わったSYSmark2004

 SYSmark2004では、基本的には従来のSYSmark2002の特徴を受け継いだベンチマークとなっている。BAPCoのエンジニアや加盟企業はユーザーの使い方を研究し、加盟企業の投票で決定されるシナリオに基づいて、ワークロードと呼ばれる動作が決定される。

 ワークロードとは、データの読み込み、データの処理、データの書き込みという一連の処理のことを指しており、これらの処理をスクリプトにより自動実行し、処理にかかった応答時間を計測することで、処理能力を計測する。

 スクリプトにより自動的に実行されるアプリケーションは、実際にエンドユーザーが利用する実在のアプリケーションだ。

【表1】SYSmark2004に含まれるアプリケーション
 SYSmark2002SYSmark2004
Internet Contents Creation
 Adobe After Effects 5.5
Adobe Photoshop 6.01Adobe Photoshop 7.01
Adobe Premiere 6.0Adobe Premiere 6.5
 Discreet 3ds max 5.1
Macromedia Dreamweaver Version 4Macromedia Dreamweaver MX
Macromedia Flash Version 5Macromedia Flash MX
Microsoft Windows Media Encoder Version7Microsoft Windows Media Encoder 9 Series
共通
McAfee VirusScan Version 5.13Network Associates
McAfee VirusScan Home Edition 7.01
WinZip Computing WinZip 8WinZip Computing WinZip 8.1 SR-1
Office Productivity
 Adobe Acrobat 5.0.5
Microsoft Access 2002Microsoft Access 2002 SP-2
Microsoft Excel 2002Microsoft Excel 2002 SP-2
Netscape Communicator Mozilla 5Microsoft Internet Explorer 6.0 SP1
Microsoft Outlook 2002Microsoft Outlook 2002 SP-2
Microsoft PowerPoint 2002Microsoft PowerPoint 2002 SP-2
Microsoft Word 2002Microsoft Word 2002 SP-2
Dragon NaturallySpeaking Version 5ScanSoft Dragon NaturallySpeaking 6 Preferred

 SYSmark2004では、SYSmark2002で採用されていたOffice XP、Photoshopなどに加えて、新たにDiscreetの3D Studio MAX 5.1、Adobe After Effect 5.5、Adobe Acrobat 5.0.5、Macromedia Flash MX、Internet Explorer 6.1などが追加され、従来から採用されていたアプリケーションも最新のバージョンに置き換えられている。

 SYSmarkシリーズでは、大きく分けて2つのシナリオが採用されおり、それがInternet Contents CreationとOffice Productivityだ。

 Internet Contents Creationでは、ユーザーがインターネットのコンテンツを作成するというシーンが想定されており、Adobe Photoshop、Adobe Premiere、Adobe After Effect、Discreet 3ds MAX、Macromedia Flash MX、Windows Media Encoderなどを利用して動画、静止画などのコンテンツを作成し、最終的にはDreamweaver MXでWebサイトを作成する、というシナリオになっている。

 Office Productivityは、Microsoft Word/Excel/PowerPoint/Outlook、Adobe Acrobat、ScanSoft Dragon NaturallySpeakingなどを利用して文章を作成し、最終的には企業のイントラネットWebサイトに掲載する文章を作成する、というシナリオが実行される。

 なお、各シナリオの実行時には、裏タスクとしてWinZipによるファイル解凍やMcAfee VirusScanによるウィルスチェックなどが行なわれているほか、複数のアプリケーションを実行しながら切り替えるなど、実際のユーザー利用環境のようなマルチスレッド実行なども行なわれている。

 結果は、総合結果(Rating)、Internet Contents Creation、Office Productivityが表示されるという点は従来のSYSmark2002と同じだが、基準値がSYSmark2002とは異なっており、スコアに関する互換性はない。

 SYSmark2002ではPentium III 1GHzを搭載したPCが100という基準になっていたが、SYSmark2004ではPentium 4 2GHzを搭載したPCが100となっているからだ。

 また、SYSmark2004ではInternet Contents Creation、Office Productivityのうち、いくつか細分化された結果も表示されるようになった。Internet Contents Creationには、

・3D Creation:3ds maxを利用して3Dモデルをレンダリングする際の性能
・2D Creation:PremiereやPhotoshopを利用して動画/静止画を作成する性能
・Web Publication:FlashやWindows Media Encoder、Dreamweaverを利用してWebサイトを作成する際の処理能力

 という3つの細分化されたスコアが表示される。また、Office Productivityでは、

・Communication:Outlookで受け取ったメールを読み、ファイルを再生する際の性能
・Document Creation:Word、Acrobat、PowerPointなどを利用して文書を作成する際の性能
・Data Analysis:Accessを利用してデータベースを編集する際の性能

 という3つの細分化されたスコアが表示される。

SYSmark2004のスコア表示 SYSmark2004のInternet Contents Creationテスト画面、Discreet 3ds max 5.1でレンダリング中

SYSmark2004のInternet Contents Creationテスト画面、Macromedia Dreamweaver MXによるWebコンテンツの開発 SYSmark2004のOffice Productivityテスト、Microsoft Access 2002のデータベースをひらきながらWinZipによるファイル解凍が行なわれている

●日本語環境で動かす場合には「地域と言語のオプション」を変更する

 SYSmark2004は、BAPCoのパートナーであるFutureMarkにより販売されており、FutureMarkのWebサイトから購入できる。価格は399米国ドル(1ドル110円換算で、43,890円)となっており、購入するとパッケージが送付されてくる形となっている(ダウンロード販売は行なわれていない)。

 SYSmark2004を動作させるには、以下の最低システム要件を満たしている必要がある。

・CPU:650MHz以上
・メモリ:256MB以上
・HDD:7GBの空き容量
・サウンドカード:必要
・DVD-ROMドライブ:インストール時に必要
・OS:Windows XP ServicePack1ないしはWindows 2000 ServicePack4

 システム要件には書いていないが、実際にはIEEE 1394ポートも必要になる。というのは、IEEE 1394ポートがないマシンで実行すると、Premiereでエラーが発生し、処理がそこで中断してしまうからだ。従って、IEEE 1394ポートがないマシンでは、PCIカードないしはPCカードなどを利用してIEEE 1394ポートを拡張しておく必要がある。

 なお、基本的にSYSmark2004は英語版OSを前提として作成されているが、BAPCoによれば日本語OS環境でも動作可能という。

 日本語OSで動作させるためには、コントロールパネルの「地域と言語のオプション」の地域オプションで「標準と形式」を“日本語”から“英語(米国)”に、さらに「言語」タブでテキストサービスと入力言語の詳細で“英語”サービスをインストールして“日本語サービス”を削除しておく必要がある。

 このほか、メーカー製PCで実行する場合には、SYSmarkで利用されるアプリケーションがプレインストールされている場合がある。この場合にはSYSmarkをインストールする前にこれらのアプリケーションをアンインストールしておく必要があるので注意したい。特に、Adobe AcrobatはプレインストールされているPCが多いので要注意だ。

●基本的にはSYSmark2002と変わらない傾向

 バージョンアップされたアプリケーションが増えたことなどにより、テストにかかる時間は倍近くになっている。例えば、Athlon XP 3200+でテストした場合、SYSmark2002では約1時間程度だった時間が、SYSmark2004では2時間強となっている。

 今回はSYSmark2004の傾向を調べるために、Pentium 4 Extreme Edition 3.20GHz、Pentium 4 3.20GHz、3GHz、2.80GHz、さらにはAthlon XP 3200+、3000+、2800+の7製品で試してみた(なお、Athlon 64がないのは単に時間の都合で機材の手配がつかなかったためである)。結果は以下の通りだ。

【表2】テスト環境
CPUAthlon XPPentium 4
チップセットnForce2-STIntel875P
マザーボードASUS A7N8XIntel D875PBZ
チップセットドライバNVIDIA V3.2Intel 5.00.1012
メモリDR400/2chDDR400/2ch
メモリモジュールC3200(3-3-3)PC3200(2.5-3-3)
容量1GB
ビデオチップATI RADEON 9700 PRO(325MHz)
ビデオメモリ128MB(DDR SDRAM/620MHz)
AGP Apature Size256MB
ビデオドライバATI CATALYST 3.0 6.14.01.6255
標準解像度1,024×768ドット/32bitカラー/85Hz
サウンドYMF-754R
イーサネットカードIntel PRO/1000 MT Desktop Adapter
ハードディスクIBM IC35L040AVVN07-0(40GB)
光学ドライブTEAC DV-516E
フォーマットNTFS
OSWindows XP(英語版、SP1、DX9)

【お詫びと訂正】初出時にAthlon XPのメモリの種別が誤っておりました。お詫びして訂正させていただきます。

【表3】テスト結果
  Athlon XP 2800+(512KB/333)Athlon XP 3000+(512KB/333)Athlon XP 3200+(512KB/400)Pentium 4 2.80C GHzPentium4 3GHzPentium4 3.20GHzPentium4 XE 3.20GHz
SYSmark2002Internet Content Creation315327338405419438456
Office Productivity187191199195207213238
SYSmark2004Rating140144148161173182191
Internet Content Creation154160165181191207212
3D Creation160165169173185196203
2D Creation161169180218227256258
Web Publication141146149157167176181
Office Productivity127129132144156160172
Communication121122121124128130135
Document Creation148152155148174179201
Data Analysis115115122163169175186

 ちなみに、対SYSmark2002との比較で各CPUの結果の下落率を見てみると、Internet Contents Creationでは、Athlon XPは平均で51%程度の下落率だが、Pentium 4は平均で54%程度下落しており、Athlon XPとPentium 4の差がやや縮まっており、若干Athlon XPに有利になっていることが見て取れる。

 逆にOffice ProductivityではAthlon XPは32%前後の下落率であるのに対して、Pentium 4は平均して26%程度の下落率になっていることが見て取れ、こちらはPentium 4に若干有利な結果となっている。

 新しいシナリオを採用したことにより傾向が変わることは十分考えられ、その差はどちらも3~6%程度の差であることを考えると妥当なところではないだろうか。

 ちなみに、SYSmark2001からSYSmark2002にバージョンアップした時の上昇率(ないしは下落率)は、サンプルが1つのみだが、Athlon XPとPentium 4の差がInternet Contents Creationで3.1%、Office Productivityでは12.8%の開きがあった。いずれもPentium 4に有利な結果となっていたことを考えると、大きな違いがあると言えるのではないだろうか。

●“ものさし”としての価値が高まったSYSmark

 ベンチマークというのは、PCの性能を相対的に計測するための“ものさし”だ。車の排気量のように、PCの性能を絶対的に表示する数値というのは、残念ながらPCにはない。以前は、クロック周波数がそれに該当していたが、CPUのマイクロアーキテクチャが複数ある現状では周波数=性能ではないことは、すでに明らかだ。だからこそ、“ものさし”となるベンチマークの重要性は以前に比べて増していると言ってよい。

 ただ、忘れてはならないのは、ベンチマークというものさしは絶対的なものではないということだ。あるベンチマークプログラムで速かったPCが、他のベンチマークではそうではないということは十分にあり得る。それは、ベンチマークの作り手がどのようなユーザーを想定しているかによって、PCの処理方法は変わってくるし、結果も変わってくるからだ。そうした意味では、作り手の信頼度がベンチマークの信頼度を決定すると言ってもよい。

 エンドユーザーとしては、複数のベンチマークの結果を参照し、自分の中でのプライオリティをつけることで、結果を読み分けていく必要があるだろう。例えば、オフィスアプリケーションの利用が主な用途であるという人であれば、SYSmark2004のOffice Productivityを重視すればいいし、コンテンツ作成が主な用途であるという人であればInternet Contents Creationを重視する、あるいは3Dを重視する人は3DMark03を重視するなどだ。

 その中で、SYSmark2004の意味とは何かと問われれば、コンテンツ作成、オフィスアプリケーションという、PCで最も重要なアプリケーションを利用する際の“ものさし”として、より信頼性が向上したものであると指摘しておきたい。

 以前、SYSmark2002に対してAMDが意義を唱えたというのはすでに述べたが、SYSmark2004はそうした論争になることはないだろう。SYSmark2004の制作プロセス自体にAMDも関わっているはずだからだ。

 今年の1月にサンノゼで開催されたPlatform ConferenceにおいてAMDのベンチマークソフトウェアエンジニアリングマネージャのリチャード・ラッセル氏と話す機会があったが、その時にラッセル氏は「次期バージョンのSYSmarkに関しては当社も開発に参加している」と説明しており、SYSmark2004にAMD側の主張も取り入れられたと考えるのが自然だろう。

 AMD、Intel、Transmeta、Dell、Microsoftなど、PC業界の主要プレイヤーにより制作され、“ものさし”としてのSYSmarkの価値が高まった。これが、今回のバージョンアップで最も重要な点だと言えるのではないだろうか。


バックナンバー

(2003年12月24日)

[Reported by 笠原一輝]


【PC Watchホームページ】


PC Watch編集部 pc-watch-info@impress.co.jp 個別にご回答することはいたしかねます。

Copyright (c) 2003 Impress Corporation All rights reserved.