■多和田新也のニューアイテム診断室■ “最適化”対策を施した「3DMark03 Build 340」を検証 ～GeForce FXは性能に大きく影響

　Futuremarkが2月にリリースした3DMark03は、DirectX 9対応の3Dベンチマークとして貴重な存在であり、多くのベンチマーク記事で見かけるソフトウェアである。また、リリース当初からNVIDIAのGPUでのスコアに関する疑惑が言い争われており、このことでも話題に昇ることが多い。

　そして11月に、3DMark03が「Build 340」にアップデートされ、ビデオカードのドライバによる最適化が機能しないようになったという。そこで今回は、この3DMark03 Build 340によって、スコアがどう変わるかを検証してみたい。

●ビデオカードのドライバによる最適化を無効にするBuild 340

　3Dベンチマークの定番として広く認知されている3DMarkシリーズだが、今年2月にリリースされたDirectX 9対応版となる「3DMark03」は、リリース当初から物議を醸し出した存在となっている。物議の内容については、元麻布氏のコラムや、笠原氏のコラムに詳しい。

Build 340のプロパティ。実行ファイルのバージョンが「3.4.0.0」となる

　要約すると、3DMark03に対しNVIDIAが様々な問題点を提起し、3DMark03対策ともいえるドライバをリリース。Futuremark側がこのドライバに対し“不正なドライバ”であるとして、Build 330へとアップデートを行なったのである。この一連の騒動については、今年6月にFuturemarkとNVIDIAの間で話し合いがもたれ、NVIDIAがリリースした対策ドライバは“3DMark03に最適化したドライバ”であるとFuturemark側が理解を示したことで一応は収束したはずであった。

　ところが、11月11日に発表された3DMark03のBuild 340のリリースを読んでみると、ビデオカードのドライバによる最適化が機能しないようにプログラムを変更したという内容が記されている。これにより、異なるハードウェア(例えばGeForce FX対RADEON)間で、3D描画性能を正しく比較測定できるとされている。

　併せて、Futuremarkが検証を行ない、正しいスコアが測定できる(3DMark03への最適化が働かない)ドライバが、承認済みドライバとして同社のWebページにリストアップされることにもなった。

　ちなみにBuild 340は、2種類のファイルが提供されている。1つはBuild 330以前の3DMark03に適用することでアップデートを行なう、約5.4MBのパッチファイル。もう1つは、3DMark03 Build 340のフルパッケージ版で、こちらは約178MB。ミラーサイトも多く、それほど混雑もしていないようなので、ダウンロードするのに苦労は少ないだろう。

　なお、テスト項目は変更されていない。

●Build 340ではGeForce FXのスコアが大きく下落

　さて、前述のリリース文内では、3DMark03に最適化されたドライバに関して特定メーカーの名前は挙げられていないので、このBuild 340によって影響を受けるビデオカードなどは不明だ。そこで今回は、「RADEON 9600 XT」、「GeForce FX 5700 Ultra」、「GeForce FX 5600 Ultra」、「GeForce 4 Ti 4600」と、3D描画に定評があり、コアの機能差が大きい4種類のビデオチップを搭載したビデオカードを用意した(写真1～4)。これらを使ってBuild 340を検証してみよう。

　テスト環境は表1に示すとおりだ。各ビデオカードごとに、Futuremarkが承認している最新ドライバと、非承認の旧ドライバの2種類を使ってテストを行なうことにする。ただしGeForce FX 5700 Ultraのみは、旧ドライバで動作しないため最新ドライバのみのテストとなる。また、3DMark03については、パッチを一切適用しないバージョン(以下、無印と表記)、Build 330、Build 340の3種類を実行している。

【写真1】RADEON 9600 XT搭載のASUSTeK「A9600XT/TVD/N/128M/A」	【写真2】GeForce FX 5700 Ultra搭載のAlbatron「FX5700U」
【写真3】GeForce FX 5600 Ultra搭載のASUSTeK「V9560 Ultra/TVD/128MB」	【写真4】GeForce 4 Ti 4600搭載のSPARKLE「SP7200T6」

　それでは結果を見てみよう。グラフ1～4は、各ビデオカードごとの3DMarks値を表したグラフである。

　まずグラフ1のRADEON 9600 XTについて見てみると、3DMark03のバージョンが上がるにつれ、若干スコアが下がり気味になるが、無印、Build 330、Build 340の間にスコアの差はほとんどない。これはドライバが異なってもほとんど同じである。

　続くグラフ2はGeForce FX 5700 Ultraのテスト結果である。無印とBuild 330間のスコア差はほとんどないものの、Build 340では13～15％程度のスコアの低下が見られる。

　グラフ3のGeForce FX 5600 Ultraも同様だ。スコアの低下はドライバに関係なく見られるものの、とくにDetonator FX 45.23を使った場合のテスト結果の変化が大きい。Detonator FX 45.23を使った場合、無印だとForceWare 52.16よりも軒並み好成績であり、Build 330では高解像度テスト時に優秀な成績を残す傾向にある。これが、Build 340になると全面的に落ち込むのだ。

　しかしながら、同じNVIDIAの1世代前のビデオカードGeForce 4 Ti 4600の結果を示したグラフ4を見てみると、こちらはドライバによる傾向の差はまったくなく、むしろBuild 340のほうが優秀な結果を残す傾向が見られる。

【グラフ1】RADEON 9600 XT	【グラフ2】GeForce FX 5700 Ultra
【グラフ3】GeForce FX 5600 Ultra	【グラフ4】GeForce 4 Ti 4600

　この結果から、Build 340の傾向を簡単にまとめてみると、

1. RADEON 9600 XTはわずかなスコア低下が見られる
2. GeForce FX 5700/5600 Ultraはスコアが大きく下がる
3. GeForce FX 5600 Ultraはドライバによって傾向が変わる
4. GeForce 4 Ti 4600ではスコアが上がる

といった具合だ。その理由をもう少し突き詰めてみよう。3DMarks値だけでは何が起こっているのか分かりづらいので、結果をもう少し詳細にチェックしてみることにしたい。

●ForceWareとDetonatorで結果に変化

　表2は、1,024×768ドットにおけるGame1～4のフレームレートをピックアップしてまとめたものだ。

　まず、ForceWare 52.16使用時のGeForce FX 5700/5600 Ultraの結果の傾向だが、これはドライバが同じだけあって似通っており、Game1ではほとんど変化ないが、Game2～4ではBuild 340で成績が大きく下がっている。とくに、GeForce FX 5700 UltraのGame4あたりはフレームレートが一気に7フレームも落ち込む。

　ここで着目したいのは、GeForce FX 5600 UltraのGame4はDetonator FX 45.23を使ったほうが落ち込みの幅が大きいことだ。バーテックスシェーダーとピクセルシェーダー2.0のテスト結果(グラフ5/グラフ6)を見てみると、Detonator FX 45.23では、バーテックス/ピクセルシェーダーとも、Build 340ではスコアが落ち込んでいる。一方、ForceWare 52.16では、バーテックスシェーダーのスコアこそ落ちているが、ピクセルシェーダー2.0のスコアは変化がない。

【グラフ5】Vertex Shader	【グラフ6】Pixel Shader 2.0

　この結果から、Detonator FX 45.23では、バーテックス/ピクセルシェーダーの両面において、3DMark03に対する何らかのチューニングを施していたと見るべきだろう。

　ForceWare 52.16ではそれがどう変わったかというと、ピクセルシェーダー2.0の機能を利用するGame4でのスコアが上昇していることから、その最適化がなされているが、無印/Build 330/Build 340のいずれも同程度の成績となっていることから、3DMark03に特化した性能の引き上げではないことが想像できる。

　しかしながら、相変わらずバーテックスシェーダーのスコアが下がっていることは、ForceWare 52.16では、バーテックスシェーダーにおいてのみ、3Dmark03へのチューニングが行なわれていると見ることができる。

　このことは、ImageQualityテストの結果からも裏打ちされる(画面1～21)。

【画面1】RADEON 9600 XT(3.9)：無印	【画面2】RADEON 9600 XT(3.9)：Build 330	【画面3】RADEON 9600 XT(3.9)：Build 340
【画面4】RADEON 9600 XT(3.8)：無印	【画面5】RADEON 9600 XT(3.8)：Build 330	【画面6】RADEON 9600 XT(3.8)：Build 340
【画面7】GeForce FX 5700 Ultra(52.16)：無印	【画面8】GeForce FX 5700 Ultra(52.16)：Build 330	【画面9】GeForce FX 5700 Ultra(52.16)：Build 340
【画面10】GeForce FX 5600 Ultra(52.16)：無印	【画面11】GeForce FX 5600 Ultra(52.16)：Build 330	【画面12】GeForce FX 5600 Ultra(52.16)：Build 340
【画面13】GeForce FX 5600 Ultra(45.23)：無印	【画面14】GeForce FX 5600 Ultra(45.23)：Build 330	【画面15】GeForce FX 5600 Ultra(45.23)：Build 340
【画面16】GeForce 4 Ti 4600(52.16)：無印	【画面17】GeForce 4 Ti 4600(52.16)：Build 330	【画面18】GeForce 4 Ti 4600(52.16)：Build 340
【画面19】GeForce 4 Ti 4600(45.23)：無印	【画面20】GeForce 4 Ti 4600(45.23)：Build 330	【画面21】GeForce 4 Ti 4600(45.23)：Build 340

　GeForce FXシリーズでは、ForceWare 52.16を使う限り、無印のみが異なる描画を見せ、Build 330/340はまったく同じ描画である。パフォーマンス面では大きな影響がでていたBuild 330と340だが、実際の描画品質にはまったく影響していないのである。これはGeForce 4 Ti 4600も同様だ。

　Detonator FX 45.23はどうかというと、GeForce 4 Ti 4600に関しては、ForceWare 52.16と同様、無印のみが異なる描画で、Build 330/340は同じ描画となる。しかし、GeForce FX 5600 Ultraでは、3種類ともまったく違った描画が行なわれており、その結果はForceWare 52.16のどのBuildでも一致しない。強いて言うならば、Detonator FX 45.23のBuild 330の結果が、ForceWare 52.13のBuild 340の結果と、似通っているだろうか(後方の茂みが微妙に異なるが)。

　一方の、RADEONはどうだろうか。バーテックスシェーダーについては、わずか0.1FPSの違いではあるが、Build 340でスコアが落ちている。誤差の少ないテストなだけに、RADEON 9600 XTでも、なんらかのチューニングが働いていると想像される成績になっている。

　さらにピクセルシェーダーのRADEON 9600 XTの結果も気に留めておきたい。バーテックスシェーダー同様にわずかの差ではあるものの、Build 340がもっとも低い成績になっている。

　ImageQualityテストの結果を見てみると、CATALYST 3.9はBuildごとでまったく異なる描画を見せている。

　パフォーマンスでは、RADEON 9600 XTのスコアはほとんど差がない結果となったが、描画の質を見る限りでは、RADEONでも3DMark03対策がとられていると想像するに難くない。たんにスコアへの影響が少ないだけと見るべきだろう。

　このように結果を見てくると、Build 340はBuild 330の結果に対し、

RADEON：パフォーマンス面での影響は少ないが描画品質は変化
GeForce FX：パフォーマンスが落ちるが描画品質に影響なし

という両極端な傾向を示すことが分かる。つまり、NVIDIAはDetonatorにおいて、画質を落としてでもスコアを稼いでいたが、それがForceWareにおいては、バーテックスシェーダの処理を画質が影響しない何らかの形で省くようになったと言わざるを得ない。

●3DMark03の存在意義に疑問

　では、Build 340が異なるハードウェア(例えばGeForce FX対RADEON)間の3D描画性能を正しく測定できるか、というと、YESとはいえない状況であるといわざるを得ない。

　3D描画性能が活かされる場面といえば、やはり3Dゲームなわけだが、最近のゲームはRADEONシリーズ、もしくはGeForce FXシリーズに最適化されることをウリにする製品も増えている。当然これらのゲームでは、3DMark03と異なる描画性能を見せるだろう。実際、こちらの記事でも、3DMark03とAquaMark3では、まったく異なる結果を示している。

　これだけ特定のビデオカードのドライバに最適化したゲーム(アプリケーション)、または逆にアプリケーションに対してビデオカードが最適化を施すといったものが登場する状況では、3DMark03 Build 340の結果は「3DMark03 Build 340における描画性能」としかいえないのである。

　ビデオカードのドライバが特定のアプリケーションに対して最適化するというのは、それによってユーザーが受ける恩恵もあるわけで、決して否定できる行為ではない。ただ、性能を示す指標を出す以外に目的のない3DMark03最適化という行為は、これを“不正”と表現するかはともかくとして、ユーザーが受ける恩恵がないわけだから意味のない行為だといえる。

　3DMarkシリーズはビデオカードの3D描画性能を示す指標として信頼され、広く利用されてきたが、現在の状況を鑑みると、3DMark03に関しては「3D描画性能を示す“1つの”指標」でしかないわけで、実用アプリケーションではない3DMark03の存在意義は以前ほど大きなものではないといえる。

　当然ながらすべてのアプリケーションが最適化されているわけではないが、それらも3DMark03と同じ描画エンジンでない以上、最適化されていないアプリケーションの性能を示すことにもならない。とりあえず現状で3D描画性能をチェックしようと思ったら、複数のベンチマークを測ることで傾向を見ていくしかないだろう。

□Futuremarkのホームページ(英文)
http://www.futuremark.com/
□3DMark03 Build 340ダウンロードページ(英文)
http://www.futuremark.com/download/?3dmark03.shtml
□3DMark03 Build 340アップデートパッチダウンロードページ(英文)
http://www.futuremark.com/download/?3dmark03patch340.shtml
□関連記事
【11月12日】米Futuremark、3Dベンチマークソフト「3DMark03」のBuild 340をリリース(窓の杜)
http://www.forest.impress.co.jp/article/2003/11/12/3dmark03build340.html
【10月24日】NVIDIA「GeForce FX 5950 Ultra」速攻ベンチマーク
http://pc.watch.impress.co.jp/docs/2003/1024/tawada02.htm
【6月3日】Futuremark、NVIDIAのドライバは不正ではなく最適化と態度を一転
http://pc.watch.impress.co.jp/docs/2003/0603/future.htm
【5月27日】【Hothot】NVIDIA GeForce FX 5900 Ultraの描画性能をチェックする
http://pc.watch.impress.co.jp/docs/2003/0527/hotrev215.htm
【4月21日】【海外】GeForce FXのパフォーマンス疑惑
http://pc.watch.impress.co.jp/docs/2003/0421/kaigai01.htm
【2月18日】【元麻布】3DMark03に異議を唱えるNVIDIA
http://pc.watch.impress.co.jp/docs/2003/0527/hotrev215.htm

□バックナンバー

(2003年12月3日)

[Text by 多和田新也]