Intel、TSX対応で約6倍に性能が向上した「Xeon E7 v3」

Xeon E7 v3のウェハとパッケージ

　Intelは、5月5日(現地時間)にミッションクリティカル/大規模サーバー向けCPUの最新製品「Xeon E7 v3」を発表した。Haswell-EXの開発コードネームで開発されてきた同製品は、最大18コアのCPUコアを内蔵しており、DDR4メモリをサポートし、サードパーティ製のチップセットと組み合わせることで、最大で8Way構成で利用できる。

　Xeon E7 v3の最大の特徴は、Haswell世代で導入した新しい命令セットIntel TSX(Transactional Synchronization Extensions)に対応した点。マルチスレッド命令を実行する時に発生するメモリロックを行なわず、複数のスレッドを投機的に処理し、メモリの書き換えが起こった時だけ、そのスレッドを破棄して処理をやり直す仕組みが導入される。

　TSXはHaswell世代で導入することが発表されていたが、クライアント向け製品(Coreプロセッサ)や従来のサーバー向け製品(Xeon E5-2600 v3など)では有効にされていなかった。Xeon E7 v3では初めて有効にされた。

　このTSX命令を有効にしたXeon E7 v3は、古いバージョンのソフトウェアとの組み合わせとなる前世代との比較で最大6倍の処理能力を実現するとしており、大規模サーバー環境でTSXをうまく活用することで、大きな性能向上を得ることができそうだ。

大規模データベースやミッションクリティカルに利用されるXeon E7

　Xeonには、コードネームの末尾につけられている2レターコードにより、以下の3種類に分類できる。

　エントリークラス向けとなるがXeon E3製品ファミリで、CPUソケットが1つのサーバー向けなどと位置付けられている。CPUソケットとCPUダイはクライアントPCで利用されるLGA1150がそのまま利用される。現在の最新製品は、Haswell-ENの開発コードネームが付けられたXeon E3 v3製品ファミリとなる。

　エントリーサーバーで、CPUソケットが2つ～4つのサーバーをターゲットにした製品が、-EPの製品ラインだ。EPのCPUソケットはLGA2011で、QPI(Quick Path Interconnect)バスでCPUを相互に接続できる。現在の最新製品は、昨年(2014年)の9月に発表されたXeon E5-2600 v3となる。

　そして最上位が、標準で4Way(CPUが4つ搭載できること)、サードパーティ製のチップセットで最大8Way構成に対応できる-EXが付けられた製品になる。-EXのCPUソケットは、EPと同じLGA2011で、やはりQPIで複数のCPUソケット間を接続できる。-EXは、ミッションクリティカル用途(従来は汎用機でカバーされていたような基幹業務向け用途)や大規模データベースなどの大規模サーバー向けとされている製品で、このEXの最新製品が、今回Intelから発表された開発コードネームHaswell-EXことXeon E7 v3となる。

Xeon E7 v3のパッケージ、従来と同じSocket R(LGA2011)になっている

Xeon E7 v3にはHaswell-EPのHCCと同じダイが採用されている

　Xeon E7 v3はのマイクロアーキテクチャは、クライアントPC向けのCPUである第4世代Coreプロセッサ(開発コードネーム:Haswell)と共通だ。従って、Ivy Bridge世代と比べて10%のIPC改善、L1/L2キャッシュの帯域幅の改善、統合型電圧変換器(IVR)などの特徴は同じだ。

Xeon E7 v3の概要、プラットフォームはv2と同じBricklandで、大きく変わったのはメモリ、RAS機能、QPIの転送速度など

　しかもダイそのものも、昨年の9月に発表されたHaswell-EPことXeon E5-2600 v3のHCC(一番CPUコアが大きな構成)と同じだ(ただし一部EPでは使われていなかった機能が有効にされている、RAS機能とTSX、メモリバッファがそれで後述する)。このため、CPUのコア数は最大18コア(HTテクノロジに対応しており36スレッド)、LLC(L3キャッシュ)もCPUコアあたり2.5MBで、最大で45MBといった仕様はまったく同様だ。前世代となるIvy Bridge-EXと、Ivy Bridge-EPでは最大のコア数が違っていたのと比べると、この点が大きな違いとなる。

Xeon E7 v3のダイ写真、昨年の9月に発表されたXeon E7-2600 v3と同じダイになっている

　Ivy Bridge世代では、EXが15コア、EPが12コアと明確に差別化されていた。しかし、今回のHaswell世代ではEXもEPも18コアと最大のコア数が同じだ。2世代前のSandy Bridge世代ではEX製品はスキップされているが、3世代前のWestmere世代で比較してみても、EXが10コア、EPが6コアだったので、今回ののコア数に違和感を感じる人も少なくないだろう。

　Westmere世代までは、EPとEXのダイは別系統のダイとして設計されていた。しかし、実はSandy Bridge以降は共通の基本設計を利用している(ただしSandy Bridge-EXはキャンセル)。つまり基本的な構造(リングバスやLLCキャッシュ、アンコア)を共有し、CPUコア数を増減するだけバリエーションを作成しているのだ。

　Ivy Bridge世代では15/12/10/6コアという4つのダイが作られ、15コアをEX用、12コア以下をEP用として割り当てていたが、Haswell世代では18/12/8コアの3つのダイに減り、18コアをEXとEP両方に割り当てているため、こうしたバリエーションになっている。

EXサーバーの世代

メモリバッファ、RASが利用できることを除けばXeon E5ｰ2600 v3のHCCと同じ機能

Xeon E7 v3のダイ構造、2つのホームエージェントがあり、リングバスが2つ(双方向)であるという構造も同じだ

DDR3/4両対応となり、8ソケットのシステムでは最大12TBまで実装可能に

　このように、今回のXeon E7 v3(Haswell-EX)には、Xeon E5-2600 v3(Haswell-EP)のHCCと同じ18コアのダイが採用されているが、コア数以外で差別化されているポイントが3つある。それがメモリ周り、RAS機能、そしてIntel TSXへの対応だ。

　Xeon E5-2600 v3では(一部の特別SKUを除き)DDR4メモリのみのサポートとなっていた。これに対して、Xeon E7 v3ではDDR3とDDR4の両方をサポートする。

　Xeon E5-2600 v3では、CPUに内蔵されているメモリコントローラにメモリが直接接続されるためDDR4のみのサポートとなっていたのだが、Xeon E7 v3ではメモリバッファ(開発コードネーム:Jordon Creek2)を介して接続し、そのバッファがライザーカードに実装されている形状になっているため、両対応できるのだ。サーバーメーカーは出荷時にDDR3用のライザーカードを挿せばDDR3対応として出荷できるし、DDR4用のライザーカードを挿せばDDR4対応として出荷できる。なお、Jordon Creek2にはC112/C114という2つの製品が用意されており、C112がチャネルあたり2DIMM、C114がチャネルあたり3DIMM対応となる。

Xeon E7 v3のメモリ構成。各バッファーに２つのメモリチャネルがあり、チャネルあたり3DIMMまで実装可能

ラックサーバーの手前側に用意されている、メモリライザーカード

　このメモリバッファとCPU間のバスであるIntel SMI(Scalable Memory Interconnect)の転送速度も向上されており、前世代となるXeon E7 v2(Ivy Bridge-EX)では2,667MT/秒だったのが、3,200MT/秒へと引き上げられている。なお、基本的にXeon E7 v3は、Xeon E7 v2とプラットフォーム(開発コードネームBrickland)を共有しており、マザーボード側が対応していれば(具体的には対応BIOSなどが必要)CPUを差し替えて利用できる。前述のようにメモリソケットもライザーカード型式で提供されていることが多いので、DDR3からDDR4へとライザーカードを交換して利用することも“技術的には”可能だ(OEMメーカーがそういうオプションを提供するかはまた別問題)。

　メモリにはパフォーマンスモード、ロックステップモードという2つのモードが用意されている。パフォーマンスモードでは、SMI(CPU-メモリバッファ間のバス)とDDRメモリのクロック周波数の比率が2:1になるのに対して、ロックステップモードでは1:1になるという違いがある。パフォーマンスモードは性能重視時に設定し、ロックステップモードは信頼性重視の時に選択するモードになる。それぞれのモードでのDRAM側の動作周波数が異なってきており、具体的には以下のようになっている。

　DDR4でLRDIMMを利用すると、DIMMあたりの最大容量が64GBになる。1つのメモリバッファあたりに3DIMM×２チャネル構成で、1つのCPUソケットに対してメモリバッファを4つ接続できるので、合計で24個のDIMMを接続できる計算になるので、64GBのLRDIMMを使った場合には1つのCPUに対して1,536GBのメモリを実装できる計算になる。これにより4ソケットのシステムでは最大6TB、8ソケットのシステムでは最大12TBのメモリを実装可能だ。

Itaniumの機能を受け継いだRAS機能を搭載

　2つ目の違いは「Intel Run Sure Technology」と呼ばれるRAS(Reliability Availability Serviceability、信頼性/可用性/保守性)機能が搭載されていることだ。RAS機能とは、その名の通り、企業内のサーバーの信頼性、可用性、保守性を高める機能で、一言で言ってしまえばサーバーがハードウェアのトラブルでダウンしないように冗長化する機能のことを指している。前世代となるXeon E7 v2(Ivy Bridge-EX)においてもサポートされていた機能で、今回のXeon E7 v3ではそれに加えてエンハンスドMCA Gen.2、アドレス・レンジ・メモリ・ミラーリング、複数のランク。スペアリング、DDR4コマンド/アドレス・パリティ・エラー・リカバリーなどの機能が追加されている

RAS機能であるIntel Run Sure Technologyが拡張されている

　エンハンスドMCA Gen.2は前世代のXeon E7 v2に搭載されていたエンハンスドMCAに、ファームウェアベースのエラー処理を拡張し、すべてエラーでファーウェアによる処理をできるように拡張している。具体的には訂正可能なエラー、訂正不可能なエラーの両方をファームウェアでインターセプトし、その後OSにエラーが通知されるようになっている。これにより、ファームウェアが検知しているハードウェア構成情報に基づいて、よりインテリジェントにOSに情報を上げることができ、結果的にリカバリ可能なイベント数が増えることになる。Intelによれば、この機能は元々Itaniumプロセッサのファームウェアで採用されていた機能で、それがXeon E7にも実装されたことになる。

エンハンスドMCA Gen.2は、ファームウェアの関与する範囲を広げてより効率の良いエラー通知が可能

　アドレス・レンジ・メモリー・ミラーリングは、メモリの一部分だけをミラーリングする方式だ。Xeon E7では、メモリのミラーリング機能があり、一部分のメモリモジュールがトラブルを起こしても、ミラーリングされている別のメモリモジュールを利用してシステムを稼働させ続けられる。しかし、常に全ての領域をミラーリングさせていると、メモリのうち半分しか使えないことになり、性能へのインパクトが大きい。そこで、Xeon E7 v3ではメモリのあるアドレス部分、具体的にはOSカーネルなどシステムを稼働し続けるのに必要な部分だけをミラーリングし、アプリケーションはしないという設定が可能になっている。

アドレス・レンジ・メモリー・ミラーリングはメモリの一部分だけをミラーリングできる

　複数のランク・スペアリングは、同じメモリコントローラにある別のDIMM上にあるスペアランクに対して動的に切り替える仕組みを提供する機能だ。DIMMのランクとは、メモリコントローラがDIMM上のDRAMからデータを入出力する単位のことで、あるランクに障害が発生した時に別のランクに切り替えるスペア機能が提供されているのだが、従来は同じメモリバッファ内のスペアランクのみにスペアされていたのものが、同じメモリコントローラに接続されている別メモリバッファのスペアランクにスペアできるようになった。これにより障害が発生したDIMMをすぐに交換しなくても使い続けられることになる。

複数のランク・スペアリングは、ランクスペアリングの対象を同じメモリコントローラ上の他のメモリバッファのDIMMのランクにも拡張

　DDR4コマンド/アドレス・パリティ・エラー・リカバリーは、DDR4メモリを利用している時に、コマンド/アドレス送信時にパリティエラーが発生した場合にリカバリする機能だ。従来までのDDR3であれば、パリティエラーが発生した場合にはリカバリできなかったのだが、DDR4ではそれが可能になる。これによりシステムクラッシュを引き起こすようなメモリエラーの発生頻度を減少させることができる。

DDR4コマンド/アドレス・パリティ・エラー・リカバリーは、DDR4でのパリティエラーからのリカバリーが可能に

SAP HANA SP9＋TSXを利用することで、前世代に比べて最大で6倍の処理能力向上を実現

　そして、Xeon E7 v3の最大の特徴が、Intel TSXに対応していることだ。TSX(Transactional Synchronization Extensions)は、CPUが複数のスレッドを並列して処理する場合に頻発するロック処理をより柔軟に処理する仕組みのことだ。

　CPUが複数のスレッドを並列して処理する場合、問題になるのは同時に処理しているスレッドのデータが相関関係にある場合だ。例えば、1つ目のスレッドと2つ目のスレッドで同じデータを処理していることがある。この場合、1つ目のスレッドの実行が終わるまで、2つ目のスレッドを実行しても意味が無いため、IAではロックと呼ばれるデータを保護する処理が行なわれる。ロックされたデータを処理するほかのスレッドは、ロックしたスレッドの処理が終わるまで実行が待たされることになる。しかし、どのスレッドのデータがほかのスレッドに影響しているかは実行が終わってみないと分からないので、不必要にロックされて、結果スレッドの並列実行効率が低下してしまうことがある。

　そこでTSXでは、2つの方式でロック動作を行なわず、スレッドを並列して実行する。そして処理が行なわれた後で、ロックなしでは実行できなかったと分かった場合には、実行したスレッドを破棄して再度処理をやり直す。これにより、スレッドの実行効率を向上させ、トータルでの性能を向上させる。

　TSXにはHLE(Hardware Lock Elision)とRTM(Restricted Transactional Memory)という2つの方式が用意されており、前者はレガシーの命令プリフィックス(XACQUIREおよびXRELEASE)を利用し、後者はTSXで追加された新しい命令プリフィックス(XBEGIN、XEND、XABORT)を利用する。

Xeon E7 v3では初めてTSXの機能が有効にされている

　このTSXは、Haswell世代のほかの製品(クライアントおよびENのHaswell、Haswell-EP)ではマイクロコードレベルで無効にされており、Broadwellでもクライアント向け製品ではまだ有効にされていない。従って現状ではTSXが利用できるのは今回のXeon E7 v3が初めてとなる。なお、Intelによれば、現時点ではTSXをほかのHaswell世代CPU(例えばXeon E5-2600 v3など)で有効にする予定は今のところないという。

　このTSXを有効にした場合の効果は非常に大きい。Intelによれば、Xeon E7-4890 v2(15コア、2.8GHz)にSAP HANA SP8というインメモリ処理ソフトウェアを利用している環境と、TSX対応が追加されたSAP HANA SP9とXeon E7-8890 v3(18コア、2.5GHz)との比較では、最大で6倍のトランザクション処理が実現可能になるという。ただし、この中にはCPUの性能向上分(前世代に比べて1.5倍)、HANA SP9自体の性能向上分(1.8倍)が含まれており、TSXだけの性能向上分を見ると2.2倍という説明だった。それらを総合すると、全体で6倍の性能向上が実現されるという。

　HLEを使うにせよ、RTMを使うにせよ、ソフトウェア側の対応が必須になる。既にIntelはISVに対してのサポートを開始しており、SAPのHANA SP9はその1例となる。Intelによれば、SAPはHANAへのTSXの実装を3カ月程度で行なうことが可能だったという。HANAへの実装は、プログラマによりマニュアルで行なわれたそうだが、Intelが提供するさまざまな開発ツール(Vtuneなど)を利用することで開発期間はもっと短くすることが可能になるのことだ。

SAPのHANA SP9にするだけで1.8倍のトランザクション処理が可能になり、Xeon E7-4890 v2からXeon E7-8890 v3へとすることで2.7倍のさらなるトランザクショﾝが実現される。さらにTSXを利用することで最大で6倍の性能向上が実現される

HANA SP9でのTSXでの対応はSAPのプログラマーがマニュアルでコードを書いたため3カ月かかったが、ほかのソフトウェアでは1カ月程度。Vtuneなどのツールを利用すると、より簡単にTSX対応を実現できる

IBMのPOWER8と比較してコストパフォーマンスが10倍、TCOが85%削減とアピール

　今回発表されたXeon E7 v3(Haswell-EX)と、従来製品となるXeon E7 v2(Ivy Bridge-EX)の主な違いをまとめたのが以下の表5になる。

　なお、Xeon E7 v3になってTDPが10Wほど上がっているが、これは電圧変換器(Voltage Regulator)がCPU側に統合されているため。しかし、その分マザーボード側の電力が減っているので、トータルでは電力が増えているわけではない。

　CPUソケットは、従来のXeon E7 v2と同じSocket R1(LGA2011)となっており、ピン互換になっている。チップセットもXeon E7 v2と同じチップセットが利用可能で、マザーボード側がサポートしていれば(つまりBIOSがXeon E7 v3対応になっていれば)、CPUだけを交換してアップグレードすることも可能だ(ただしできるかどうかはOEMメーカー次第)。

　なお、今回の記事では紹介していないが、COD(Cluster On Die)という新しいキャッシュスヌープ、VMCSシャドーイングやEPT A/DサポートなどのVT-xの新機能、コア毎のPステート機能などのHaswell世代での機能向上は、基本的にXeon E5-2600 v3と同等になっている。これらの詳細に関しては、Xeon E5-2600 v3の記事をご参照頂きたい。

　Xeon E7 v3には以下のようなSKUが用意されている。

　SKUには標準SKUと特定用途SKUが用意されており、アドバンスド(高性能向け)、スタンダード(標準向け)、ベーシック(廉価版)の3つのセグメントの製品が用意されている。アドバンスドが8ソケットまでサポートになり、スタンダードとベーシックは4ソケットまでとなる。前世代では30近いSKUがあったことを考えるとシンプルに整理されたと言って良い。ただし、Intelでは特定カスタマー向けのSKUを提供することを既に始めており、大規模のカスタマー向けにカスタムSKUを提供することもあると説明している。

　また、アドバンスドSKUとスタンダードSKUではTurbo Boostの機能が提供されるが、各SKUの途中の周波数ビンは以下のようになっている。

　Xeon E7 v3でも、Xeon E5-2600 v3で導入されたAVXベース周波数の考え方が投入されており、AVX命令実行時には一時的にクロック周波数を下げ、サーマルスロットリングが起きにくくするスキームが採用されている。

　Intelは発表と同時に各種アプリケーションにおけるベンチマーク結果を公表している。Intelによれば平均的な性能向上率は1.4倍になっており、特にSAP HANA SP9でTSXを利用した場合は、実に6倍という印象的な処理能力の向上を実現している。

SPECrate2006のスコア(推定値、SPECの正式な数値は後日発表される予定)は前世代(Xeon E7 v2)に比べて16%の向上

SPECcpu2006のスコア(推定値、SPECの正式な数値は後日発表される予定)は前世代(Xeon E7 v2)に比べて6～9%の向上

前世代(Xeon E7-4890 v2)とXeon E7-8890 v3との比較数値。SAP HANA SP9では6倍が一番目立つが、平均すると1.4倍の性能向上を実現

　IBM POWER8ベースのサーバーと比較して、価格当たりの性能(コストパフォーマンス)が10倍に達しており、TCOは85%低いと説明している。コスト面でのメリットが高いとアピールし、大企業で基幹サーバーなどに使われているPOWERベースのサーバーからIAへの乗り換えを促していきたい意向だ。

POWER8と性能では概ね同じで、コストパフォーマンスは10倍(つまり価格は10分の1)で、TCOも85%低いとIntelは主張