2010年05月26日

TSUBAME2.0(2.4Pflops) NEC+HP連合が落札

http://www.gsic.titech.ac.jp/node/313

 2010年5月25日 東工大のTSUBAME2.0(理論性能2.4Pflops)は、NECとHPの企業連合が落札した。稼動は今年2010年の11月とのこと。
 東工大の松岡氏のTwitterによれば、落札額は本体が4年で約31億円、付帯工事、電気代、SE費用等を含めると4年で総額約40億円弱だそうである。
 近々、詳細が発表されると思われるが、概略速報は以下のとおり。

・ システム全体のイメージは東工大の例のTSUBAME”ごった煮”的システムの延長。

・ いわゆる本体と考えられる部分は、IntelのWestmere EPとNehalem EXで、その合計が約2900ソケット、コア数にすると約17,000コア。クロックは不明であるが、概ねこの本体部分の理論性能は、計算してみると、概ね200Tflops程度と考えられる。
・ InterconnectはVoltair社のQDR Infinibandで、TopologyはFull Bisectionで200Tera-bps。
・ メモリの詳細は不明。
・ StorageはSSDとHDDのHybridで、転送速度は0.66TeraByte.

・ これに約4200枚のNVIDIA Tesla(Fermi core) GPGPUが付き、その演算コア(CUDA core)数は約188万コア。

・ 設置面積は200平米程度

・ OSはLinuxとMS Windows HPCの両立、+仮想マシン・クラウド技術 


 理論性能は2.4Pflopsと書かれているが、TSUBAME1.XのClearSpeedの場合からも明らかなように、実行性能との落差が激しすぎ、多分、Linpackでは半分の1.2Pflops出れば上出来のような気がする。
 そもそもアクセラレータとかGPGPUなどを使った場合の理論性能の計算方法は、従来のIn-Core演算器用方式の単純な加算では表せないためで、工夫が必要であろう。

 価格的には”200Tflops機+GPGPU”で40億円程度との事なので、Intelを使った理研の100Tflops機(36億円)や原研の200Tflops機(60億円?)などの国内メーカーのシステムに比べると、かなり割安であることは確かであろう。
 しかし1週間ほど前の5月20日にCrayのXT6/BakerのPetaflops機が$47M(約42億円¥$90)でNOAAに納入が決まったとの発表があり、このNOAAのシステムと値段的には大きな差は無いようなので、TSUBAME2.0がLinpackもHPCC4項目もXT6を上回る性能を発揮すれば、同一Coreで統一するシステムが良いか、複数CoreでさらにGPGPUを加えた複雑なシステムが良いか、は大いに議論を呼ぶ事になるであろう。

 ところで、日本でのシステム価格が米国でのシステム価格と同レベルという事は、殆ど「椿事」といってよいほどの出来事で、筆者としては、色々疑問もあるが、とにかく、TSUBAME2.0には、当初計画してる性能を発揮してほしいし、頑張ってもらいたい。

と同時に、京速はどうしたらよいのか、真面目に、再仕分けすべきなのではないかと思う。

  

Posted by petaflops at 00:19Comments(0)TrackBack(0) スパコン 04 

2010年05月05日

CrayのXT6/Baker (続報)

  CrayのXT6に関しては、2010年4月21日に、Korea気象庁やフィンランド気象庁、米国内各所などのほかにも、Brazilの国立宇宙研究所(National Institute for Space ResearchINPEへの納品契約が決まったと、Cray社が発表している

 INPEは、宇宙・環境科学、気象予報、気象研究、地球観測、などといった分野の研究所である。どうやら世界の気象関係の研究所も米国内のORNLやNOAAなどの導入動向をにらみながら、CrayのXTにシフトしだしたように見える。というより、スパコン全般の流れが、再び、Crayに向いてきているということなのかもしれない。
  


 今回のBrazilのXT6は、2010年末までの設置、244Tflopsで、$20M(18億8千万円、¥$94)である。単価は$82K/Tflops(約770万円)という事になり、米国内での1Peta機の場合の$45K/Tflopsの約1.8倍であり、Korea気象庁の0.6Peta機の場合の$67K/Tflopsの1.2倍といったところである。
 まあ、サイズの違い(1.0P vs 0.6P vs 0.24P)や中間業者介在の有無などの要素があり、こんなものかも知れない。


 
 さて、前稿のBakerであるが、構造的にはInterconnectを除いてXT6と同じと考えられており、性能的には、XT6もBakerも、1ラックに192CPU(12コアx192)を収容し、クロックを2.2Ghzないしは2.3Ghzを想定すると、ラック当り概ね20Tflopsを実現する。

 このXT6のラック当り20Tflopsという性能は、XT5や富士通のSPARC64-Ⅷfxなどが約12Tflopsであるので、その1.67倍である。

 現在世界最速のORNLのJaguarはXT5であるが、このXT5の筐体を単純にXT6で置き換えるだけで、ラック数はそのままで、およそ理論性能で4Pflops、実行性能で3Pflopsの機械が出現する。

 

 文科省の次世代スパコンを考えると、理論値での10Pflopsベースででも最低で840台程度は必要とされているので、SPARC64-Ⅷfxの筐体をXT6で置き換えるだけで、総ラック数は、概ね500台程度に収まる事になり、かなりの設置面積の縮減になる。

 Chip性能的には、SPARC64-Ⅷfxは、2010年で、既にPower7ベースのBlue Watersに大幅に劣っていることは明らかになっているが、上述のとおりラック性能の観点からも、Power7に限らず、CrayのXT6にもかなり差をつけられてしまっているのである。

 さらに2012年になると、LLNLが発注中のBlue Gene後継の20Pflops機Sequoiaや、GPGPUを使ったORNLのJaguar follow-onなどが予定されており、さらには、IntelのSandy_bridgeのようなAVX機能搭載CPUも出荷されるので、差はさらに広がってしまうものと思える。


 価格的にも、次世代スパコン(SPARC64-Ⅷfx)は建物を除き概算1000億円で10Pflops であるので、2010年時点で既にXT6/Baker系の2倍強ということになり、次世代が完成する2012年時点での価格差は、SequoiaやGPGPUのHybrid機、さらにはAVX搭載機などの出現により、3~4倍程度にまで広がってしまうような気がするのである。


 他方、SPARC64ではなく、IntelやAMDのCPUを使用したスパコンにおいても、前述のとおり国内メーカーの製品は、前稿での東北大や理研、原研に導入された例からも、単価的には概ね3000万円/Tflops前後と推定されるので、とてもCrayなどの海外メーカーと国際競争できるレベルではない。


 要するに、日本のメーカーのスパコンに関する実力は、国産CPUを使うにしろ、IntelやAMDのCPUを使うにしろ、最早、性能的にも、価格的にも、国際市場では全く競争力がなく、国際市場でビジネスを展開するだけの力は無いといってよい状態なのである。

 


*************
 コメント
*************

コメント#2
投稿者  : 能澤徹

k4.fujitsu.co.jpの「ぷぷぷ」さん、コメント#1ありがとうございます。
 
 「どこかに逃げては」との厳しいご指摘ではございますが、
特に当方が夜「逃げ」せねばならないほどの理由はさらさらなく、
通常の移転に過ぎません。
したがって、1ヶ月の移行期間を儲け、細々とではございますが、
CNETの読者の皆様には告知を申し上げております。

 コメント#1の内容からして、「憶測で事実を無理やり捩じ曲げる」という
やり方は「ぷぷぷ」さんの「得意技」のようではございますが、
これほど単純な話をこのように曲解なさるということは、
何かご意図があっての情報活動のようにもお見受けされかねませんね。

 話は変わりますが、k4.fujitsu.co.jpというサーバーは
もしかすると、日本を代表するIT企業の一つであられます
かの「富士通様」がお使いになっていらっしゃるサーバーなんで
ございましょうか?
という事は、ひょっとして、「ぷぷぷ」さんは、「富士通様」のご家臣様で
いらっしゃるのでしょうか?
 もし「ご家臣様」であられますなら、存じ上げぬものとは申せ、
大変御無礼を申し上げました。
 「ぷぷぷ」様の事実曲解の背景が判明致したようにも思えます。

能澤
*2010-5-25 16:39



コメント#1 
投稿者  : ぷぷぷ
ホスト名 : k4.fujitsu.co.jp


どこかに逃げては、また同じように批判
しかも憶測と事実を混同して批判はするけど
解決策の提示はない


これだから…

*2010-05-25 09:19:51

  
Posted by petaflops at 18:15Comments(2)TrackBack(0) スパコン 04 

2010年05月03日

スパコン漫遊日記 2008-2009 CNET掲載分 目次(2)

パコン

(03)

 中国の1.2Pflopsのスパコン天河

 Korea気象庁 2010年にCray600Tflops機を導入

 次世代スパコンからのNECの撤退(2/2)<次世代スパコンの行方>&<国家技術戦略への影響>

 次世代スパコンからのNECの撤退(1/2)<ベクタ機SXシリーズの行方>

 北陸先端大のCRAY XT52/2)<税金の価値>&<為替レートと産業空洞化>

 北陸先端大のCRAY XT51/2

 T2K(筑波、東大、京大)のLinpack実行性能

 地球シミュレータ後継機



スパコン仕分

 次世代スパコン、ヴェクタ部の開発費は国庫へ戻すべし

 次世代スパコン、政治判断での「推進」は軽率

 国家機密「次世代スパコン」

 ノーベル賞受賞者等の緊急声明もお門違い

 計算基礎科学コンソーシアムの声明はお門違い

 次世代スパコン、開発の凍結・見直し

 

GRAPE-DR

 GRAPE-DRは失敗作、税金15億円は無駄金

 GRAPE-DRはスパコンではないらしい!(3/3<コメント欄>

 GRAPE-DRはスパコンではないらしい!(2/3)

 GRAPE-DRはスパコンではないらしい!(1/3)

 GRAPE-DRの性能(その2)(2/2)GRAPE-DRチップの公表ピーク性能の変遷>

 GRAPE-DRの性能(その2)(1/2

 Grape-DRの性能

 

TOP500 Report

 スパコンTop500 2009-11、国別シェア

 スパコンTop500 2009-06、国別シェア

 世界のスパコンTop500 2008-06(国別)

 世界のスパコンTop500 2008-06Top10/日本のスパコン)

 Top500: 日本のスパコン能力

 スパコンTop500 2007-11

 

 Bill Gatesの引退に関連して

 雲を掴め 富士通・IBM秘密交渉(2/2)<参考:S/360関連メモ>

 雲を掴め 富士通・IBM秘密交渉(1/2)

 

時々の話題

 帝国海軍と霞ヶ関

 

  
Posted by petaflops at 08:23Comments(0)TrackBack(0) 目次 

スパコン漫遊日記 2007-2008 CNET掲載分 目次(1)

スパコン

(02)

 再び、ベクタ・プロセッサは必要か?

 次世代スーパーコンピュータは国家機密 ? (2/2)

 次世代スーパーコンピュータは国家機密 ? (1/2) <次世代スパコンの問題点>

 T2K(筑波、東大、京大)とJAXAのスパコン(2/2) <JAXA

 T2K(筑波、東大、京大)とJAXAのスパコン(1/2) <T2K

 地球シミュレータと阪大のSX-9

 地球シミュレータのリプレース

 2007年度のゴードン・ベル賞とHPCC

 地球シミュレータ停止報道の余波

 Crayの次世代スパコン

 NEC SX-9

 ガートナー・ジャパンの次世代スパコン再点検提唱について

 スパコンの内外価格差、性能格差

 GRAPE-DRと次世代スパコン

 次世代スパコンは2010年に10PFを達成できるのか?

(01)

 日本のスパコン戦略はボロボロ(2) <地球シミュレータは失敗作> 

 日本のスパコン戦略はボロボロ

 米国のスパコン戦略 <マルチコア、メニーコア、TSV

 日々雑感(2/2) <スカラ型とベクトル型を両輪に、理研の説明>&<綜合科学技術会議 評価専  門調査会(第67回)議事次第 平成19年8月6日(月)>

 日々雑感(1/2)<米大統領、「America Competes Act」法に署名--科学技術競争力の維持を支援>&NSF (全米科学財団)>

 Blue Gene/Lの値下げセール

 次世代日の丸スパコン(5) <米国のスパコン戦略>と<スパコン・デバイド>

 次世代日の丸スパコン(4) <ブルージーンと湯川中間子論

 次世代日の丸スパコン(3) <日本のスパコン>

 次世代日の丸スパコン(2) ベクタープロセッサーは必要か?

 次世代日の丸スパコンは大丈夫か? 1-5 <米国のスパコン計画>

 次世代日の丸スパコンは大丈夫か? 1-4 <主要スパコンの状況と今後の見通し>

 次世代日の丸スパコンは大丈夫か? 1-3 <スパコンの現状、20076月のTOP500

 次世代日の丸スパコンは大丈夫か? 1-2 <10ペタフロップの世界>

 次世代日の丸スパコンは大丈夫か? 1-1

 

  
Posted by petaflops at 08:14Comments(0)TrackBack(0) 目次 

2010年05月02日

東北大のNEC Express5800 と CrayのBaker

<東北大のExpress5800>

 2010年4月9日、NECはIntelのXeon7520を使用したExpress5800/A1080aサーバーの発表を行い、その中で、Express5800/A1080a-D6ノード、東北大サイバーサイエンスセンターCSCに先行納入したと発表した(一般出荷は5月10日から)。 
 Express5800/A1080a-Dはノードとして7UのdrawerにIntelのXeon 7520(8コア)を4CPU組み込んだHPC用サーバーで、クロックは2.26Ghzで、ノード当りの演算性能は289Gflopsである。従って、今回の東北大CSCの6ノードはTotal 1.735Tflopsの機械ということになる。

 この発表は2つの点で興味深かった。1つ目は、NECの昨年5月の「次世代スパコン」という国プロ撤退後の久々のスパコン納入の発表であったということと、2つ目は、NECの地割である東北大においても、Vector機の撤退を見越したスカラ機の試行導入が始まったらしいということ、の以上2点である。
 

 今回のNECの発表はExpress5800の発表がメインであったため、東北大CSCへの納入の全体像に関しては若干誤解を招きやすい発表になっていた。
 というのは、実際には東北大CSCこのExpress58001.7Tflopsのほかに、VectorSX-92ノード(3.2Tflops)調達している
 文科省の調達情報によるとリース月額はExpress5800 6ノードと、SX-9 2ノードの合計で月額1550.8万円、リース期間は3年となっている。リース料を割り引いた買取推定額は約5億円である。
 従って、Express5800とSX-9を合算して考えた場合、Total 4.9Tflopsなので、Tflops単価は約1億円/Tflopsという事になる。

 一方、NECの発表では、Express5800/A1080a-Dの最小構成は(CPU+4GB)x2で2,569,000円となっている。東北大のノードは(CPU+128GB)x4で、CPU数は2倍、メモリ量も32倍に増強されているので、インターコネクト込みでの価格を、最小構成の約2倍の500万円と想定すると、東北大の1ノードは1千万円程度と考えられ、6ノードで6千万円という事になり、単価は3458万円/Tflops程度と推定される。

 となると、SX-9(3.2Tflops)の価格は約4億4千万円という事になり、SX-9の単価はおよそ1億3750万円/Tflops程度と推定され、これは2年前の16ノード(25.6Tflops)導入時の約2億円/Tflopsからは安めに設定されている事になるが、2008年のES2の場合の推定11500/Tflopsからは若干高めという事になる。これはExpress5800の推定価格を元にしたものであるが、逆に、ES2の推定価格(1億1500万円)を元に推定すると、Express5800の推定単価は7千万円/Tflopsを超えることになり、後述のT2Kより高くなってしまうので、常識的には、前の推定の3458万円/Tflops程度との方が理解しやすい。

 因みに、他の国内メーカーによるIntelやAMDのCPUを使用したスパコンも、NECのExpress5800と五十歩百歩である。若干古いがT2Kに関しては拙稿「T2K(筑波、東大、京大)とJAXAのスパコン(1/2) <T2K」に記述してあるが、日立も富士通も概ね5000万円/Tflops弱程度であった。
 昨年に導入された例としては、理研や原研がある。どちらも富士通のPrimergyというIntel Xeonを使用したスパコンであるが、理研のRICCは108Tflopsでおよそ36億円といわれているので、単価はおよそ3333万円/Tflopsであり、原研の場合は、Primergyが200Tflops、FX1が12Tflops、SPARC Enterprise M9000が1.92Tflopsという構成で合計214Tflopsでおよそ60億円といわれているので、単価は概ね2804万円/Tflopsという事になる。

 従って、国内メーカーがXeonやOpteronでスパコンを組むと、2009年ベースで、単価は2800万円/Tflops~3500万円/Tflopsといったところと推定される。この単価では、とてもCrayなどの海外メーカーの国際価格には太刀打ち出来ない。


 まあ何れにせよ、今回も以前と同様、東北大の導入価格は「極めて高い」としかいいようがない。業者にしてみれば「高くしても買ってくれるのだから」ということであろう。責任は調達側にあることは自明である。そろそろ何らかの規制を考えるべき時期のような気がしている。

 

<CrayのBaker>

 2010年4月1日、Crayエネルギー省のNNASからPetaflops機(Cielo2H/201045Mで設置する契約を受注したと発表した。これはその3日前の329AMDOpteron6000シリーズ(upto12コア)の正式発表正式発表があり、一応12コア版が使えることになったのと若干関連があるかも知れない。4コア版のときはOpteronは出荷遅延でかなり問題を起こしたが、今回は大丈夫のようである。

 このNNSA/DoEのCieloはCrayDARPAHPCSBidした“Cascade”のうちのBaker”であるといわれている。BakerとXT6/XT6m(2009年11月に発表)との違いは、InterconnectがXT6系はSeastar2+であるがBakerはGeminiとなっている点ぐらいではないかと思う。
 Cascadeの契約に関しては2010年年初に、DARPACrayの間で支払額の減額という悶着が発覚した案件で、所謂Cray”Adaptive Computingが上手くいっていないことに起因するものであったようである。

 その後の2010224日にDARPAの上部機関であるDoD(国防省)は改めてBaker$45Mで配下の3門のために、まとめて調達ことにしたようで、これは筆者の目には、契約内容の筋を通し、契約変更による減額を求める一方で、年商300億円程度の中小ヴェンチャー企業であるCrayの倒産を誘発しないようにするための、DoDの苦肉のRecovery Shotのようにも見受けられる。
 違約に対し契約額の減額を要求はするが、これとは別に、市販の適正な価格で、市販品として商品価値のある同社の別の商品を納品させる、というあたりは、見習う必要があるのではないかと思う。

 さて、NNSA/DoE(エネ省)が調達したCieloはLANL(Los Alamos Lab)に設置され、エネ省のNNSA(核安全保障局)の御三家(LLNL,LANL,SNL)が使用するとの事である。
 NNSA傘下には、既にLANLに1Peta機Roadrunnerがあり、LLNL(Livermore研)にも0.5PetaのBlue Geneや、0.1PetaのPurpleなどがあり、また、SNL(Sandia Lab)にはXT3/XT4/XT5/XT6の元になったRed Storm がある。Red Stormは、当初はXT3で40Tflops(Peak)であったが、現在が284Tflops(Peak)に増強されている。
 また3Labsには、それぞれにCapacity MachineとしてのAppro社のXtreamを設置しており、さらにLLNLでは2012年に稼動予定のBlue Gene後継の20Peta機SequoiaをIBMに発注中である。

 こうしてみると、今回の1Peta機Cieloは、癖の強いRoadrunnerの補完ないしは置き換え、つまりプログラムの互換性を考え「普通のアーキテクチャーでの計算力の増強」を目的としたスパコンなのではないかと考えるのが妥当のような気がする。

 価格は1Pflops超で$45M(\$94で42億円程度)との事なので、単価は420万円/Tflop以下となり、昨年9月のKorea気象庁のCray機(多分XT6で、600Tflops$40Mより、さらに4割近く安くなっている。導入時期はどちらも2H/2010で同じであるので、Koreaでの代理店等の経費を含む輸出入コストを考えると、米国内との価格差はこんなものかも知れない。まあとにかく2010年4月現在で、日本以外の世界ではスパコンのTflops単価は日本円で概ね400-500万円程度という辺りにまで下がって来ているということである。

 
東北大の箇所で述べた国内メーカーの単価を考えると、ため息が出てしまう。

 

  
Posted by petaflops at 21:37Comments(0)TrackBack(0) スパコン 04