なぜベンチャー企業がGreen500で2位となるスパコンを開発できたのか?

　

　2015年2月20日に大阪で開催されたPCクラスタコンソーシアムの「PCクラスタワークショップin大阪2015」において、PEZY Computingの齊藤元章社長が「民間ベンチャー企業による、小規模スーパーコンピュータ開発の取組み」と題した特別講演を行った。

　PCクラスタワークショップin大阪2015において、特別講演を行うPEZY Computingの齊藤元章社長

　齊藤社長は、PEZY Computingの社長であるだけでなく、2014年11月のTop500で369位にランクインし、Green500では2位に輝いた高エネルギー加速器研究機構(KEK)の「Suiren(睡蓮)」スパコンを開発したExaScaler社、高性能の3D積層メモリを開発するUltraMemory社の創業者でもあり、PEZYグループの開発をけん引する立役者である。

　PEZYはPEZY-SCチップの開発からボードの開発を行い、ExaScalerは液浸冷却技術の開発とスパコンシステムの開発、そして、UltraMemoryは極薄チップのDRAMの3次元積層や、磁界結合による3次元積層技術を開発し、超広帯域のDRAMの開発を行うという分担である。睡蓮に使われた「ExaScalar 1」では、PEZY-SCチップに接続するDRAMはエルピーダメモリ(現在はMicron)製のTSVを使って積層したDDR3メモリが使われたが、次世代の「PEZY-SC2に」は、このUltraMemoryの超広帯域DRAMを使う計画である。

　PEZYグループはPEZY Computing、ExaScaler、UltraMemoryという3つの会社からなっている。しかし、PEZYは11名、ExaScalerは9名、UltraMemoryは26名と合計しても46名と少数精鋭である

　PEZYは、突然、彗星のように現れたという印象であるが、実は齊藤社長、米国でTeraReconというCTやMRIの医療用画像処理装置を開発、製造する会社を立ち上げ、1997年から2008年までの11年間に11種の画像処理用のプロセサを開発したという実績を持っている。TeraRecon社の画像処理装置は全米の主要病院の過半数で採用された実績があるという。

　齊藤社長は、その後、開発の拠点を日本に移し、2010年にPEZY Computingを立ち上げた。PEZYが開発するプロセサは、画像処理などのアプリケーション向けの高並列のプロセサであり、シングルスレッドを高速に実行するXeonなどのプロセサとは異なり、ある意味、GPUに近いプロセサである。このため、次の図に見られるように、産業用の画像処理や信号処理、スパコンのアクセラレータとしての高並列処理、医療用の画像処理などを主要な用途として想定している。

　PEZYが同社のプロセサの用途として想定するアプリケーション

　2010年にPEZY Computingを創業し、最初に開発したのが、2012年に完成した512コアのPEZY-1である。

　 PEZYの最初の製品であるPEZY-1ボード

　通常の診断用の3次元CT装置では512×512×512の3次元データの処理が限界で、1mm程度の解像度しか得られないが、PEZY-1を使うと局所では2K×2K×2Kのデータが処理でき、50μmの解像度が実現できる。また、ノイズ低減処理を組み込むことで、1/4のX線量で同等の品質の画像を得ることができ、被ばく量を減らすことができるという。

　また、小型で消費電力も小さいことから、大手メーカーのポータブル超音波装置に採用されている。ポータブルで、電池駆動であるが、病院で使われるカートに載せて移動する大型の装置と同等の能力を持たせることができるという。

　引き続いて開発を行ったのが、第2世代のPEZY-SCである。

　PEZY-1とPEZY-SCの仕様

　PEZY-1は40nmプロセスで512コアであったが、PEZY-SCは28nmプロセスを使い1024コアを集積している。そしてクロックも533MHzから733MHzに引き上げ、倍精度浮動小数点演算でピーク1.5TFlopsとハイエンドGPUクラスの性能を実現している。

　デュアルPEZY-SCボード。右側の2個のチップがPEZY-SCで、左はPCIeスイッチチップ。PEZY-SCの両側の各4個(裏にもあり、合計16個)のチップが3D積層の2GB DDR3 DRAM。上に並んでいるのは電源用のDC-DC。左側にあるコネクタでドータボードに搭載した2個のPEZY-SCを増設できる設計になっている

　齊藤社長は、ベンチャー企業としては大規模なシステムを作ることは難しく、小規模なシステムで性能を追求するというアプローチを選択する以外に道は無かったという。小さな体積に発熱の大きなLSIを多数詰め込むには、液冷が不可欠という認識から、当初は市販品の液冷装置を検討したが、適当なものがないことから、フッ化炭素を使う浸漬液冷層を自前で開発するという方針に変更し、ExaScaler社を創立して開発を行ったという。

　液浸槽に8台の1Uサーバ(それぞれに8個のPEZY-SCを登載)を収容するExaScalar 1

　そして、液冷のExaScaler 1を開発し、LINPACKで178.1TFlopsを達成して2014年11月のTop500で369位、性能/電力では4.95GFlops/Wを実現してGreen500では堂々の2位を獲得したことは既報の通りである。

　しかし、その道のりは容易ではなかった。2010年6月のLittle Green 500(Littleが付くのは、Top500にはランクインしないが、18カ月前のTop500に入る性能)で1位、2010年11月のGreen500では2位を獲得したGRAPE-DRを開発した牧野淳一郎氏(現在は理研AICS)と東京大学の平木啓教授のグループからの大きな支援があり、加えて設置サイトであるKEK計算科学センターの理解と協力があって、これがTop500入り、Green500 2位に大きな力となったという。特に牧野グループの似鳥氏は実際のHPLコードの最適化にも参加戴いて、Flops値の押上げに大きく貢献して戴いたと、齊藤社長は述べている。

　PEZY-SCのES(Engineering Sample)が出来たのは、2014年8月12日である。1024コアの大規模チップのデバグと立ち上げを1カ月で完了し、LINPACK性能のチューニングを開始したのは9月の中ごろで、10月31日のTop500への応募データの締め切りまで1カ月半しか残っていない。

　また、4冷却槽を使う睡蓮システムは、PEZYが経験したことのない物量であり、一部の部品が入手できず、八方手を尽くして、部品をかき集めたり、製造を急いでもらったりした。資材の調達、液浸槽、冷却装置、プリント基板製造、アセンブリを担当して戴いた各社からも献身的な協力が得られたことが成功の大きな要素である。

　実に、睡蓮のフルシステムのハードウェアが揃ったのは、Top500の締め切りのわずか数日前であったという。ここでハードウェアが揃わなかったり、動作しない部分があったりすればTop500には応募できない。また、性能が出ないと、応募はできてもTop500に入れないということになってしまう。

　この危機的状況を、PEZYとExaScalerの社員がKEKに泊まり込み、相当な頻度での徹夜を含めて乗り切ったという。

　4台のES1で構成される睡蓮。中央は，液冷層のカバーを開けたところ。右の写真は屋外の冷却装置