スパコン運用を通して、研究の発展を支える~第4世代地球シミュレータの導入秘話

NUA-SP研究会会員のみなさまにインタビューし、スパコンの利用目的やスパコンへの思いなどを伺います。第10回にご登場いただいたのは、国立研究開発法人海洋研究開発機構(JAMSTEC)の上原均様。2000年に地球シミュレータの開発チームに着任して以来、利用者の一人として、あるいは運用担当者として、ずっと地球シミュレータに関わってきたという上原様。歴代の地球シミュレータの印象や、最新機器である第4世代の導入秘話などについておうかがいしました。
*本インタビューは新型コロナウィルス感染症予防対策を行いながら実施いたしました。

SP研究会
国立研究開発法人海洋研究開発機構(JAMSTEC) 上原 均 氏

プロフィール
茨城大学大学院理工学研究科博士後期課程情報・システム科学専攻修了、博士(工学)。2000年 日本原子力研究所(現・日本原子力研究開発機構)地球シミュレータ開発特別チーム博士研究員に着任。2002年海洋科学技術センター(現・海洋研究開発機構)に移籍以降、地球シミュレータを活用した研究や地球シミュレータの運用管理に従事。2022年現在、付加価値情報創生部門地球情報科学技術センター計算機システム技術運用グループリーダー。

スパコンとの関わりは、初代地球シミュレータの開発から。その後、運用や開発も担当

――現在のお仕事内容をご紹介ください。

「地球シミュレータ」をはじめとするJAMSTEC所有のスパコンや、その関連設備・施設の運用管理、更新、幅広い研究者に活用していただくためのサポートなどを行っています。

――上原様のご経歴をお聞かせください。

学生時代は茨城大学工学部の博士課程で、オブジェクト指向パラダイムを適用した数値計算プログラムにおいて分散並列処理することで計算速度の向上を目指す研究をしていました。研究室にはベクトル型のワークステーションがあり、そこでスパコンにもつながるような高性能計算を習い覚えましたね。

博士課程の最後の年に、日本原子力研究所で特別研究生をやっていたのですが、ちょうど日本原子力研究所が初代地球シミュレータ(以下、初代)の開発に参画していて、それに携わる博士研究員として就職したのが2000年4月で、私の地球シミュレータとの出合いでした。

そこから初代の開発に2年ほど携わり、正式運用が始まると同時に私はJAMSTECに移籍しました。移籍後は一人の研究者として初代を使う側に回り、計算結果を可視化するソフトウェアの開発などに携わりました。

その後、文部科学省の方針で日本の産業競争力強化のために地球シミュレータの産業利用を推進することになり、企業の方々と運用をつなぐ役割を担いました。初代の地球シミュレータは当時の他のコンピュータより遥かに高性能だったため、適切な使い方が分からずに途方に暮れる方も多かったのです。

地球シミュレータが第二世代(以下、ES2)になったころには完全に運用側に移り、ユーザーサポートのグループリーダーに着任しました。そこから、産業利用や学術利用を問わず、ユーザーがプログラムで困ったことや、プログラムをもっと速く動かしたいといったユーザー相談に対応するようになりました。そのうちにシステム管理も全面的に任され、機械の整備や更新も担うようになり、昨年(2021年3月)、第四世代(以下、ES4)の導入も担当しました。

――上原様の日々の楽しみは何でしょうか。

読書ですね。親にも呆れられたほどの活字中毒です。ジャンルは、恋愛小説以外であれば何でも。最近は技術書が多く、DockerやSingularityなどのコンテナ技術に関連する本を読んでいます。新しい技術は新しい本がよく発売されるので、見かけたら購入して読むというのを繰り返しています。

全世代の地球シミュレータの印象と、ES4の導入で目指したこと

――上原様は、初代からずっと地球シミュレータに携わってこられました。各世代の印象はいかがでしたか。

初代は、出力データが当時の可視化ソフトでは扱いきれないほど大きく、データの可視化に苦労したことが印象的ですね。今では計算結果を動画にするのが当たり前ですが、当時は動画の作成にべらぼうな時間がかかっていたので、巨大データを速やかに動画にできるソフトウェアを開発するなど、周辺も整備しなければならなかったのが大変でした。

ES2は、導入当初は初代と同じベクトル機だからそこまで困ることはないだろうと思っていましたが、同じベクトル機でも初代とはプログラムを高速化するための要点が異なっていたので、初代で速く動いていたプログラムがES2では速く動かないという問題が発生しました。ユーザーからは、遅いぞ、どうなっているんだと怒鳴り込まれたこともありました。そこで、速度を上げるためにいろいろ考えて工夫したことが印象に残っています。そのうちにツボが分かるようになったことで、大きく性能を発揮させることができるようになりましたね。

ES3は、非常にハードが安定していて、壊れないマシンだという印象でした。プログラムの性能も出しやすく、総じて使いやすいマシンだったというのが率直な感想です。

歴代地球シミュレータ

初代
2002年~2009年
第二世代(ES2)
2009年~2015年
第三世代(ES3)
2015年~2021年
2003年台風10号のシミュレーションの可視化結果
海面水温と海流の強さ

各世代のシステム詳細は下記ページを御覧ください
JAMSTEC 地球シミュレータ 以前のシステム
new windowhttps://www.jamstec.go.jp/es/jp/system/previous_system.html

――ES4は導入の検討から携わっておられます。何をポイントとして検討していったのでしょうか。

当たり前のことですが、まずは地球シミュレータを使って行われてきた従来研究を発展させられる計算能力を持つことが大前提でした。その一方で新規研究として、2018年ごろからAIなどを活用した研究にも地球シミュレータを使いたいという声が上がってきていたため、それも実現させたいと考えていました。そのほか、ベクトル機を持たない海外機関との共同研究でも使いやすいよう、x86系のハードウェアを持っておきたいという思いもありました。これらをすべて実現するためには、マルチアーキテクチャにする必要があるねと話していったのが当時の流れでしたね。

導入機器の選定では、AIなどの新規分野も含めた主要な研究アプリケーションがどれだけ速く、大量に動かせるかを最も重要視していました。中でも、地球科学の計算では膨大なファイルの読み書きが行われるので、ファイルI/Oの性能をシビアに評価しましたね。ほかに、ES3に比べて計算性能が10倍以上、ハードディスクも10倍以上となる50PB以上を求めました。個人的にはハードディスクを100PB以上としたかったのですが、周りにそれはやりすぎだと言われてしまいました(笑)。

――ES4導入にまつわる苦労話があれば、ぜひお聞かせください。

2019年の年明けごろから導入の検討を始めたのですが、折悪くコロナ禍になり、社内の打ち合わせや企業との意見交換が対面でできなくなったことで、場の調整に苦労しましたね。特に、企業との意見交換は十数社と実施したので、とても大変でした。

あと、ES3のリース期間が2021年2月までと決まっていたにもかかわらず、コロナ禍の影響が全世界的にあったために部品調達が遅れるかもしれないという話が浮上し、正直ハラハラドキドキでした。どうしても調達が間に合わない場合はリース期間の延長も有り得たかもしれませんが、どうにか予定通りにES4の運用が開始できることになり、ホッとしましたね。

――ES4の運用開始から1年以上が経ちますが、その印象をお聞かせください。

ES4は、SX-Aurora TSUBASAを中心とするマルチアーキテクチャという構成になり、ES3と比べるとハード面やOS、ソフトウェアなどのすべてにおいて大きく変化しました。そのため、使い勝手も変化したというのが正直なところです。特に、コンパイラは何種類も入った上にバージョンも新しくなっているので、その変化にユーザーの戸惑いが見られますね。ただ、性能を出しにくいという話はあまり聞かないので、その点で困った機械ではないと思っています。

一方で活用範囲は確実に広がっていて、現在では、従来の地球科学分野に加え、構造力学、流体力学、ナノテクノロジー、バイオテクノロジーなどでも利用されています。ES4で動かないプログラムは事実上ないと思いますね。

活用事例としては、たとえばAI系の研究をされている方が、ベクトル側で計算した結果をGPU側で動くAIプログラムに学習させるといったケースも見られています。原理的にはES4を使わなくてもできることですが、機能が一体になっているES4ではデータの受け渡しがより速やかに行えるため、やりやすいと喜ばれています。今後も、マルチアーキテクチャの特性を生かした研究に幅広く活用されていくことを期待しています。

SP研は、研究者の本音やユーザーニーズが聞ける貴重な場所

――SP研の活動についてもお伺いします。これまでの活動で印象に残っていることはありますか。

以前、SP研の研究発表で、東京大学大気海洋研究所の木本先生がお話しされていたことが印象に残っています。それは、「研究者が100人いたら、研究アプリケーションを開発できる人は3人しかいない」というお話で。それに対して、100人のうち3人もいるんですかと驚いている方がいて、私は正直、そんなことでいいのかと思いました。

というのも、初代地球シミュレータのころは、研究者がプログラムの読み書きができるのは当たり前で、私も学生のころから自分でプログラムを書いていました。どんなに性能の良いスパコンでも、自分が使っているプログラムが読めなければ単なるブラックボックスにしかなりませんし、どのような仕組みで得られたか分からない計算結果を論文にしているということが衝撃で、危機意識を持ちましたね。

ただ、聞いてみると彼らにも悪意はなくて。大学などでプログラムについて学ぶ場所がなかっただけのようなので、今は地球シミュレータの初心者講習会などでプログラムについてレクチャーする機会を設けたいと考えているところです。

背景は北西太平洋海洋長期再解析データFORA-WNP30、©JAMSTEC
――上原様は、SP研をどのように活用されていますか。

有用な情報を得る場所、特にユーザーの本音やユーザーニーズを吸い上げる場所として活用しています。学術利用のユーザーと産業利用のユーザーのニーズは異なるので、常にそれぞれからお話を伺いたいと思っていますね。ただ、ここ2年はコロナ禍の影響もあって情報交換できる場の開催が減っているので、もっとその頻度が増えればいいなと思っています。

――SP研のみなさまにメッセージをお願いします。

ES4からは「チャレンジ利用課題」の随時募集をしています。幅広いテーマでの応募が可能で、たとえば萌芽的な研究課題や挑戦的な課題、人材育成などにもご利用いただけます。学校・企業を問わず応募でき、利用料も無料なので、ぜひ幅広く活用していただけたらと思っています。