（RE-004871）スーパーコンピュータシステムの借入【掲載期間：2024-6-26～2024-8-19】

（RE-004871） スーパーコンピュータシステムの借入【掲載期間：2024-6-26～2024-8-19】 - 1 -入 札 公 告次のとおり一般競争入札に付します。 令和6年6月26日国立研究開発法人量子科学技術研究開発機構財務部長 山農 宏之大学共同利用機関法人自然科学研究機構機構長 川合 眞紀◎調達機関番号 804、416 ◎所在地番号 12、21○第12号１ 調達内容(1) 品目分類番号 14(2) 借入件名及び数量スーパーコンピュータシステムの借入 一式(3) 借入件名の特質等 入札説明書による。 (4) 借入期間令和7年7月1日から令和11年3月31日(5) 納入場所 入札説明書による。 (6) 入札方法① 入札金額は一月当たりの金額を記載すること。 ② 落札決定は、総合評価落札方式をもって行うので、提案に係る性能、機能等を記載した書類(以下、「総合評価のための書類」という。 )を提出すること。 なお、落札の決定については、入札- 2 -書に記載された金額に当該金額の10パーセントに相当する額を加算した金額(当該金額に１円未満の端数があるときは、その端数金額を切り捨てるものとする。 )をもって落札価格とするので、入札者は、消費税及び地方消費税に係る課税事業者であるか、免税事業者であるかを問わず、見積もった契約金額の110分の100に相当する金額を入札書に記載すること。 ２ 競争参加資格(1) 国立研究開発法人量子科学技術研究開発機構契約事務取扱細則第１０条の規定に該当しない者であること。 ただし、未成年者、被保佐人又は被補助人であって、契約締結のために必要な同意を得ている者については、この限りでない。 (2) 国立研究開発法人量子科学技術研究開発機構契約事務取扱細則第１１条第１項の規定に該当しない者であること。 (3) 令和6年度に国の競争参加資格(全省庁統一資格)を有している者であること。 なお、当該競争参加資格については、令和5年3月31日付け号外政府調達第60号の官報の競争参加者の資格に関する公示の別表に掲げる申請受付窓口において随時受け付けている。 - 3 -(4) 本公告に示した物品を第三者をして貸付しようとする者にあっては、当該物品を自ら貸付できる能力を有するとともに、第三者をして貸付できる能力を有することを証明した者、借入物品に係るメンテナンスの体制が整備されていることを証明した者であること。 (5) 当機構から取引停止の措置を受けている期間中の者でないこと。 ３ 入札書の提出場所等(1) 入札書の提出場所、契約条項を示す場所、入札説明書の交付場所及び問い合わせ先〒263-8555 千葉市稲毛区穴川４－９－１国立研究開発法人量子科学技術研究開発機構 財務部 契約課 電話 043-206-6262E-mail:nyuusatsu_qst@qst.go.jp(2) 入札説明書の交付方法 本公告の日から入札書受領期限の前日17：00までの間において上記3(1)の交付場所にて交付する。 また、電子メールでの交付を希望する者は必要事項(調達番号、件名、住所、社名、担当者所属及び氏名、電話番号)を記入し3(1)のアドレスに申し込むこと。 ただし、交付は土曜,日曜,祝日及び年末年始(12月29日～1月3日)を除く平日に行う。 (3) 入札説明会の日時及び場所- 4 -令和6 年 7 月 5 日 14時 00分〒263-8555 千葉市稲毛区穴川４－９－１国立研究開発法人量子科学技術研究開発機構 量子生命棟1 階セミナー室(4) 入札書の受領期限令和6 年 8 月 20日 17時 00分(5) 開札の日時及び場所 国立研究開発法人量子科学技術研究開発機構 量子生命棟1階セミナー室令和6年9月30日14時00分４ その他(1) 契約手続において使用する言語及び通貨日本語及び日本国通貨。 (2) 入札保証金及び契約保証金 免除。 (3) 入札者に要求される事項 この一般競争に参加を希望する者は、封印した入札書に本公告に示した物品を納入できることを証明する書類を添付して入札書の受領期限までに提出しなければならない。 入札者は開札日の前日までの間において、当機構から当該書類に関し説明を求められた場合は、それに応じなければならない。 (4) 入札の無効 本公告に示した競争参加資格のない者の提出した入札書、入札者に求められる義務を履行しなかった者の提出した入札書、そ- 5 -の他入札説明書による。 (5) 契約書作成の要否 要。 (6) 落札者の決定方法 本公告に示した物品を納入できると契約責任者が判断した入札者であって、国立研究開発法人量子科学技術研究開発機構が作成した予定価格の制限の範囲内で、入札説明書で指定する性能、機能等の要件のうち、必須とした項目の最低限の要求要件をすべて満たしている性能、機能等を提案した入札者の中から、入札説明書で定める総合評価の方法をもって落札者を決定する。 (7) 手続における交渉の有無 無。 (8) その他 詳細は入札説明書による。 なお、入札説明書等で当該調達に関する環境上の条件が定められている場合は、十分理解した上で応札すること。 ５ Summary(1) Official in charge of disbursement of theprocuring entity : YAMANO Hiroyuki, Directorof Department of Financial Affairs, NationalInstitutes for Quantum Science and Technologyand Maki Kawai, President, Inter-UniversityResearch Institute Corporation NationalInstitutes of Natural Sciences- 6 -(2) Classification of the products to be procured :14(3) Nature and quantity of the products to be rent:Lease of a Supercomputer System, 1set(4) Rent period :From 1, July, 2025 through 31, March, 2029(5) Rent place : As shown in the tenderDocumentation(6) Qualifications for participating in the tenderingprocedures : Suppliers eligible for participatingin the proposed tender are those who shall :A not come under Article 10 of the Regulationconcerning the Contract for NationalInstitutes for Quantum Science andTechnology, Furthermore, minors, Personunder Conservatorship or Person underAssistance that obtained the consentnecessary for concluding a contract may beapplicable under cases of special reasonswithin the said clause,B not come under Article 11(1) of theRegulation concerning the Contract forNational Institutes for Quantum Scienceand Technology,- 7 -C have qualification for participating intenders by Single qualification for everyministry and agency during fiscal 2024D prove to have the ability to rent theproducts concerned by themselves and by athird party, should the products requestedthrough this notice be rent by a third party,prove to have prepared a system to providemaintenance for the rent products,E not be currently under a suspension ofbusiness order as instructed by NationalInstitutes for Quantum Science andTechnology. (7) Time limit of tender :5:00 PM, 20, August, 2024(8) Contact point for the notice : Contract Section,National Institutes for Quantum Science andTechnology, 4-9-1 Anagawa, Inage-ku, Chiba-shi 263-8555 JAPAN(TEL.043-206-6262, E-mail: nyuusatsu_qst@qst.go.jp)( 9) Please be noted that if it is indicated thatenvironmental conditions relating to theprocurement are laid down in its tender- 8 -documents. 1スーパーコンピュータシステムの借入仕様書令和6年6月国立研究開発法人 量子科学技術研究開発機構六ヶ所フュージョンエネルギー研究所大学共同利用機関法人 自然科学研究機構 核融合科学研究所2目次I. 仕様書概要説明.. 41. 調達の背景及び目的.. 42. 調達物品名及び構成内訳.. 63. 調達方法.. 64. 納入準備期限.. 65. 借入期間等.. 66. 設置場所.. 67. 技術的要件の概要.. 68. その他.. 78.1 技術仕様書等に関する留意事項.. 78.2 導入に関する留意事項.. 78.3 提案に関する留意事項.. 88.4 契約後の検査に関する留意事項.. 98.5 契約後の提出書類に関する留意事項.. 108.6 費用に関する留意事項.118.7 支給品及び貸与品に関する留意事項.118.8 秘密保持義務に関する留意事項.118.9 著作物に関する留意事項.118.10 情報セキュリティに関する留意事項.118.11 業務の一部の再委託に関する留意事項.. 128.12 協議事項に関する留意事項.. 12II. 調達物品に備えるべき技術的要件.. 13(包括的業務要件).. 131. スーパーコンピュータシステムの性能評価.. 161.1 性能評価試験(ベンチマークテスト)の概要.. 161.2 ベンチマークテストプログラムの交付.. 162. 要求要件の具体的説明.. 182.1 ハードウェア要件.. 182.1.1 大規模並列計算機のハードウェア.. 182.1.2 外部記憶装置.. 212.1.3 ネットワーク装置.. 212.1.4 Webフロントエンドシステム.. 232.2 ソフトウェア要件.. 252.2.1 大規模並列計算機(大規模並列演算部、データ処理部、フロントシステム部)の制御プログラム等.. 252.2.2 大規模並列計算機(大規模並列演算部、フロントシステム部、及び、デー3タ処理部)のプログラム開発環境.. 302.2.3 Webフロントエンドシステム.. 32(性能、機能以外の要件).. 353. 設置要件等.. 353.1 据付配線作業等.. 353.2 設置場所及び設備要件等.. 353.3 利用者支援体制に関する要件.. 373.4 保守・運用支援体制に関する要件.. 383.5 講習会に関する要件.. 413.6 マニュアルに関する要件.. 414. その他.. 424.1 ワーク・ライフ・バランス等の推進に関する指標.. 424I. 仕様書概要説明1. 調達の背景及び目的国立研究開発法人量子科学技術研究開発機構(以下「量研」という。 )六ヶ所フュージョンエネルギー研究所(以下「六ヶ所研」という。 )では、日欧共同の幅広いアプローチ活動の一環として、国際核融合エネルギー研究センター(IFERC)計算機シミュレーションセンター(CSC)において、JT-60SA、ITER、核融合発電原型炉(原型炉)を始めとする磁場閉じ込め方式の核融合発電の研究開発を進めるために、Heliosの後継機として2018年6月よりJFRS-1を運用しており日欧の核融合研究者に計算資源の提供を行っている。 IFERC-CSCの計算機で開発された数値計算コード群は、核融合炉心プラズマ、周辺プラズマ、核融合炉材料、核融合炉工学などの幅広い課題に適用され、計算科学技術は、理論、実験と並ぶ研究手法として重要な役割を果たしている。 特に核融合のような巨大技術においては、安全や費用の面の制約等から実験が困難な場合もあり、実験を補完、かつ効率的な研究開発を進める上でも計算科学技術の活用は欠かせない。 現在、建設の進むITERや初トカマクプラズマを実現したJT-60SAにおける実験の精密な予測や運転シナリオの作成、そしてカーボンニュートラルに貢献する原型炉の実現を加速する原型炉設計・研究開発の促進のためには、Helios、JFRS-1で開発、検証された数値計算コードを活用した大規模数値計算の果たす役割は極めて重要である。 このような大型装置を想定した数値計算のためには、JFRS-1以上の性能が要求される。 一方、大学共同利用機関法人自然科学研究機構核融合科学研究所(以下「核融合研」という。 )は、大学共同利用機関としてプラズマシミュレータ共同研究を実施し、全国の大学・研究機関の研究者に最先端のスーパーコンピュータの共同利用と先導的共同研究の場を提供している。 プラズマシミュレータ共同研究は、核融合プラズマをはじめとする多階層・複合物理系を対象としてスーパーコンピュータを用いたシミュレーション研究を行い、広く核融合プラズマの学理と応用に関する研究で、多くの成果を上げてきている。 核融合プラズマは、ミクロの電子やイオンのダイナミクスからマクロのプラズマ輸送に至る極めて広い範囲の時空間スケールをもつ多階層非線形過程と、炉心で発生する核燃焼過程や炉壁でのプラズマ壁相互作用に代表される複合物理過程に支配された多階層・複合物理系である。 核融合プラズマを研究対象とする核融合科学は幅広い学術分野と課題を共有している。 核融合研は2023年度より、核融合の未解決問題を学際的に定式化し、その解決に向けて学際的な共同研究に取り組む10のユニットで構成されるユニット体制を開始した。 各ユニットは核融合科学を広くとらえた学際的なビジョンで核融合科学を発展させることを目指している。 ユニットが展開するプラズマシミュレータを利用する学際的共同研究を推進し、核融合科学の発展を加速するためには、プラズマシミュレータを最先端の計算機に更新し、性能をさらに向上させることが必要である。 これらの大型計算機の更新に当たり、量研六ヶ所研と核融合研(以下あわせて「両機構」という。 )は共同で調達及び運用を行うこととした。 本仕様書は、両機構が必要とするスーパーコンピュータシステムの要求要件及び供給者に求める提案等について記載している。 5表１ 【両機構の現有スーパーコンピュータシステムの概要】計算機名称 主演算器 総演算性能 総主記憶容量 外部記憶容量JFRS-1XC50CRAY社製(量研)Xeon Gold 61484.2PFLOPS256TiB27PBプラズマシミュレータSX-Aurora TSUBASANEC社製(核融合研)EPYC 7402PVE 10AE10.5PFLOPS202TiB32.1PB62. 調達物品名及び構成内訳スーパーコンピュータシステム 一式(構成内訳)(1) ハードウェア① 大規模並列計算機② 外部記憶装置③ ネットワーク装置④ Webフロントエンドシステム(2) ソフトウェア① 大規模並列計算機の制御プログラム等② 大規模並列計算機のプログラム開発環境③ Webフロントエンドシステム用アプリケーション(3) その他スーパーコンピュータシステムの据付配線作業、附帯設備等の作業、既設機器との接続、利用支援、保守・運用支援、講習会の開催、マニュアル、利用手引きの作成等(詳細については、後述の「Ⅱ.調達物品に備えるべき技術的要件」に示す。 )。 3. 調達方法借入(ファイナンス・リース)4. 納入準備期限令和７年6月16日(後述の「5.借入期間等」に示す納入期限の14日前)を納入準備期限とし､この日までにスーパーコンピュータシステムを後述の「6.設置場所」に搬入し、後述の「8.4(3)検査条件」の検査項目に示す検査を受けられる状態にすること｡5. 借入期間等納入期限 令和７年６月30日借入期間 令和７年７月1日から令和11年3月31日まで(45ヶ月間)6. 設置場所〒039-3212 青森県上北郡六ヶ所村大字尾駮字表舘2-166量研 六ヶ所研 計算機・遠隔実験棟7. 技術的要件の概要(1) 本件調達物品に係る性能、機能及び技術等(以下「性能等」という。 )の要求要件(以下「技術的要件」という。 )の詳細は、「Ⅱ.調達物品に備えるべき技術的要件」に示す。 (2) 技術的要件は、必須の要求要件と必須以外の要求要件から成る。 (3) 必須の要求要件は、両機構が必要とする最低限の要求要件を示しており、入札機器の性能等がこれを満たしていないとの判定がなされた場合には、不合格となり、7落札決定の対象から除外する。 (4) 必須以外の要求要件は、満たしていることが望ましい。 ただし、満たさなくとも不合格とはならない。 (5) 入札機器の性能等が技術的要件を満たしているか否かは、量研のスーパーコンピュータシステム技術審査会(以下「技術審査会」という。 )において行う技術審査によって判定する。 当技術審査においては､供給者が提出する「入札提案書」及び「性能評価試験結果報告書」等の内容を、量研が別に定める「スーパーコンピュータシステム総合評価基準」(「スーパーコンピュータシステム性能評価試験基準」を含む。 )に基づき審査し、合否を判定する。 8. その他8.1 技術仕様書等に関する留意事項提案するスーパーコンピュータシステムは、納入後直ちに安定かつ効率よく稼働する必要がある。 従って、入札時点において、未だ製品化されていない場合には、技術的要件を満たすことの証明書、納期に間に合うことの根拠を十分説明できる資料(開発中又は開発予定のものについては詳細な工程表)及び納期厳守の誓約書(任意様式)を提出すること。 なお、大規模並列計算機について、主要構成要素(CPU(Central ProcessingUnit)(マルチコア)、ベクトル演算器、GPU(Graphics Processing Unit)、及び、CPUとGPUを統合した演算器(以下「APU」という。 )等の演算器(以下「演算器」という。 )、並びに、ノード間スイッチ等)を他ベンダーから提供を受けて構成する場合には、納期厳守の誓約書(任意様式)を構成要素毎に当該ベンダーから取得し、合わせて提出すること。 8.2 導入に関する留意事項(1) スーパーコンピュータシステムの導入作業については、短期間で円滑かつ安全に進める必要があるため、契約後、供給者は次の事項を遵守すること。 導入時の作業工程表、附帯設備等の施工方法(量研の設計保安審査を含む。 )、計算機のレイアウト、体制及び作業等について量研と事前に協議を行うこと。 協議結果は「作業計画書」にまとめて量研に提出し、各作業等開始の2週間前までに確認を得ること。 なお、導入作業は全て供給者側にて実施すること。 また、導入作業の実施に際しては、以下の法、規則及び量研の定める諸規程等に準拠して行うこと。 ① 電気事業法② 量研の定める電気工作物保安規程③ 労働安全衛生法④ 量研の定める安全衛生管理規則⑤ 消防法⑥ 量研の定める防火管理規則⑦ 量研の定める事故対策規則⑧ 量研の定める情報セキュリティ関連規程等8(2) 材料置場及び現場事務所の設置をする場合は、あらかじめ量研と打ち合わせ、許可(指定様式)を得るものとする。 仮設物設置等の敷地は無償貸与とする。 また、作業用電力及び水(現場事務所での利用も含む。 )は無償とする。 (3) 本件の履行に当たり、供給者は従業員又はその他の者によって、量研が意図しない変更が加えられることのない管理体制を整えること。 8.3 提案に関する留意事項(1) 提案に際しては、提案するスーパーコンピュータシステムが本仕様の要求要件をどのように満たすか、あるいはどのように実現するかを要求要件毎に具体的かつ分かりやすく、資料等を添付する等して「入札提案書」を日本語で作成すること。 したがって、本仕様書の技術的要件に対して、単に要求要件の語尾を「できます」「可能です」「有します」「提供します」などと変更しただけの回答は、要求要件を満たさないとみなす。 また、技術審査を実施するに当たって、提案の根拠が不明確、説明が不十分で技術審査に重大な支障があると量研の技術審査委員会が認めた場合は、要求要件を満たさないと判断するので、供給者は十分注意すること。 (2) 「入札提案書」は、次の項目の順に明確に記載すること。 ① 全体構成② ハードウェア構成一覧表③ ソフトウェア構成一覧表④ ハードウェア仕様と機能⑤ ソフトウェア仕様と機能⑥ 個々の仕様及び要件を満たすための具体的な方策等⑦ 性能を具体的に示すデータ⑧ 今後5年間程度の提案機種に関連する明確なロードマップ⑨ 利用者支援(利用者からのQ/A 対応等)に関する具体的方策及び体制⑩ 保守、運用支援に関する具体的な体制⑪ 各機器の設置諸元表(装置名称、台数、寸法「mm」、単体及び合計の重量「㎏」、単体及び合計の電源仕様「V、相、線、Hz、KVA、KW」、単体及び合計の発熱量「KW」等)⑫ レイアウト図⑬ 附帯設備の施工図⑭ 提案システムの項目毎の月額借入料⑮ マニュアル一覧⑯ 新規開発部品と既出荷部品の区別を明確にした、契約から搬入までの各ハードウェア／ソフトウェアの製造、組立、検査等の詳細スケジュール⑰ 契約から導入、運用開始までの詳細スケジュール⑱ 量研からの照会先郵便番号、住所、会社名、担当部門名(営業及び技術)、担当者氏名、電話番号、電子メールアドレス(3) 入札提案書の記載事項9「入札提案書」には、本仕様書「II.2.要求要件の具体的説明、II.3.設置要件等」で示した技術的要件に対する回答を項目の順序に従って明記すること。 その表現は、A4 用紙を縦に使い、左半分に本仕様書の要件、右半分に要件に対する回答を表形式で示すこと。 要件を満たす場合は、詳細に実現の程度、実現方式を記載すること。 (4) 「入札提案書」は、二つ穴のファイルホルダー等で綴じ、背に糊付けしない形式で提出すること。 なお、「入札提案書」の全ての同一文書をMS-Word 形式/MS-Excel形式等で作成し、電子媒体でも１部提出すること。 (5) 「性能評価試験結果報告書」の記載事項等については、別に定める「スーパーコンピュータシステム性能評価試験基準」による。 (6) 提案された内容等について、量研から問合せを行うことがある。 その際は、速やかに回答すること。 8.4 契約後の検査に関する留意事項(1) 工場立会検査スーパーコンピュータシステムの供給者は、納入するスーパーコンピュータシステムや附帯設備等の製作、整備状況を報告するとともに、量研が立会検査を求めたときは、工場にて立会検査に応ずること。 なお、立会検査実施後には速やかに「工場立会検査報告書」を提出すること。 (2) 納入時検査納入時の検査は、技術検査と一般検査から成る。 技術検査を含む一般検査は、供給者が量研に伝える検査可能日から14日以内に、または納入準備期限の翌日から14日以内に実施する。 なおここで言う検査可能日は納入準備期限前であること。 (3) 検査条件前項(2)に関し、供給者による機器(ソフトウェアを含む。 )の据付調整及び正常動作確認後、量研立会いの下、「検査要領書」に基づき納入時検査を実施し、検査合格をもって引渡しの完了とする。 なお、検査に当たっては、契約仕様書に従い、「スーパーコンピュータシステム総合評価基準」及び「入札提案書」に沿って検査を行うので、供給者は「検査要領書」を事前に作成し、8.4(2)と同じ検査可能日の2 週間前までに、又は納入準備期限の日の2 週間前までに量研の確認を得ること。 「検査要領書」には、次に掲げる検査項目について、検査の方法、判断基準、それらの根拠、妥当性等を記載すること。 (検査項目)① 員数検査、外観検査、据付配線検査導入物品が本仕様書のとおり納入及び設置されていることを検査する。 ② 機能検査ソフトウェア等の機能が満たされていることを検査する。 ③ 性能検査別に定める「スーパーコンピュータシステム性能評価試験基準」により性能評価試験を行う。 この試験は、納入及び設置されたスーパーコンピュータシステムにおいて、大規模並列演算部のCPU(マルチコア)又はベクトル演算器を利用した10並列ジョブを処理する部分(以下「サブシステムA」という。 )とGPU又はAPUを利用した並列ジョブを処理する部分(以下「サブシステムB」という。 )の10分の1のノード数を用いて行う。 ただし、消費電力当たりのHPL性能評価はサブシステムA及びBの全ノードを用いて実施する。 その他、必要に応じて性能検査を行う。 1. 入札時に性能推定を行った場合個々のベンチマークテストプログラムについて、本検査における評価値は、それぞれ入札時の評価値(推定値)以上の性能であること。 2. 入札時に実機により性能評価を行った場合個々のベンチマークテストプログラムについて、本検査における評価値の総合評価基準に基づく得点が、それぞれ入札時の評価値に対するその得点と同一かそれ以上であること。 ④ 無故障稼働検査両機構の定常処理を支障なく行えることを確認するため、所定のプログラムを用いて大規模並列計算機の無故障稼働検査を行う。 無故障稼働時間は 12 時間とする。 ⑤ 脆弱性検査スーパーコンピュータシステムに対して、納入時検査期間に脆弱性診断を実施し、安全性を確認すること。 内部を含むシステム全体のプラットフォーム診断をオンサイトで行うこと。 またWebフロントエンドシステムに対する、手動を含むWebアプリケーション診断を実施すること。 脆弱性や問題点が発見された場合は、量研に報告し、速やかに対策を行うこと。 ⑥ 提案内容の確認検査検査対象のスーパーコンピュータシステムが、「スーパーコンピュータシステム総合評価基準」及び「入札提案書」に記載された内容を満たしていることを検査する。 8.5 契約後の提出書類に関する留意事項本調達において、必要な提出書類を以下に示す。 提出書類は日本語で作成し、書面原本、及び書面原本の電子ファイルを記録したCD等の電子媒体を、定められた期限までにそれぞれ下記必要部数だけ提出することとする。 (提出書類)① 工場立会検査報告書(検査後速やかに) 4部② 作業計画書(作業開始2週間前) 4 部③ 検査要領書(納入準備期限2 週間前) 4 部④ 検査成績書(納入時検査後速やかに) 4 部⑤ 機器構成表(納入時) 4 部⑥ 附帯設備等の完成図書(納入時) 4 部⑦ その他必要な書類(その都度) 4 部11⑧ 書面原本の電子ファイルを記録した電子媒体 2 部8.6 費用に関する留意事項(1) 搬入、現地調整、附帯設備作業等の導入諸経費、既設機器との接続・動作確認、保守等に要する全ての費用は本調達に含めること。 なお、保守に関しては、前述の「5.借入期間等」の借入期間内の借入物品に要する全てのハードウェア保守費及びソフトウェアサポート費を含むこと。 (2) 解約及び借入期間満了時には借入物品を撤去し、原状に復すこと。 なお、撤去及び原状復帰に要する全ての費用は本調達に含めること。 8.7 支給品及び貸与品に関する留意事項運用時において、以下の支給品及び貸与品について無償とする。 (1) 支給品① 電気、水② 各種用紙(2) 貸与品① 作業室(計算機・遠隔実験棟 １室)② 机、椅子③ 内線電話機8.8 秘密保持義務に関する留意事項(1) 供給者は、業務を実施することにより取得した当該作業に関する各データ、技術情報、成果、その他の全ての資料及び情報を、量研の許可なしに本件の目的以外に利用、又は第三者に開示してはならない。 本件の終了後においても同様とする。 (2) 供給者は、本調達の終了時に、本件で取得した情報を削除又は返却すること。 また、取得した情報が不用となった場合も同様とする。 (3) 供給者は、上記(1)及び(2)の義務に加えて、量研の秘密文書取扱規程及び秘密文書の安全管理に関する量研の規則等を遵守しなければならない。 8.9 著作物に関する留意事項本調達により、作成された著作物(マニュアル、コンピュータプログラム等)の所有権は、両機構に帰属するものとする。 8.10 情報セキュリティに関する留意事項(1) 本件の履行に当たり、情報セキュリティ確保の観点で、供給者の資本関係・役員等の情報、本件の実施場所、業務を行う担当者の所属・専門性(情報セキュリティに係る資格・研修実績等)・実績及び国籍に関する情報を求める場合がある。 供給者は、これらの要求に応じること。 (2) 供給者は、本件で求められる情報セキュリティ対策の履行状況を量研からの求めに応じて確認・報告を行うこと。 またその履行が不十分である旨の指摘を受けた場合、12速やかに改善すること。 (3)供給者は、機器、コンピュータプログラム、データ及び文書等について、量研の許可なく外部に持ち出してはならない。 8.11 業務の一部の再委託に関する留意事項本調達の履行に当たり、その業務の一部を再委託するときは、軽微なものを除き、あらかじめ再委託の相手方の住所、氏名、再委託を行う業務の範囲、再委託の必要性及び金額等について記載した書面を量研に提出し、承諾を得ること。 その際供給者は、再委託した業務に伴う当該相手方の行為について、量研に対し全ての責任を負うこと。 8.12 協議事項に関する留意事項本仕様書に定めのない事項又は疑義が生じた事項については、量研と協議して定めるものとする。 13II. 調達物品に備えるべき技術的要件導入するスーパーコンピュータシステムは、以下に述べる(包括的業務要件)、「性能、機能に関する要件」及び「性能、機能以外の要件」の要求要件を満たすこと。 また、スーパーコンピュータシステムの提案に際しては、以下に留意すること。 (1) 本仕様書における接頭語の定義は、１P=1015、１T=1012、1G=109、１M=106、1K=103、１Pi=250、１Ti=240、1Gi=230、１Mi=220、1Ki=210とし、演算処理性能：1PFLOPS=1,000TFLOPS 、 1TFLOPS=1,000GFLOPS 、1GFLOPS=1,000MFLOPS、1MFLOPS=1,000KFLOPS、1KFLOPS=1,000FLOPS、主記憶容量：1TiB=1,024GiB、1GiB=1,024MiB、1MiB=1,024KiB、1KiB=1,024B、外部記憶容量他：1PB=1,000TB、1TB=1,000GB、1GB=1,000MB、1MB=1,000KB、1KB=1,000B の単位表記とする。 (2) 外部記憶容量は、フォーマット後の実効容量で、システム領域を除く、実質的にユーザが利用できる容量(以下「実効容量」という。 )であること。 (3) ノード間通信ネットワーク及びその他ネットワークの理論性能等は、カタログスペック値を用いること。 (4) CPU 及びベクトル演算器の理論演算性能の算出に当たっては、TDP(ThermalDesign Power)の基準となる定格の動作周波数を用いること。 定格より動作周波数を下げてTDPを維持する機構や、動作周波数をTDP以上に引き上げる機構を有する場合においても、その動作周波数は適用しないこと。 (5) GPU及び APU の理論演算性能の算出に当たっては、動作周波数を TDP 以上に引き上げる機構を用いた場合の理論演算性能の適用を認める。 (6) 理論演算性能評価は倍精度浮動小数点演算性能(以下「FP64 演算性能」という。 )にて行うこと。 GPU及びAPUの理論演算性能評価においては、行列専用演算回路を使用した場合のFP64演算性能の評価値を認める。 (包括的業務要件)(1) スーパーコンピュータシステムは、大規模並列計算機(大規模並列演算部、データ処理部、フロントシステム部)、外部記憶装置、ネットワーク装置、Webフロントエンドシステム等で構成されること。 (2) スーパーコンピュータシステムを構成する各部品は高い信頼性を有すること。 また、当該システムの一部に障害が発生した場合にその影響を最小限に抑え、システム全体がダウンすることのないよう対策を施すこと。 (3) スーパーコンピュータシステムは、電源停止状態から 6 時間以内に運用開始できること。 (4) 大規模並列演算部の総理論演算性能は 29.4PFLOPS 以上であること。 大規模並列演算部はCPU(マルチコア)又はベクトル演算器を利用した4PFLOPS以上の並列ジョブを処理する部分(サブシステムA)、GPU又はAPUを利用した並列ジョブを処理する部分(サブシステム B)、及び、大規模共有メモリを有する x86-64 アーキテクチャのCPU(マルチコア)を利用した 0.1PFLOPS 以上の並列ジョブを処理する部分(以下14「サブシステムC」という。 )で構成されること。 ただし、サブシステムA及びサブシステムCの計算ノードにGPU又はAPUを搭載する場合は、その演算性能は評価に含めない。 また、サブシステムA及びサブシステムBは量研が指定するプログラムを用いたベンチマークテストの結果が所定の要件を満たすこと。 (5) サブシステムAの計算ノードは1ノード当たり理論性能1000GB毎秒以上のバンド幅を持つ主記憶装置を演算コア当たり3GiB以上備えること。 ただし、サブシステム A は総主記憶容量を 150TiB 以上備えること。 サブシステム B の計算ノードはGPU 又は APU1 基当たり理論性能 3TB 毎秒以上のバンド幅を持つ主記憶装置を74GiB以上備えること。 サブシステムCの計算ノードは1 ノード当たり理論性能600GB 毎秒以上のバンド幅を持つ主記憶装置を 1.5TiB 以上備えること。 詳細は2.1.1(3)に後述する。 (6) スーパーコンピュータシステムは、演算器の演算性能、メモリバンド幅及びネットワークバンド幅などについて高い性能を有すること。 (7) スーパーコンピュータシステムの外部記憶装置は、大規模シミュレーションの実行結果を高速に蓄積しうる信頼性の高い磁気ディスク装置(以下「HDD部」という。 )を、耐障害性がRAID6相当の構成で、実効容量で 30PB以上具備すること。 加えて、機械学習実行時のランダムファイル参照を高速に行うためのSSD(以下「SSD部」という。 )を、耐障害性がRAID6相当の構成で、実効容量で1PB以上具備すること。 (8) SSD部にユーザプログラムを保管・供給するための領域(以下「ホーム領域」という。 )を 400TB以上確保し、HDD部にホーム領域のバックアップを定期的に作成する機能を有すること。 (9) データ処理・解析・可視化等の利用を支援するための、大規模主記憶装置、GPU演算加速器、及び、x86-64アーキテクチャのCPU(マルチコア)から成る計算ノードで構成される部分(以下「データ処理部」という。 )を具備すること。 (10) スーパーコンピュータシステムは、ユーザがSSHアクセスするためのフロントエンドシステムを備えること。 (11) スーパーコンピュータシステムは、ユーザがWebブラウザを用いて多要素認証によりログインし、大規模並列計算機で計算を実行することができる Web フロントエンドシステムを備えること。 Webフロントエンドシステムは、ファイアウォールによって通信を制御したDMZ領域(以下「CSC-DMZ」という。 )に構築すること。 (12) スーパーコンピュータシステムのネットワークは、ユーザーのアクセス等に利用するフロントエンドネットワークを構成する機器を備えること。 また、大規模並列演算部及びデータ処理部から、本スーパーコンピュータシステムとは独立な量研ストレージ(以下「量研外部ストレージ」という。 )と100Gbps以上の理論回線速度でのイーサネット通信を可能とする外部データアクセスゲートウェイを備えること。 (13) スーパーコンピュータシステムのオペレーティングシステムはUNIXに準拠し(Linuxを含む。 以下「UNIX系OS」とする。 )、大規模並列演算部はバッチ処理機能を有すること。 (14) スーパーコンピュータシステムは、FORTRAN、C、C++、Python、Julia等の言語、MPI等の並列プログラミング環境及び開発環境、アーキテクチャに最適化さ15れた並列科学技術計算ライブラリ、機械学習のためのエコシステム(TensorFlow、PyTorch、scikit-learn等)を備えること。 (15) スーパーコンピュータシステムは、各サブシステムの演算ノードを効率的に利用できる並列化コンパイラ、並列化チューニングツール、GPU又はAPUを利用した計算のためのソフトウェアスタックなどのプログラミング開発環境を有すること。 また、各サブシステムを効率的かつ安定的に運用管理するためのクラスタシステムソフトウェアなどの運用ツールは、大規模並列で運用実績のあるソフトウェアを採用すること。 (16) 外部記憶装置、ファイアウォール、及びWebフロントエンドシステムを保護する無停電電源装置を備えること。 (17) スーパーコンピュータシステムを保護する冷却装置を備えること。 (18) スーパーコンピュータシステム全体の最大総消費電力が 1400kW以下であること。 詳細については、別に定める「スーパーコンピュータシステム性能評価試験基準」による。 ベンチマークテストプログラムの概要を別紙1 に示す。 これらのベンチマークテストプログラムを用いて、大規模並列演算部及び外部記憶装置を対象に以下の性能を測定する。 また、入札時に性能推定を行った場合については、理由の如何に係わらず具体的な方法論及び算出式を示すこと。 (1) 両機構の負荷を代表するプログラムによる総合処理性能(2) 基本性能調査用プログラムによる深層学習処理、及びI/O の処理性能(3) 消費電力当たりのHPL(LINPACK)実行性能これらの(1)、(2)及び(3)について、所定の要件を満たし、かつ高い性能を有するものについては性能に応じ、総合評価基準に基づいて得点を与える。 1.2 ベンチマークテストプログラムの交付ベンチマークテストプログラムは、請求に応じて交付する。 なお、ベンチマークテストプログラムの交付を受ける場合には、以下の①から③の遵守事項に関する誓約書(別紙2)を提出すること。 ① ベンチマークテストの結果は、理由の如何に係わらず提出すること。 ② ベンチマークテストプログラム(取扱説明書を含む。 )及びこれから得られた実行結果は他の目的に使用しないこと。 ③ ベンチマークテストプログラムは、ベンチマークテスト実施後に返却すること。 また、ベンチマークテストに用いたソースプログラム、オブジェクトモジュール、ロードモジュール、入出力ファイル及び一切の複製物等は全て消去し、ベンチマークテストプログラム返却後すみやかに履行証明書(別紙3)を提出すること。 17図１スーパーコンピュータシステムの構成概略182. 要求要件の具体的説明スーパーコンピュータシステムは、大規模並列計算機(大規模並列演算部、データ処理部、フロントシステム部)、外部記憶装置、ネットワーク装置、Webフロントエンドシステム等で構成される。 以下に技術的要求要件を具体的に述べる。 2.1 ハードウェア要件スーパーコンピュータシステムが具備すべきハードウェア要件を以下に述べる。 2.1.1 大規模並列計算機のハードウェア大規模並列計算機は、CPU(マルチコア)又はベクトル演算器を利用した並列ジョブを処理する部分(サブシステムA)、GPU又はAPUを利用した並列ジョブや機械学習を処理する部分(サブシステム B)、及び、大規模共有メモリを有する x86-64 アーキテクチャのCPU(マルチコア)を利用した並列ジョブを処理する部分(サブシステムC)から構成される部分(大規模並列演算部)、データの後処理や可視化ソフトウェアの並列ジョブを処理する部分(データ処理部)、プログラム編集、コンパイル、ジョブ投入を処理する部分(フロントシステム部)、並びに内部ネットワーク等から構成される。 また、大規模演算部の各サブシステム内において全計算ノードを利用したバッチジョブの処理を行い、異なるサブシステムに属する計算ノードを同時に利用したバッチジョブの処理は行わない。 (1) 構成① 大規模並列計算機は、サブシステムA、サブシステムB、及びサブシステムCから構成される大規模並列演算部、データ処理部、並びにフロントシステム部から構成され、それぞれのシステム環境(ファイルシステム、バッチシステム、ユーザ認証、プログラム開発環境、課金機能等)を一元的に管理運用できるシステムであること。 ② サブシステムAは、２基以上の64bitアーキテクチャのCPU(マルチコア)から成るノード、又は、１基以上の64bitアーキテクチャのCPU(マルチコア)と８基以上のベクトル演算器から成るノードを基本要素とし、複数ノードで構成されること。 ただし、サブシステムAの計算ノードは全て同じ構成であること。 計算ノードがディスクレスで構成され、ネットワークを経由したブート機能でシステムの起動が行える場合、又は、ブートOSを配信してサブシステム内の全ノードを同じ構成に保つ機能を持つ場合は、総合評価基準に基づき得点を与える。 ③ サブシステムBは、１基以上のAPUから成るノード、又は、１基以上の64bitアーキテクチャのCPU(マルチコア)と1基以上のGPUから成るノードを基本要素とし、複数のノードで構成されること。 ただし、サブシステムB の計算ノードは全て同じ構成であること。 CPU とGPUの間でハードウェア機構によりメモリ一貫性制御機能を持つ場合には、総合評価基準に基づき得点を与える。 ここで、APUの場合は、APU内のCPU部分とGPU部分とする。 加えて、計算ノードがディスクレスで構成されネットワークを経由したブート機能でシステムの起動が行える場合、又は、ブート OS を配信してサブシステム内の全ノードを同じ構成に保つ機能を持つ場合19は、総合評価基準に基づき得点を与える。 ④ サブシステムCは、２基以上のx86-64アーキテクチャのCPU(マルチコア)から成るノードを基本要素とし、複数のノードで構成されること。 ただし、サブシステムCの計算ノードは全て同じ構成であること。 計算ノードがディスクレスで構成され、ネットワークを経由したブート機能でシステムの起動が行える場合、又は、ブートOSを配信してサブシステム内の全ノードを同じ構成に保つ機能を持つ場合は、総合評価基準に基づき得点を与える。 ⑤ データ処理部は、2基以上のx86-64アーキテクチャのCPU(マルチコア)とデータサイエンスや三次元可視化支援のための 2 基以上のレイトレーシングと単精度浮動小数点演算に対応したGPU から成るノードを基本要素とし、6ノード以上で構成されていること。 ただし、データ処理部の計算ノードは全て同じ構成であること。 ⑥ フロントシステム部は、2 基以上の64bit アーキテクチャのCPU(マルチコア)から成るノードを基本要素とし、4ノードで構成されること。 障害対策を施し、共同研究者の同時利用に支障をきたさない構成にすること。 ユーザーはフロントシステム部をアクセス窓口として用いて、大規模並列演算部の各サブシステムを利用可能であること。 ⑦ 大規模並列計算機は、計算ノード単体(又は複数の計算ノードを搭載したシャーシ単体)にハードウェア障害が発生した場合、その障害ノード(障害シャーシ)を自動的に切り離して運用を継続できること。 ⑧ 大規模並列計算機のハードウェア障害により自動的に切り離された障害ノード(障害シャーシ)は、運用中に保守を行い、保守後は運用中の他ノードに影響を与えずに組み込めること。 ⑨ 複数ノードで構成されるフロントシステム部には、ユーザは一つのホスト名(又はIP アドレス)を指定すれば、自動的にいずれかのノードにログインできる負荷分散機能を有すること。 (2) 演算処理性能① 大規模並列演算部の総理論演算性能は、29.4PFLOPS以上であること。 ただし、サブシステムA及びサブシステムCの計算ノードにGPU又はAPUを搭載する場合は、その演算性能は性能評価に含めないこと。 総理論演算性能が29.4PF以上の場合は、総合評価基準に基づき得点を与える。 ② サブシステムAの理論演算性能は4PFLOPS以上であること。 ③ サブシステムCの理論演算性能は0.1PFLOPS以上であること。 CPU(マルチコア)の動作周波数が2.7GHz以上の場合は、総合評価基準に基づき得点を与える。 ④ フロントシステム部のノード当たりの理論演算性能は、共同研究者の同時利用に支障を来さない性能を有すること。 CPU(マルチコア)１基のコア数が96コア以上の場合は、総合評価基準に基づき得点を与える。 ⑤ サブシステムA及びサブシステムBの演算処理性能は、量研が指定するプログラムを用いて行うベンチマークテストの結果が、所定の要件を満たすこと。 ⑥ データ処理部のCPUの総理論演算性能は、50TFLOPS以上であること。 GPUの総20単精度浮動小数点演算性能は、1PFLOPS以上であること。 CPU(マルチコア)１基のコア数は96コア以上であること。 構成ノード数が6ノード以上、及び、構成ノード当たりに搭載するGPUの数が２基以上の場合は、それぞれ総合評価基準に基づき得点を与える。 (3) 主記憶装置① サブシステムAは、1ノード当たり理論性能1000GB毎秒以上のバンド幅を持つerror correction code (ECC)機能を有する主記憶装置を演算コア当たり3GiB以上、及び、総主記憶容量を150TiB以上備えること。 総主記憶容量が150TiB以上の場合は、総合評価基準に基づき得点を与える。 ② サブシステムBは、GPUまたはAPU1基当たり理論性能3TB毎秒以上のバンド幅を持つ主記憶装置を74GiB以上備えること。 主記憶装置はECC機能を有すること。 GPU又はAPU1基当たりに内蔵されている主記憶容量が74GiB以上の場合は、総合評価基準に基づき得点を与える。 ③ サブシステム C の主記憶容量は、１ノード当たり理論性能 600GB 毎秒以上のバンド幅を持つECC 機能を有する主記憶装置を 1.5TiB 以上備えること。 CPU(マルチコア)1コア当たりの主記憶容量が16GiB以上であること。 総主記憶容量が15TiB以上の場合は、総合評価基準に基づき得点を与える。 ④ フロントシステム部は１ノード当たり理論性能 600GB 毎秒以上のバンド幅を持つECC機能を有する主記憶装置を768GiB以上有すること。 ⑤ データ処理部の主記憶容量は、１ノード当たり理論性能600GB毎秒以上のバンド幅を持つ ECC 機能を有する主記憶装置を 1TiB 以上備えること。 １ノード当たりの主記憶容量が1TiB以上である場合は、総合評価基準に基づき得点を与える。 (4) 内部ネットワーク① 大規模並列演算部の各サブシステム内において、任意の2つのノード間の片方向総理論データ転送速度は25GB/s 以上であり、同時に双方向のデータの転送が行えること。 なお、ファットツリートポロジーを提案する場合は、各サブシステム内の全てのノードに対してフルバイセクションバンド幅が実現できるネットワーク構成であること。 ② サブシステム B において GPU 又は APU はノード内のホストプロセッサや他のGPU 又は APU を介さずに各ネットワークアダプタ経由で他ノードの GPU 又はAPUと通信でき、かつGPU又はAPU当たりネットワークポートを1ポート搭載する場合は、総合評価基準に基づき得点を与える。 ③ 大規模並列演算部の各サブシステム内において、任意の計算ノード間の経路は冗長化されている場合は、総合評価基準に基づき得点を与える。 (5) ユーザ用ネットワークインタフェース① フロントシステム部の各ノードは、10Gbps 以上の理論性能を有するイーサネットインタフェースを1 ポート以上備え、2.1.3 ネットワーク装置の(2)フロントエン21ドネットワークスイッチに接続すること。 ② データ処理部の各ノードは、10Gbps 以上の理論性能を有するイーサネットインタフェースを1 ポート以上備え、2.1.3 ネットワーク装置の(2)フロントエンドネットワークスイッチに接続すること。 2.1.2 外部記憶装置外部記憶装置は大規模並列計算機に接続され、大規模並列演算部、データ処理部及びフロントシステム部との共用ファイルシステムとして利用される。 外部記憶装置は HDD 部とSSD部から構成され、SSD部の一部は各ユーザのソースプログラム等を保管するホーム領域として用いられる。 ① 外部記憶装置は、大規模並列計算機と25GB/sec以上(理論性能)の帯域で接続し、大規模並列計算機の各部及び量研が提供する API を用いて外部データアクセスゲートウェイ経由で通信する量研外部ストレージと、ファイルI/Oが可能であること。 ② 大規模並列計算機の各部とのファイルI/Oを行う複数のファイル制御装置を有すること。 ③ HDD部は信頼性及び耐障害性が RAID6 相当の構成で 30PB 以上の総実効容量を有すること。 総実効容量が30PB以上の場合は、総合評価基準に基づき得点を与える。 ④ SSD部は信頼性及び耐障害性がRAID6 相当の構成で 1PB以上の総実効容量を有すること。 総実効容量が1PB以上の場合は、総合評価基準に基づき得点を与える。 ⑤ HDD 部と大規模並列計算部の計算ノードとの間の I/O 性能は理論性能スループットが150GB/sec以上であること。 ⑥ SSD部と大規模並列計算部の計算ノードとの間のI/O性能は理論性能スループットが60GB/sec以上であること。 ⑦ HDD部及びSSD部で利用可能なinode数はそれぞれ80億以上であること。 ⑧ 外部記憶装置においてメタデータの管理用領域が必要な場合、メタデータの管理用領域はSSDを用いて構成される場合は、総合評価基準に基づき得点を与える。 ⑨ 外部記憶装置のコントローラがディスクキャッシュを有する場合は、総合評価基準に基づき得点を与える。 ⑩ 外部記憶装置は、無停電電源装置等を備え、瞬断、不慮の停電時にデータを保護しつつ安全に停止できること。 ⑪ 外部記憶装置は、ディスクドライブ、ファン、電源装置及びコントローラの故障に対して運用が継続できるよう冗長性を有し、活性保守に対応できること。 ⑫ 外部記憶装置は、自動的にディスクドライブを診断し、エラーが発見された場合には自動的に回復処理を行い運用継続(予防保守対応)できること。 2.1.3 ネットワーク装置ネットワーク装置は、フロントエンドネットワークを構成する機器と外部データアクセスゲートウェイから成り、大規模並列計算機等を量研ネットワーク装置へ接続するために利用される。 22フロントエンドネットワークは上流となる量研ネットワーク装置に大規模並列計算機フロントシステム部各ログインノードを 10Gbps 以上の理論回線速度で接続し、ユーザーのアクセス等に利用される。 外部データアクセスゲートウェイは、スーパーコンピュータシステムの大規模並列演算部及びデータ処理部から量研外部ストレージへ、ユーザーのアクセス経路であるフロントエンドネットワーク側を経由せずに100Gbps以上の理論回線速度のイーサネットで接続する経路として利用される。 (1) ファイアウォール① 10Gbps以上の理論性能を有すること。 ② フロントエンドネットワークに設置し、上流ネットワークとの接続に用いるため、10Gbps以上の理論性能を有するインタフェースを1ポート以上備え、量研所有の上流ネットワーク機器と接続すること。 なお、インタフェースはLCコネクタ、マルチモードとする。 ③ 以下の(2)フロントエンドネットワークスイッチで示す2台以上のネットワークスイッチとそれぞれ接続するのに必要な 10Gbps 以上の理論性能を有するインタフェースを備えること。 ④ 外部にWebサービスを提供するためのDMZ領域(CSC-DMZ)を設けること。 2.1.4Web フロントエンドシステムで示す(1) CSC-DMZ ネットワークスイッチとの接続に必要な10Gbps以上の理論性能を有するインタフェースを備えること。 ⑤ 冗長化された電源ユニットを有すること。 ⑥ ファイアウォールの設置と機能発揮に必要なインタフェースモジュールや光ケーブルの調達と結線も行うこと。 (2) フロントエンドネットワークスイッチ① 大規模並列計算機のフロントシステム部の各ノード、データ処理部の各ノードとの接続に必要な10Gbps以上の理論性能を有するインタフェースを備えること。 ② 10Gbps以上の理論性能を有するインタフェースを2ポート以上備え、(1)ファイアウォールに示したファイアウォールと接続すること。 ③ フロントエンドネットワークスイッチは、2台以上の冗長化構成とすること。 ④ 冗長化された電源ユニットを有すること。 ⑤ フロントエンドネットワークスイッチの設置と機能発揮に必要なインタフェースモジュールや光ケーブルの調達と結線も行うこと。 (3) 外部データアクセスゲートウェイ① 大規模並列演算部及びデータ処理部から、量研外部ストレージに格納されたデータへ、フロントエンドネットワークを経由しないアクセスを可能とすること。 ② 大規模並列計算機内部ネットワークと100Gbps以上の理論性能で接続すること。 ③ 量研外部ストレージ側とイーサネット通信可能な100GBase-SR4に対応したインタフェースを備えること。 (大規模並列計算機内部ネットワークが Infiniband に基づ23く場合、外部データアクセスゲートウェイはInfinibandとイーサネットを変換するゲートウェイアプライアンスとなる想定である。 一方、大規模並列計算機内部ネットワークがイーサネットに基づく場合には、外部データアクセスゲートウェイは100GL3ネットワークスイッチとなる想定である。 )④ 外部データアクセスゲートウェイは、2台以上の冗長化構成とすること。 ⑤ 外部データアクセスゲートウェイを量研外部ストレージ側と接続するために必要な光トランシーバモジュールも調達に含めること。 ⑥ 冗長化された電源ユニットを有すること。 (4) 無停電電源装置瞬断、不慮の停電時においても、上記の(1)ファイアウォールがサービスを継続し、停電が 3 分以上継続する場合は、これらを自動的に停止することができる無停電電源装置を備えること。 2.1.4 WebフロントエンドシステムWebフロントエンドシステムは、2.1.3 ネットワーク装置 (1)ファイアウォールのDMZ領域(CSC-DMZ)において、多要素認証・シングルサインオンで利用可能な下記のWebサービスを提供する機器で構成すること。 ただし各サーバは仮想マシンとして実装しても良い。 またこれらのサービスはWebフロントエンドシステムはWeb Application Firewall(以下「WAF」という。 )で保護すること。 (A) 認証・認可サーバ(B) ポータルサイト用Webサーバ(C) ソフトウェア開発用コードリポジトリ(D) ユーザ支援チケットシステム(E) 大規模並列計算機Webフロントエンドサーバ(F) 外部ファイル共有サーバ※本節で記述する「Webフロントエンドシステム」はCSC-DMZに展開するWebサービス群であり、2.1.1 大規模並列計算機のハードウェア「フロントシステム部」(ログインノード)や、2.1.3 ネットワーク装置の「フロントエンドネットワーク」とは意味が異なるため、注意すること。 (1) CSC-DMZネットワークスイッチ① 2.1.3 ネットワーク装置 (1)ファイアウォールに示したファイアウォールとの接続に必要な、10Gbps 以上の理論性能を有するインタフェースを 2 ポート以上備えること。 ② (2) WAFに示すWAFとの接続に必要な、10Gbps以上の理論性能を有する光インタフェースを１ポート以上備えること。 ③ (3)-(A) 認証・認可サーバ、(B) ポータルサイト用Webサーバ 、(C)ソフトウェア開発用コードリポジトリ、(D) ユーザ支援チケットシステムとそれぞれ 1Gbps以上の理論性能で接続するために必要なインタフェースを備えること。 ④ (3)-(E) 大規模並列計算機Webフロントエンドサーバ及び(F)外部ファイル共有サーバと 10Gbps 以上の理論性能で接続するために必要なインタフェースを備えること。 ⑤ VLAN及びルーティング機能を有すること。 ⑥ 冗長化された電源ユニットを有すること。 24(2) WAF① 10Gbps 以上のスループット理論性能を有するインタフェースにより(1)CSC-DMZネットワークスイッチに示したネットワークスイッチと接続すること。 ② SSL/TLSハードウェアアクセラレータを具備し、2.5Gbps以上の理論スループットを有すること。 スループットが2.5Gbps 以上の場合は、総合評価基準に基づき得点を与える。 ③ 通信ログを収集・エクスポート可能であること。 ログ保管に必要な外部記憶領域として4TB以上を用意すること。 ④ 冗長化された電源ユニットを有すること。 (3) Webフロントエンドサーバ群(A) 認証・認可サーバ① 1Gbps 以上の理論性能を有するインタフェースにより(1)CSC-DMZ ネットワークスイッチに示したネットワークスイッチと接続すること。 ② CPUコア数4以上、主記憶容量8GiB以上、ディスク容量100GB以上を備えること。 ③ LDAP サーバと通信を行う独立した経路に用いるインタフェースを備えること。 ④ 必要に応じて、本スーパーコンピュータシステムとは独立に量研が用意する他システムが利用するIdPとしても利用可能であること。 (B) ポータルサイト用Webサーバ① 1Gbps以上の理論性能を有するインタフェースにより(1)CSC-DMZネットワークスイッチに示したネットワークスイッチと接続すること。 ② CPUコア数8以上、主記憶容量16GiB以上、ディスク容量500GB(OS用領域を除く。 )以上を備えること。 (C) ソフトウェア開発用コードリポジトリ① 1Gbps以上の理論性能を有するインタフェースにより(1)CSC-DMZネットワークスイッチに示したネットワークスイッチと接続すること。 ② オンプレミスに設置・運用すること。 ③ CPUコア数4以上、主記憶容量8GiB以上、ディスク容量500GB以上(OS用領域を除く。 )を備えること。 ④ リポジトリ領域はRAID6相当の耐障害性を確保し、またホットスペアを備えること。 (D) ユーザ支援チケットシステム① 1Gbps以上の理論性能を有するインタフェースにより(1)CSC-DMZネットワークスイッチに示したネットワークスイッチと接続すること。 ② CPUコア数4以上、主記憶容量8GiB以上、ディスク容量200GB(OS用領域を除く。 )以上を備えること。 (E) 大規模並列計算機Webフロントエンドサーバ① 10Gbps 以上の理論性能を有するインタフェースにより(1)CSC-DMZ ネットワークスイッチに示したネットワークスイッチと接続すること。 ② CPUコア数 64 以上、主記憶容量256GiB以上、ディスク容量200GB(OS用領域を除く。 )以上を備えること。 (F) 外部ファイル共有サーバ25① 10Gbps 以上の理論性能を有するインタフェースにより(1)CSC-DMZ ネットワークスイッチに示したネットワークスイッチと接続すること。 ② オンプレミスに設置・運用すること。 ③ CPUコア数8以上、主記憶容量16GiB以上を備えること。 ④ OS 領域等を別にしたユーザが利用可能な総実効容量が 38TB 以上となるNVMe SSD ストレージを備えること。 ユーザデータ領域は RAID60 で耐障害性を確保し、またホットスペアを備えること。 (4) 無停電電源装置瞬断、不慮の停電時においても、上記(3)-(A-F)のサーバ機器がサービスを継続し、停電が3分以上継続する場合は、これらを自動的に停止することができる無停電電源装置を備えること。 2.2 ソフトウェア要件スーパーコンピュータシステムが具備すべきソフトウェア要件を以下に述べる。 2.2.1 大規模並列計算機(大規模並列演算部、データ処理部、フロントシステム部)の制御プログラム等(1) オペレーティングシステム① 大規模並列演算部のオペレーティングシステムは、UNIX 系 OS であること。 また、大規模並列演算部については、OS ジッタ対策を施すこと。 ② データ処理部及びフロントシステム部のオペレーティングシステムは、日本語対応のUNIX系OSであること。 ③ 大規模並列計算機フロントシステム部とデータ処理部のオペレーティングシステムは、WebフロントエンドサーバからVNCもしくはRDPに基づくリモートデスクトップ接続により利用可能なデスクトップ環境を備えること。 ④ データ処理部及びフロントシステム部は、HPC向けコンテナエンジンが利用可能であること。 コンテナはユーザ権限で起動可能であること。 コンテナ内から各ユーザのhomeディレクトリ、外部記憶装置の作業用ディレクトリを参照可能であること。 (2) ジョブ管理機能① バッチジョブ処理を行うための NQS (Network Quequing System) 相当の機能を有すること。 ② 大規模並列演算部の各サブシステムにおいて、1 ジョブで全ノードの全演算器コアを使用するジョブクラスを設定し実行できること。 ③ 大規模並列演算部の各サブシステムにおいて、複数の計算ノードを 1 つのジョブで占有実行できること。 ④ 特定ユーザ及びグループによる計算ノードの占有を防ぐため、ユーザ及びグループごとに投入されたジョブ数が一定数を超えた場合、ジョブ投入を制限する、あるいはジョブを投入してもキューに入った状態で保留とする機能を有すること。 ⑤ ジョブ投入コマンドのコメントオプションにプログラム名(任意の文字列)の指定が26ない場合、そのジョブの投入を拒否できること。 ⑥ キュークラス毎にユーザの使用権を設定できること。 ⑦ キュークラス毎に各ジョブが消費する資源量(経過時間、主記憶量)を制限できること。 ⑧ ジョブの終了をメールでユーザに通知できること。 ⑨ ユーザがジョブの状態(ジョブID、ユーザID、キュークラス、ジョブの状態、コア数、使用メモリ、経過時間、使用コア時間)を確認できること。 ⑩ インタラクティブ処理用ノードとバッチ処理用ノードに分けて運用できること。 また、各ノードのパーティション分割はシステム稼動中に動的に行えること。 ⑪ ユーザ又はジョブクラス毎等に設定された各種プライオリティと、それらのリソース使用実績(累積使用コア時間、ジョブの経過時間等) によりジョブの実行権を制御するフェアシェアスケジューリング機能を有すること。 ⑫ 大規模並列ジョブの演算器リザーブ中にジョブ実行開始予定時間を遅らせることなく、その空き演算器を利用して他の実行待ち並列ジョブを優先実行させるバックフィル機能を有すること。 ⑬ 計算ノードに障害など異常が発生した場合、その計算ノードで実行中のジョブ及びそのジョブが使用している全ての計算ノード上の当該ジョブを自動的に停止し、当該異常ノードをバッチジョブサービスの対象外とする機能を有すること。 ⑭ 依存関係を考慮したジョブ実行ができるジョブチェイン機能を有すること。 ⑮ ジョブ投入時に、複数のジョブについて実行順序の指定ができる機能を有すること。 また、先行して実行されたジョブの終了コードによって、後続のジョブの実行要否が指定できること。 ⑯ 全演算コアを効率的かつ安定的に運用管理するためのクラスタシステムソフトウェアなどの運用ツールは、大規模並列で運用実績のあるソフトウェアを採用すること。 ⑰ ジョブ管理システム上において、大規模並列演算部の各サブシステムの一部又は全部をユーザが選択してジョブ投入可能とすること。 ⑱ ジョブ管理機能はユーザのコンテナを複数の計算ノードにまたがるジョブとしてバッチ的に実行可能であること。 ⑲ データ処理部は下記３種類D1-D3のノード毎に異なる運用を可能とすること。 ノード数が７ノード以上の場合には、D1ノードとして追加すること。 (A) D1ノード(２ノード以上)は、通常のSSHログインにより複数ユーザが同時利用可能とすること。 ただし、各ノードは単一ユーザが同時に利用可能なCPUコア数、主記憶装置容量の上限を設定可能であること。 (B) D2ノード(２ノード)は、固定構成の複数のハイパーバイザ型仮想化マシン(VM)を、ユーザがWebフロントエンドシステムポータルサイトから予約して占有利用可能とすること。 (C) D3ノード(２ノード)は、ユーザがWebフロントエンドシステムポータルサイトから、CPUコア数、GPU数、主記憶容量を指定したハイパーバイザ型のVMインスタンス又はLinux Container (LXC)等を予約することで占有利用可能とする27こと。 ユーザがCPU コア数、GPU 数、及び主記憶容量がセットとなったテンプレートを選択して自動的にVM インスタンスを作成可能なシステムを備える場合は、総合評価基準に基づき得点を与える。 ⑳ 上記データ処理部D1-D3ノードの構成・数は運用期間中に変更可能であること。 ㉑ Webフロントエンドシステムからデータ処理ノードの予約を行ったユーザに、利用に先立って電子メールによるリマインダを送信可能であること。 ㉒ ジョブ管理機能の構成と2.2.3 (E)大規模並列計算機Webフロントエンドサーバの要求仕様との整合性に疑義が生じた場合には、量研と協議の上、方針を決定すること。 (3) ユーザ管理機能① ログイン中において、利用期限を超過した場合、次のログイン時にユーザの利用権を自動的に失効できる機能を有すること。 大規模並列演算部のサブシステム毎に、ジョブ実行中において利用可能演算器コア時間を超過した場合、次のジョブ投入時に当該ジョブ実行権を自動的に失効できる機能を有すること。 なお、演算器コア時間の超過については、量研が指定した時間(１回/日)に課金ファイルを集計し、課金データの累積演算器コア時間を利用可能演算器コア時間と比較し、サブシステム毎に利用権又はジョブ実行権を失効できること。 ② 各ユーザは、サブシステム毎の利用期限、累積使用演算器コア時間、及び利用可能演算器コア時間、並びにディスク使用量を一覧形式で確認できること。 ③ ユーザ登録の際にサブシステム毎の利用期限、累積使用演算器コア時間、及び利用可能演算器コア時間、ディスク使用量、並びに当初登録パスワードを一括して設定できること。 ④ 定期保守等のためにユーザのログインを、IP アドレス単位でのアクセス制限又はログインシェルの切り替えにより、一時的に制限できること。 ⑤ セッション(ssh、sftp)開設後、量研が指定した無通信時間を越える場合、ユーザのセッションを自動的にキャンセルする機能を有すること。 ⑥ ログインシェルには、sh、csh、bash、tcsh、zsh を選択できること。 ⑦ LDAPによるユーザ管理機能を有すること。 ユーザの属性情報に基づき、量研が提供するAPI(大規模並列計算機で動作するプログラム)の実行権限を制御できること。 ⑧ 外部の各ユーザのローカル端末からフロントシステム部及びデータ処理部への直接ssh ログインは、TOTP に基づく多要素認証をユーザに強制可能であること。 上記は Web フロントエンドシステムにおける多要素認証システムとは独立に動作しても良いが、共通のLDAPに基づき動作すること。 ⑨ 2.2.3 (E) で定義されるWebフロントエンドサーバ等、量研が指定する特定のIPからフロントシステム部及びデータ処理部へのSSHアクセスに関しては、⑧のTOTPに基づく認証を求めないようにフロントシステム部及びデータ処理部側で設定可能とすること。 ⑩ ⑧の多要素認証のために必要な初期設定は各ユーザの初回アクセス時に遠隔で実施28可能とすること。 必要な情報は、暗号化された通信によりユーザへ通知可能であること。 (4) ファイル管理機能① 外部記憶装置上のファイルシステムは、大規模並列計算機の複数の計算ノードから外部記憶装置の複数のファイル制御装置を経由して 1 つのファイルを MPI-IO 及び並列入出力機能によってアクセスできること。 ② 外部記憶装置上のファイルシステムは、ユーザ、グループ、及びディレクトリ単位のquota に対応すること。 ③ 外部記憶装置上のファイルシステムは、大規模並列計算機フロントエンド部及びデータ処理部上にマウントし、ユーザーがアクセス可能とすること。 ④ 大規模並列ジョブの実行による大量のファイルアクセスによりフロントシステム部のコマンドレスポンスの遅延等を回避するQoS(Quality of Service)機能を有し、ノード単位及びユーザ単位のI/Oの帯域制御が可能である場合は、総合評価基準に基づき得点を与える。 ⑤ 外部記憶装置上のファイルシステムは、大規模並列計算機の一部の計算ノード又は外部記憶装置の一部のファイル制御装置が故障した場合でも、当該ノード以外からは、正常にファイルアクセスが継続できるよう、フェイルオーバー機能を有すること。 ⑥ フェイルオーバー中に一時的にジョブのI/O処理が停止しても、ジョブスケジューラーと連携し、I/O 処理再開後にジョブが継続実行できる場合は、総合評価基準に基づき得点を与える。 ⑦ ファイルシステムの使用量(I/O量等)をジョブ ID ごとにGUI で表示可能である場合は、総合評価基準に基づき得点を与える。 ⑧ ジョブ ID ごとの統計情報(実行時間、使用ノード数など)、ファイル操作回数(open/close/sync など)、I/O量 (Read/Write)を、ジョブIDで検索、グラフで表示する機能を有する場合は、総合評価基準に基づき得点を与える。 (5) ネットワーク機能① 標準的なTCP/IP プロトコルに基づくネットワーク機能(ssh、sftp、NFS、mail、lpd,VNC, RDP 等)を有すること(データ処理部及びフロントシステム部)。 ② データ処理部及びフロントシステム部においてX-Window システム相当の機能を有すること。 ③ SNMP エージェント機能を有すること(データ処理部及びフロントシステム部)。 ④ 大規模並列演算部及びデータ処理部から外部データアクセスゲートウェイを経由して、量研外部ストレージと TCP/IP による標準的な通信に基づくデータ取得ができること。 (6) セキュリティ機能① ファイル改竄検知ソフトウェア(Tripwire 相当)を用いてセキュリティ関連の事象29を監査記録し、システム管理者にメールで通知できること(データ処理部及びフロントシステム部)。 ② ACL機能により、ファイルアクセス権を設定できること。 ③ TCP-Wrappers 相当のアクセス制限機能を有すること(データ処理部及びフロントシステム部)。 ④ シグネチャ型とアノマリ型を併用した不正侵入予防システム(IPS)により、不正侵入を検知・予防する機能を有すること(ファイアウォール)。 ⑤ ユーザーとフロントシステム部間の通信は暗号化されること。 ⑥ 外部データアクセスゲートウェイにおいて、許可した特定の通信以外は遮断する機能、及び、必要に応じて通信ログを採取できる機能を備えること。 (7) 運転管理機能① ユーザ管理、システムの自動起動と自動停止、及びシステム稼動状況の一元的な管理運用ができること。 ② 予め設定した時刻にシステムの自動起動、自動停止(空調設備は対象外)ができること。 特に、量研の計画停電(48時間停電)に対応可能であること。 ③ 上記①及び②のシステムの自動起動・自動停止の操作及びシステム稼動状況の表示は、Web ブラウザからできること。 ④ システム起動時の突入電流を低減する手段を有する場合は、総合評価基準に基づき得点を与える。 ⑤ 各計算ノードの資源(演算器コア、主記憶装置)の利用状況及び実行中のプログラム稼動状況をシステム管理者が調査できる機能を有すること。 ⑥ 訂正可能メモリエラーを監視し、問題のあるメモリページを使用しない機能を有する場合は、総合評価基準に基づき得点を与える。 ⑦ 計算ノード間の通信について、ノード毎もしくはネットワークスイッチのリンク毎に通信量、通信経路の稼動状況をシステム管理者が調査できる機能を有すること。 ⑧ 量研が指定するNTP サーバに1日1回アクセスして自動的に時刻補正を行うこと。 ⑨ 大規模並列演算部に対する電力上限値を設定でき、その上限内で動作するように制御する機能を有すること。 また、使用電力量実績値を常時監視し、設定した電力量を超過した際は通報する機能を有すること。 電力上限値の変更は、システムを停止することなく実施可能であること。 ⑩ サブシステムA及びサブシステムBに対して、Green500レベル１の基準を満たす使用電力監視機能を有すること。 (8) 会計情報管理機能① 運転記録として、システム起動・停止のログやハードウェア・ソフトウェアのエラーメッセージ等をファイルに保存し、必要時に検索し、表示できること。 ② 午前9 時を情報収集の起点とする24 時間の会計情報を量研が指定するフォーマットで収集ファイルに保存できること。 ただし、翌日の情報収集の起点である午前 930時に処理が終了していないものについては、ジョブ及びセッションが終了した日の収集ファイルにその情報を保存できること。 2.2.2 大規模並列計算機(大規模並列演算部、フロントシステム部、及び、データ処理部)のプログラム開発環境(1) コンパイラ以下の要件を満たす Fortran、C、及び C++コンパイラをそれぞれフロントシステム部に同時使用14以上かつ大規模並列計算機全体のノード数をサポートするライセンス、及び、データ処理部に同時使用2以上かつデータ処理部のノード数をサポートするライセンスを有すること。 ここで、フロントシステム部において大規模並列演算部の各サブシステムに対応した実行ファイルを作成可能な環境を提供すること。 ① ISO/IEC 1539:2010準拠であるFortran 処理系(Fortran2008)を提供すること。 また、OpenMP 4.5以降に準拠した並列化機能を有すること。 ② ISO/IEC9899:1999 準拠であるC 言語処理系(C99)を提供すること。 また、OpenMP 4.5以降に準拠した並列化機能を有すること。 ③ ISO/IEC 14882:2017準拠であるC++言語処理系(C++17)を提供すること。 また、OpenMP 4.5以降に準拠した並列化機能を有すること。 ④ サブシステムBにおいて、上記①から③についてハードウェアネイティブの機能(CUDA、HIP、SYCL等)、OpenMP5.0規格及びOpenACC規格に対応したコンパイラを提供する場合は、総合評価基準に基づきそれぞれ得点を与える。 ⑤ サブシステムAのCPU(マルチコア)、サブシステムC、及び、データ処理部において、Juliaが利用可能であること。 ⑥ サブシステムCにおいて、サブシステムCのノード数をサポートする商用ライセンスのIntelコンパイラ、Intel MKLライブラリ、Intel MPIを提供すること。 (2) 並列通信ライブラリ① 上記(1)コンパイラの項目①〜⑥で要求する言語処理系から利用可能な、MPI 規格3.1 以降に準拠した並列通信ライブラリを提供すること。 ② MPI ライブラリはスレッドセーフであり、MPI_THREAD_SERIALIZED以上のレベルで動作すること。 ③ 各サブシステムにおいて、全演算ノードを使用した通信において安定動作を保証すること。 (3) 科学技術計算ライブラリ① 並列処理における科学技術計算を支援するために、大規模並列演算部の各サブシステム及びデータ処理部において、アーキテクチャに適合したライブラリを有すること。 ② 大規模並列演算部のサブシステムAのCPU(マルチコア)、サブシステムBのCPU(マルチコア)又はAPU内部のCPUコア、及び、サブシステムCのCPU(マル31チコア)、並びに、データ処理部のCPU(マルチコア)においては、数値演算ライブラリとして、アーキテクチャに適合したBLAS、LAPACK、ScaLAPACK 等を有すること。 ③ 大規模並列演算部のサブシステムAのCPU(マルチコア)、サブシステムBのCPU(マルチコア)又はAPU内部のCPUコア、及び、サブシステムCのCPU(マルチコア)、並びに、データ処理部のCPU(マルチコア)においては、線形方程式の求解、行列の固有値計算、高速フーリエ変換、並列化された擬似乱数生成を含む数値計算ライブラリを有すること(MUMPS, FFTW, PETSc等)。 ④ 大規模並列演算部のサブシステムAにベクトル演算器を備えた計算ノードを採用する場合は、ベクトル演算器で利用可能な数値演算ライブラリ(BLAS、LAPACK、ScaLAPACK、MUMPS、PETSc、FFTW等)を有すること。 ⑤ 大規模並列演算部のサブシステムBにおいてはGPU又はAPUで利用可能なBLAS、線形方程式の求解、行列の固有値計算、高速フーリエ変換等の機能を提供する数値ライブラリを有すること。 ⑥ 大規模並列演算部及びデータ処理部においては、I/Oライブラリとして、HDF及びNetCDFを有すること。 ⑦ 大規模並列演算部のサブシステムB及びデータ処理部においては、機械学習のためのエコシステムを有すること(TensorFlow、PyTorch2.1以降、Scikit-learn等)。 (4) デバッギングツール① 大規模並列演算部及びデータ処理部においては、プログラム開発や移植を行うためのプログラムデバッガを有すること。 ② 大規模並列演算部は及びデータ処理部においては、並列化のためのデバッギングツールを有すること。 (5) 並列化チューニングツール① 大規模並列演算部及びデータ処理部においては、プログラムの高速化を支援するための性能評価ツールを有すること。 また、性能評価ツールはGUI で操作できること。 ② 大規模並列演算部及びデータ処理部においては、実行プログラム全体(逐次ジョブ、MPI 並列ジョブ、スレッド並列ジョブ、MPI並列及びスレッド並列のハイブリッド並列ジョブ)をハードウェアモニタ情報により収集・情報解析し、解析結果を一覧表示する性能評価コマンドを有すること。 ③ 大規模並列演算部のサブシステム B 及びデータ処理部は、プログラムの GPU 又は APU 上の実行を支援するためのパフォーマンスプロファイラを有すること。 また、プロファイラはデスクトップ上でグラフィカルに操作できること。 ④ アプリケーション実行時におけるノード間通信及び計算量の不均衡を減らすため、MPIライブラリと連携して、MPIのRankを自動的に配置する機能を有する場合は、総合評価基準に基づき得点を与える。 32(6) その他のソフトウェア① 大規模並列演算部、フロントシステム部及びデータ処理部は、Python 3.8以降のPython処理系を有すること。 その他、mpi4py、SciPy、 NumPy等関連ツールを有すること。 ② フロントシステム部及びデータ処理部は、Perl、Ruby、Git、emacs、 gnuplot、Visual Studio Code等を有すること。 ③ データ処理部は可視化用アプリケーションを備えること。 特にParaview及びVTKを有すること。 ④ その他、ユーザから要望によるソフトウェアの導入を随時行うこと。 2.2.3 WebフロントエンドシステムWeb フロントエンドシステムは、多要素認証・シングルサインオンで利用可能な下記のWeb サービスを構成すること。 ただし、シングルサインオンに関しては、提供が著しく困難であると両機構が認めるサービスに関しては、導入時点でその一部が利用可能な形でインストールされていなくても構わない。 導入時点でシングルサインオンに対応できないサービスについては、それ以外のシングルサインオンに対応したサービスと共通のLDAP及びログイン手段を用いた個別多要素認証によりユーザが利用できるようにすること。 また導入時点でシングルサインオンに対応できなかったサービスが、契約期間中に対応可能となった場合には、量研と協議の上で導入を行うこと。 (A) 認証・認可サーバ(B) ポータルサイト用Webサーバ(C) ソフトウェア開発用コードリポジトリ(D) ユーザ支援チケットシステム(E) 大規模並列計算機Webフロントエンドサーバ(F) 外部ファイル共有サーバ(A) 認証・認可サーバ① ユーザがWebブラウザで利用可能な上記(B)-(F)のWebフロントエンドサービスを、OpenID ConnectもしくはSAMLに基づくシングルサインオンで利用可能とすること。 ② 2.2.1 (3)⑦の LDAP サーバと連携して動作すること。 Azure AD 及びShibbolethに基づく外部IdPと連携可能な場合は、総合評価基準に基づき得点を与える。 ③ ソフトウェアトークンを利用する方法及び電子メールにより OTP を通知する方法を含む多要素認証をユーザに強制可能とすること。 多要素認証に必要なライセンスはユーザ数400を想定して本契約に含めること。 多要素認証のために必要な初期設定は各ユーザの初回アクセス時に遠隔で実施可能とすること。 この際、必要な情報は暗号化された通信によりユーザへ通知可能であること。 多要素認証システムがモバイルプッシュ通知に対応する場合は、総合評価基準に基づき得点を与える。 ④ ユーザに対して強制するパスワードポリシーを設定可能であること。 ⑤ ユーザ属性情報に基づき、アクセス先や利用可能なリソースを管理する認可機能を可能とすること。 (B) ポータルサイト① (A)認証・認可サーバと連携し、Webブラウザによりユーザがシングルサイン33オンで Web フロントエンドシステムを利用する際の単一のゲートウェイとして動作すること。 Webフロントエンド他サービスへのリンクをユーザに表示すること。 他サービスへのディープリンクはこのポータルWebサイトトップへとリダイレクトすること。 ② ログイン以前に表示される一般公開情報と、ログイン後にアクセスできる情報・コンテンツを制御可能であること。 ③ 量研が適宜ユーザへのお知らせを表示・更新できること。 コンテンツ配置のカスタマイズが可能であること。 ④ 2.2.1(2)⑲に定めるデータ処理部 D2ノード及びD3 ノードのWeb フォームからの予約を可能とすること。 ⑤ ポータルサイトにおいて、ユーザごとの属性情報・アクセス権限を考慮した、Webフロントエンド部の横断的な記事・ファイル・ソースコード・データの全文検索機能を提供する場合は、総合評価基準に基づき得点を与える。 ⑥ 外部クラウドサービスを利用した電子申請フォームへのリンクを設置可能であること。 (C) ソフトウェア開発用コードリポジトリ① (A)認証・認可サーバと連携し、ユーザがシングルサインオンで Web ブラウザ又はCLI によりアクセスして、ソースコードの clone/commit が可能であること。 ② ユーザが本スーパーコンピュータシステムの外部又は大規模並列計算機からアクセス可能であること。 ③ プロジェクトごとに利用可能な容量上限を指定できること。 ④ ファイルが追加されると自動でマルウェアスキャンが実行されること。 検出されたマルウェアは隔離し、スーパーコンピュータシステム内に持ち込ませないようにした上で、ユーザに通知すること。 マルウェアスキャンに必要な定義ファイルは運用期間を通じて常に最新にアップデート可能であること。 (D) ユーザ支援チケットシステム① ユーザがログインして利用可能な、チケットによる課題管理システムを提供すること。 ② (A)認証・認可サーバと連携し、ユーザがシングルサインオンで利用可能とすること。 ただし、導入時点でシングルサインオンに対応できない場合は、それ以外のシングルサインオンに対応したサービスと共通のLDAP及びログイン手段を用いた個別多要素認証によりユーザが利用できるようにすること。 (E) 大規模並列計算機Webフロントエンドサーバ① (A)認証・認可サーバと連携し、シングルサインオンでユーザが Web ブラウザ(Google Chrome, Mozilla Firefox, Microsoft Edge等)でHTTPSアクセスして、Webブラウザ上で大規模並列計算機大規模並列演算部へのジョブ投入スクリプト作成、ジョブ投入、ジョブ実施状況の確認を行えるようにすること。 ② 大規模並列計算機フロントシステム部、データ処理部に、VNC, RDP等によるリモートデスクトップアクセスし、デスクトップ環境を利用可能とすること。 RDPを利用可能な場合は、総合評価基準に基づき得点を与える。 ③ ブラウザ内でターミナルを開きCLIも使用可能であること。 ④ Jupyter 等のインタラクティブな開発ツールを大規模並列計算機において利用可能とすること。 ⑤ Webフロントエンドサーバから実行したジョブは、2.2.1 (2)と共通のジョブ・リソース管理機能で管理・課金可能であること。 ⑥ トップページは必要に応じてカスタマイズ可能であること。 34(F) 外部ファイル共有サーバ① (A)認証・認可サーバと連携し、シングルサインオンでユーザが Web ブラウザでHTTPSアクセスして、Webブラウザ上でファイルのアップロード、ダウンロードを実施可能とすること。 ② ユーザがドラッグ＆ドロップでファイルをアップロード可能とすること。 ユーザが対象ファイルをチェックして、一括ダウンロードできること。 ③ ユーザ一人当たり利用可能な容量上限を指定できること。 ④ 大規模並列計算機においてNFSマウントし、フロントシステム部及びデータ処理部上のシェルからファイルにアクセス可能とすること。 ⑤ ファイルが追加されると自動でマルウェアスキャンが実行されるように設定すること。 検出されたマルウェアは隔離しスーパーコンピュータシステム内に持ち込ませないようにした上で、速やかにユーザ及び管理者に検知内容を通知すること。 マルウェアスキャンに必要な定義ファイルは運用期間を通じて常に最新にアップデート可能であること。 ⑥ ファイル所有者であるユーザが指定する本スーパーコンピュータシステムの他ユーザとファイルを共有可能であること。 35(性能、機能以外の要件)3. 設置要件等3.1 据付配線作業等(1) 据付配線作業本調達には、据付配線作業を含めること。 (2) ケーブル等本調達には、据付配線作業(耐震作業を含む。 )においてスーパーコンピュータシステムを接続するため必要となるケーブルやモジュール等の機器類の調達、及びその配置、配線、調整等の作業を含めること。 (3) 量研機器との接続本調達には、スーパーコンピュータシステムで必要となるネットワークの構築及び量研の機器への接続・調整、各機器の動作確認の作業を含めること。 なお、機器(ネットワークスイッチ等)への接続に当たっては、量研と協議の上、その指示に従うこと。 3.2 設置場所及び設備要件等(1) スーパーコンピュータシステムの設置場所となる計算機・遠隔実験棟2階 計算機室の諸元を以下の表２【設置場所】に示す。 図２ に示すように、計算機・遠隔実験棟2階計算機室の一部は現有システムが使用しているため、導入するスーパーコンピュータシステムは、計算機・遠隔実験棟2階 計算機室の未使用のスペースに設置可能であること。 また、導入するスーパーコンピュータシステムは、【設置場所】に示す床強度の許容値以下であること。 この値を超える重量を持つ機器の設置が必要な場合は、床荷重が1平方メートル当たり1000kgを超えないような施工を行うこと。 表２【設置場所】室名 面積 床強度 天井高さ 備考計算機室 約887㎡ 1,000 kg/㎡床下高さ1,000mm約6m 左記の面積は現有システムが使用中の部分も含む。 (2) スーパーコンピュータシステムは、以下の【電源設備】に示す利用可能電源容量の許容値以下であること。 また、下記 3.2 (4)の冷却設備使用分を除くスーパーコンピュータシステム全体の最大総消費電力が1,400kWを超えないこと。 最大総消費電力は、大規模並列演算部のサブシステムAとサブシステムBの全ノードを用いて、最高性能が得られる条件下で HPL (LINPACK)を同時に実行した場合の、3.2 (4)の冷却設備使用分を除いた最大消費電力とする。 なお、供給者側による既設変圧器の更新等の大幅な変更を伴う作業は認めない。 (3) 以下の表３【電源設備】及び図２に示す以外の電源タイプ(相、電圧)を必要とする場36合は、供給者が計算機用電源盤の 2 次側(低圧側)に電圧変換機器等の装置を別途用意し、その設置作業も本調達に含めること。 なお、設置作業等については量研と事前に協議のうえ決定すること。 表３【電源設備】低圧配電盤名称 電源タイプ＆電源容量利用可能電源容量用途 備考計算機設備(1) 3相4線式400V1000KVA600KVA 計算機用 TG7-8、10(TG-9は利用不可)計算機設備(2) 3相4線式400V1000KVA800KVA 計算機用 TG4-6計算機設備(3) 3相4線式400V1000KVA800KVA 計算機用 TG1-3図２ 計算機・遠隔実験棟2階 計算機室における電源設備の配置概要図(4) 冷却設備として、計算機・遠隔実験棟の屋外に空冷冷専チラーユニット(東芝キヤリア株式会社製RUA-TBP0903NKZGV-A)が11ユニットあり、以下の表４【空調設備】の他、計算機室１の床下にはスーパーコンピュータシステムの冷却に用いることがで37きる冷水配管(最大冷却能力 2,300kW)が設置されている。 この冷水配管をスーパーコンピュータシステムの冷却に用いるために必要な装置及び作業を本調達に含めること。 なお、既設の床下冷水配管の変更が必要な場合、また床下に新規配管の設置が必要な場合には、必要な装置及び作業(既設床下配管の撤去作業等も含む。 )も本調達に含めること。 設置作業等については量研と事前に協議のうえ決定すること。 表４【空調設備】室名 空調タイプ 冷却能力 備考計算機室１ 床置床下吹出 225kW(45kW×5)計算機室2 床置床下吹出 315kW(45kW×7)(5) スーパーコンピュータシステムに対して、各ラックから排出された加熱空気が停滞する場所(ホットスポット)が存在しないように対策を施すこと。 (6) スーパーコンピュータシステムに対して、フリーアクセス内のケーブル類等により必要な冷却風量を各ラックに提供できない場合は、冷却風量を改善する対策を施すこと。 (7) スーパーコンピュータシステムに対して、省エネルギー対策及び高調波対策を施すこと。 (8) スーパーコンピュータシステムの導入作業については、供給者が必ず立ち会うこと、また、令和７年 3 月末を予定している現有システムの運用終了までは、計算機室の長期間の電源停止、空調停止等により、現有システムの運用に大きな影響を与えないこと。 インシデント情報は有効に活用し、迅速な対応を行うこと。 2) 解決できないインシデントは、影響度及び優先順位等を精査し、システム障害として管理すること。 ⑤ システム障害管理1) インシデント管理からエスカレーションされた事象を障害等として一元管理し、影響度と緊急度により優先順位を決め、障害原因の特定を行うこと。 2) 早急に根本的解決ができない場合には、暫定的な解決策を策定すると同時に、障害の原因調査、分析を実施し、恒久的な解決策の策定を行うこと。 ⑥ ポータルサイトの管理以下のポータルサイトを開設し、コンテンツを一元管理すること。 なお、コンテンツは日本語及び英語に対応すること。 1) 障害情報、ヘルプデスク及び要望対応等402) システム管理者向けのシステム操作手引書、システム環境設定書、製品マニュアル及び技術資料等3) ユーザ向けのシステム利用手引書、製品マニュアル及び技術資料等4) ユーザ向けのアプリケーション等のインストール手順書等5) システム運用停止等のアナウンス6) ユーザがアカウント登録情報更新申請を行うための電子申請フォームへのリンク⑦ 予防保守1) 大規模並列計算機(演算器、メモリ、内部ネットワーク等)、外部記憶装置及びネットワーク装置等のエラー発生状況を監視し、閾値を超えた場合には予防交換を実施すること。 2) ソフトウェア(OS、ミドルウェア、コンパイラ・ライブラリ、アプリケーション等)及びハードウェア(ファームウェア等)に関するバグ状況等を定期的に調査し、量研に報告、協議の上、利用者への事前通知やパッチ等の適用を実施すること。 ⑧ 連絡会保守・運用支援業務等に関する定期的な連絡会を毎週１回(運用会議)、毎月 1回(定例会)実施すること。 ⑨ セキュリティ対応1) スーパーコンピュータシステムに対して、納入時検査期間にセキュリティ脆弱性テストを実施すること。 なお、当該テストの結果、量研より改善を求められた場合は、速やかに対策を実施すること。 2) スーパーコンピュータシステムの運用開始後は、最新のセキュリティ脆弱性・脅威情報(CERT 勧告等)を把握するとともに、速やかにセキュリティパッチの適用等の対策を実施すること。 また、セキュリティインシデント発生時には量研の障害対応手順書に沿って対応すること。 ⑩ SSL/TLSサーバ証明書のインストール及び更新処理スーパーコンピュータシステムの運用期間を通して、ユーザがWebブラウザを用いて暗号化されたHTTPS通信によりWebフロントエンドシステムを構成する下記の Web サービス利用できるように、必要な第３者認証機関が発行する EVSSL/TLSサーバ証明書の取得・インストール及び更新処理を行うこと。 証明書の取得及び更新に必要な費用は本調達に含めること。 • 認証・認可サーバ• ポータルサイト用Webサーバ• ソフトウェア開発用コードリポジトリ• ユーザ支援チケットシステム• 大規模並列計算機Webフロントエンドサーバ• 外部ファイル共有サーバ(8) スーパーコンピュータシステムの利用者への継続的かつ安定的なサービスの円滑な提供に資すること。 上記(7)に示した業務内容を実施するに当たり、供給者が確保すべき41対象業務の質は、次のとおりとする。 ① 業務の内容上記(7)①から⑩の保守・運用支援業務を適切に実施すること。 ② システム稼働率大規模並列計算機におけるシステム稼働率(月平均)の98％以上の維持に努めること。 稼働状況は、日次、週次、月次に監視するとともに、それぞれの目標率の低下もしくは想定される場合には量研に随時報告し、改善策を協議して実施すること。 システム稼働率は以下の計算式で計算する。 システム稼働率(%)＝(実運用時間÷運用可能時間)×100運用可能時間＝運用可能日数×24 時間 － 施設保守時間実運用時間＝運用可能時間 －(ダウン時間＋供給者の保守時間)③ 上記②のシステム稼働率が 2 ヶ月にわたり未達成の場合は、目標稼働率の達成に必要な対策(予備ノードの追加など)を量研と協議して実施すること。 ④ 演算器コア利用率バッチジョブ利用状況は、日次、週次、月次に監視し、演算器コア利用率の向上に努めること。 効率的なジョブスケジューリングが実施されていない場合には、量研に随時報告し、ジョブ管理機能等の改善策を協議して実施すること。 (9) 上記(8)の確認の結果、確保されるべき対象業務の質が達成されていないと認められる場合、量研は確保されるべき対象業務の達成に必要な限りで、供給者に対して本業務の改善を行うよう指示することができる。 供給者は当該指示を受けて業務の実施方法を改善する業務改善報告書を提出し、量研の了承を得ること。 (10) 本件の保守・運用期間を通して、供給者は従業員又はその他の者によって、量研が意図しない変更が加えられることのない管理体制を整え、運営維持すること。 3.5 講習会に関する要件(1) スーパーコンピュータシステムの利用講習会を導入前に2回実施すること。 (2) 30人規模のプログラミング講習会(並列化、高速化や演算加速器利用を含む。 )を毎年2回実施すること。 (3) 上記(1)及び(2)の講習会はオンラインでの開催を認める。 講習会は日本語で実施し、テキストは日本語版及び英語版を用意すること。 3.6 マニュアルに関する要件(1) システム管理者向けに具体的なシステム操作手引書及びシステム環境設定書を日本語で作成して電子媒体で提供すること。 システム構成やソフトウェア環境の設定変更に伴う改変があった場合は、速やかにシステム操作手引書及びシステム環境設定書の修正版を電子媒体で提供すること。 (2) ユーザ向けに具体的なシステム利用手引書を日本語及び英語で作成して電子媒体で提供すること。 システム構成やソフトウェア環境の設定変更に伴う改変があった場合は、速やかに利用手引書の修正版を電子媒体で提供すること。 (3) スーパーコンピュータシステムの運用に関する製品マニュアル及び技術資料等を電子42マニュアルで提供すること。 (4) スーパーコンピュータシステムの利用に関する製品マニュアル及び技術資料等を電子マニュアルで提供すること。 (5) 上記(3)及び(4)のマニュアルは日本語版又は英語版を提供すること。 (6) 上記(3)及び(4)のマニュアルのうち、コンパイラ及びデバッガのマニュアルについては、日本語版及び英語版を提供する場合は、総合評価基準に基づき得点を与える。 (7) 上記(3)及び(4)のマニュアルは、量研からの要求に応じて最新のものを速やかに提供すること。 4. その他4.1 ワーク・ライフ・バランス等の推進に関する指標ワーク・ライフ・バランス等の取組みに関して、以下のいずれかの認定等又は内閣府男女共同参画局長の認定等相当確認を受けている場合は、総合評価基準に基づき得点を与える。 • 女性の職業生活における活躍の推進に関する法律(女性活躍推進法)に基づく認定(えるぼし認定企業・プラチナえるぼし認定企業)又は、行動計画策定(常時雇用する労働者の数が100人以下の事業主に限る(計画期間が満了していない行動計画を策定している場合のみ))• 次世代育成支援対策推進法(次世代法)に基づく認定(くるみん認定企業・トライくるみん認定企業・プラチナくるみん認定企業)• 青少年の雇用の促進等に関する法律(若者雇用促進法)に基づく認定(ユースエール認定企業)なお、受注者は、上記の認定など技術提案書に記載した事項について、認定の取消などによって記載した内容と異なる状況となった場合には、速やかに量研へ届け出ること。 以上別紙1ベンチマークテストプログラム項 プログラム名 プログラム概要1MEGA(サブシステムA評価用)イオンの運動論的効果を含む3次元磁気流体(MHD)シミュレーションプログラム。 イオンの運動論方程式と、磁気流体方程式を連結したハイブリッドシミュレーションモデルを用いる。 2GKNET(サブシステムA評価用)トカマクプラズマの時間発展を運動論的に計算するプログラム。 5次元空間におけるプラズマの分布関数の時間発展を記述するジャイロ運動論方程式と静電ポテンシャルに関するジャイロ運動論的ポアソン方程式等を用いる。 3GKV(サブシステムA評価用)局所ジャイロ運動論モデルに基づくプラズマ乱流シミュレーションプログラム。 5 次元位相空間を格子状に離散化し、並列スペクトル法、差分法、反復法を用いた衝突項陰解法により時間発展を計算する。 4QUMASUN(サブシステムA評価用)密度汎関数理論に基づく電子状態計算プログラム。 実空間グリッド上に表現される波動関数について Kohn-Sham方程式の固有状態をLOBPCG法により求める。 5BOUT++(サブシステムA評価用)トカマクプラズマの周辺不安定性・乱流を計算するプログラム。 簡約化MHD 方程式を３次元構造格子上で有限差分法に基づき離散化して初期値問題として計算を行う。 流れポテンシャルはヘルムホルツ方程式をスペクトル空間上で直接法及び反復法を用いて計算する。 6R5F(サブシステムB評価用)MHD と輸送を解析する５場簡約化MHD モデル。 加熱ソース，粒子ソースを実装し輸送の時間スケールを追跡する。 径方向は差分、ポロイダル、トロイダル方向はスペクトル法で解く。 非線形項は擬スペクトル法で評価。 非線形項を評価するTMRHSサブルーチンをGPU化している。 7TorchBench(サブシステムB評価用)Python ベースの深層学習用フレームワーク PyTorch のベンチマークモデルコレクションライブラリのうち、次の4モデル：1) timm_efficientnet (Computer Vision)2) hf_Bert_large (Transformer)3) soft_actor_critic (強化学習)4) pyhpc_turbulent_kinetic_energy (物理計算)8 FIOシーケンシャル及びランダムREAD/WRITE性能を計測するプログラム。 9 IORファイルシステムのRead/Write性能を計測するプログラム。 別紙2誓 約 書スーパーコンピュータシステムの性能評価を実施するため、ベンチマークテスト用のプログラム(以下「ベンチマークテストプログラム」とします)を確かに受領しました。 このベンチマークテストプログラム及びそれから得られる結果等に関し、下記のことを誠実に遵守することを誓います。 記1. ベンチマークテストプログラム受領後、ベンチマークテスト(以下「試験」という)を速やかに実施します。 また、実施後は、当社の事情の有無にかかわらず、試験に用いたソースプログラム、オブジェクトモジュール、ロードモジュール、入出力ファイル及び一切の複製物等を必ず消去します。 なお、当該消去を履行したことを、貴機構へ、別紙3「履行証明書」により、当該消去の履行後、速やかに通知いたします。 2. ベンチマークテストプログラム(取り扱い説明書、参考データ等を含む)及びそれから得られた実行結果を、絶対に他の目的に使用いたしません。 3. ベンチマークテストプログラムはベンチマークテスト実施後に又は貴機構から要求があった場合に速やかに貴機構へ返却いたします。 令和 年 月 日国立研究開発法人量子科学技術研究開発機構六ヶ所フュージョンエネルギー研究所核融合炉システム研究開発部長 殿所 在 地社 名 社印代表者氏名 職印別紙3履 行 証 明 書先に提出しましたベンチマークテストプログラムの取扱い等に関する誓約書に基づき、下記のことを誠実に履行したことを証明いたします。 記スーパーコンピュータシステムのベンチマークテスト確認試験終了後、試験に用いたソースプログラム、オブジェクトモジュール、ロードモジュール、入出力ファイル及び一切の複製物等を遅滞なくすべて消去いたしました。 令和 年 月 日国立研究開発法人量子科学技術研究開発機構六ヶ所フュージョンエネルギー研究所核融合炉システム研究開発部長 殿所 在 地社 名 社印代表者氏名 職印別紙4最適化チューニング対象プログラム項 プログラム名 ① プログラム概要サブシステムA利用サブシステムB利用1 MEGA① イオンの運動論的効果を含む 3 次元磁気流体(MHD)シミュレーションプログラム。 イオンの運動論方程式と、磁気流体方程式を連結したハイブリッドシミュレーションモデルを用いる。 ○2 GKNET① トカマクプラズマの時間発展を運動論的に計算するプログラム。 5次元空間におけるプラズマの分布関数の時間発展を記述するジャイロ運動論方程式と静電ポテンシャルに関するジャイロ運動論的ポアソン方程式等を用いる。 ○3 GKV① 局所ジャイロ運動論モデルに基づくプラズマ乱流シミュレーションプログラム。 5次元位相空間を格子状に離散化し、並列スペクトル法、差分法、反復法を用いた衝突項陰解法により時間発展を計算する。 ○