JUPITER Benchmark Suite

JUPITER Benchmark Suite是由于利希超级计算中心开发的一个包含23个基准程序的综合数据集，旨在支持欧洲首个百亿亿次超级计算机JUPITER的采购。该数据集包括7个合成基准和16个应用基准，涵盖了天气和气候、神经科学、量子物理、材料设计、生物学等多个科学领域。数据集的创建过程包括基于当前和先前计算时间分配的分析，选择应用程序，准备和优化基准，以及修订描述和打包用于采购。该数据集的应用领域广泛，旨在通过提供真实的应用性能评估，确保新系统的实用性和广泛采用，特别是在百亿亿次计算时代的高性能计算系统设计中。

JUPITER Benchmark Suite

概述

JUPITER Benchmark Suite是一个元仓库，用于存放与SC24论文同名的基准测试套件。每个单独的基准测试都位于其自己的仓库中，并以子模块的形式包含在此元仓库中。

包含的基准测试

以下是包含在该基准测试套件中的各个基准测试及其对应的仓库链接：

• Arbor：仓库链接
• Amber：仓库链接
• Chroma-LQCD：仓库链接
• GROMACS：仓库链接
• ICON：仓库链接
• JUQCS：仓库链接
• Megatron-LM：仓库链接
• MMoCLIP：仓库链接
• nekRS：仓库链接
• ParFlow：仓库链接
• PIConGPU：仓库链接
• Quantum ESPRESSO：仓库链接
• ResNet：仓库链接
• SOMA：仓库链接
• DynQCD (CPU)：仓库链接
• NAStJA (GPU)：仓库链接
• Graph500：仓库链接
• HPCG：仓库链接
• HPL：仓库链接
• IOR：仓库链接
• LinkTest：仓库链接
• OSU Micro-Benchmarks：仓库链接
• STREAM：仓库链接
• STREAM (GPU)：仓库链接

数据集介绍

构建方式

JUPITER Benchmark Suite的构建旨在满足欧洲首台exascale超级计算机JUPITER的采购需求，确保系统能够满足用户需求。该数据集包含了16个来自不同领域的应用，并与领域科学家密切合作，确保了应用的相关性和严谨性。数据集的开发过程包括对现有和未来用户群体的需求分析、工作负载的多样性实现、以及应用基准和合成基准的结合。为了满足采购过程中对可重复性、可重现性和可重用性的要求，数据集的执行过程被简化和自动化，所有组件都得到了充分的文档记录，并验证了计算结果。此外，数据集采用了模块化设计，并发布了开源软件，以促进未来的适应性和可持续性。

特点

JUPITER Benchmark Suite的特点在于其全面性和实用性。数据集包含了23个基准程序，覆盖了不同的领域和计算密集型、内存密集型和I/O密集型工作负载。这些基准程序被分为三个类别：Base、High-Scaling和合成基准。Base基准用于激励系统设计，High-Scaling基准用于评估系统在大型规模下的可扩展性，合成基准用于测试硬件组件的特定性能。数据集还包括了7个已知的合成基准，用于测试硬件组件的特定性能。每个基准程序都有详细的描述和可扩展性研究，并作为开源软件发布。

使用方法

JUPITER Benchmark Suite的使用方法包括以下几个方面：首先，用户需要了解数据集的背景信息，包括采购方案、系统架构和实施情况。其次，用户需要熟悉数据集的基准程序，包括应用基准和合成基准，并了解其特点和适用场景。然后，用户可以使用JUBE框架执行基准程序，并通过JUBE脚本和参数定义文件来配置执行参数。最后，用户需要了解数据集的评估方法和标准，并根据FOM（Figure-of-Merit）来评估系统设计的性能。此外，用户还可以参考数据集的描述文档和验证结果，以确保结果的准确性和可靠性。

背景与挑战

背景概述

在超算领域，基准测试对于评估系统性能至关重要，它们不仅定义了系统组件的关键方面，还确保了系统的高可用性和广泛采用。JUPITER Benchmark Suite是一套包含16个应用的数据集，旨在为JUPITER，欧洲第一台百亿亿次超级计算机的采购提供支持。该数据集由Jülich Supercomputing Centre Forschungszentrum Jülich的研究人员开发，并于2022年初启动，2023年10月完成合同授予。JUPITER Benchmark Suite代表了向开放科学和可重复性愿景迈出的第一步，它包括了来自各个领域的应用，旨在确保系统的实际可用性。该数据集已作为开源软件发布，为高性能计算领域提供了宝贵的资源。

当前挑战

JUPITER Benchmark Suite面临着一系列挑战。首先，它需要解决领域问题，即如何确保基准测试能够准确反映用户需求，并适应未来的工作负载。其次，在构建过程中，研究人员面临着确保基准测试的可重复性、可复制性和可重用性的挑战。此外，随着系统架构的不断发展，如何确保基准测试能够适应不同的计算和内存比也是一项挑战。最后，随着人工智能等领域的快速发展，如何确保基准测试能够覆盖这些新兴领域的工作负载也是一个重要问题。

常用场景

经典使用场景

JUPITER Benchmark Suite 是一个专为评估和采购高性能计算系统而设计的综合基准测试套件，它包括来自不同领域的 23 个基准程序，旨在确保新系统的高实用性和广泛采用。该套件在采购欧洲第一台百亿亿次超级计算机 JUPITER 时发挥了关键作用，通过实际应用来评估系统的性能，从而为系统设计提供指导。

实际应用

JUPITER Benchmark Suite 的实际应用场景包括高性能计算系统的采购和评估。该套件为采购方提供了一个全面、客观的评估工具，帮助他们选择最适合实际应用需求的系统。此外，该套件还可以用于评估现有系统的性能，为新系统的设计和优化提供参考。

衍生相关工作

JUPITER Benchmark Suite 的发布为高性能计算领域带来了许多衍生的工作。例如，该套件的设计和实施经验可以用于其他高性能计算系统的采购和评估。此外，该套件中的许多应用程序也被用于其他领域的研究，如天气和气候、神经科学、量子物理等。