ODRL

ODRL是由清华大学深圳国际研究生院等机构创建的第一个用于评估非动态强化学习方法的基准数据集。该数据集包含四个实验设置，涵盖了运动、导航和灵巧操作等多个领域，提供了多种动态变化的任务，旨在全面评估代理在目标领域中的适应能力。数据集包括80个任务，涉及摩擦、重力、运动学和形态学等多种动态变化。创建过程中，数据集采用了统一框架，并将算法实现分离为单个文件，以便于理解和比较。ODRL主要应用于强化学习领域，旨在解决不同领域间动态差异下的策略迁移问题。

ODRL: An Off-dynamics Reinforcement Learning Benchmark

概述

ODRL是首个针对动态差异强化学习问题的基准测试，其中目标域数据有限，而源域数据相对充足。目标是利用两个域的数据在目标域中获得更好的性能。

特点

• 单文件算法实现
• 支持多种实验设置
• 提供离线目标域数据集
• 支持广泛的动态变化

实验设置

ODRL包含以下四种实验设置：

• Online-Online：源域和目标域均为在线
• Offline-Online：源域离线，目标域在线
• Online-Offline：源域在线，目标域离线
• Offline-Offline：源域和目标域均为离线

实现算法

针对每种实验设置，实现了多种基准算法。

Online-Online Setting

• DARC
• VGDF
• PAR
• SAC
• SAC_IW
• SAC_tune

Offline-Online Setting

• H2O
• BC_VGDF
• BC_PAR
• BC_SAC
• CQL_SAC
• MCQ_SAC
• RLPD

Online-Offline Setting

• H2O
• PAR_BC
• SAC_BC
• SAC_CQL
• SAC_MCQ

Offline-Offline Setting

• IQL
• TD3_BC
• DARA
• BOSA

数据集

• Locomotion：支持摩擦、重力、运动学、形态学变化，提供离线数据集
• Navigation：支持地图布局变化，提供离线数据集
• Dexterous Manipulation：支持运动学、形态学变化，提供离线数据集

运行方式

通过train.py文件运行四种实验设置，通过--mode标志切换不同的设置。

许可证

本仓库采用MIT许可证。

数据集介绍

构建方式

ODRL数据集的构建旨在填补离动力学强化学习（Off-Dynamics Reinforcement Learning, ODRL）领域缺乏标准基准的空白。该数据集包含四个实验设置，其中源域和目标域可以是在线或离线的，并提供了多样化的任务和广泛的动态变化，使其成为一个可靠的平台，用于全面评估代理对目标域的适应能力。此外，ODRL在一个统一的框架中包含了最近的离动力学强化学习算法，并引入了一些额外的基线方法，所有这些都以单一文件的方式实现，便于识别核心算法设计和性能相关的细节。

特点

ODRL数据集的显著特点包括其多样化的任务类别和动态变化类型，涵盖了运动、导航和灵巧操作等多个领域。该数据集提供了四种实验设置，确保在不同条件下对离动力学强化学习算法进行彻底和可信的评估。此外，ODRL将算法实现隔离到单一文件中，便于直观理解关键算法设计，并通过广泛的实验揭示现有方法在不同动态变化和实验设置下的性能。

使用方法

ODRL数据集的使用方法包括在四个不同的实验设置中评估离动力学强化学习算法，这些设置涵盖了源域和目标域的在线和离线组合。研究者可以通过提供的代码和详细说明，复现和扩展实验结果。数据集还提供了详细的基准任务描述和可视化结果，帮助用户快速熟悉并开发新的算法。此外，ODRL的代码是公开的，用户可以根据需要进行修改和扩展，以适应更广泛的离动力学强化学习研究需求。

背景与挑战

背景概述

在强化学习（RL）领域，动态不匹配情况下的策略迁移是一个关键问题。尽管已有许多算法致力于开发动态感知算法，但由于缺乏标准基准，这一领域的发展受到阻碍。为了填补这一空白，我们引入了ODRL（Off-Dynamics Reinforcement Learning），这是首个专门用于评估动态不匹配RL方法的基准。ODRL包含四种实验设置，其中源域和目标域可以是在线或离线的，并提供了多样化的任务和广泛的动态变化，使其成为一个可靠的平台，用于全面评估代理对目标域的适应能力。此外，ODRL在一个统一的框架中包含了最近的动态不匹配RL算法，并引入了一些额外的基线方法，所有这些都在单一文件中实现。

当前挑战

ODRL面临的挑战主要集中在解决领域问题和构建过程中遇到的困难。首先，动态不匹配的策略迁移在实际应用中非常常见，如在模拟环境中训练机器人并在现实世界中部署。这种情况下，模拟与现实之间的动态差异可能导致策略失效。其次，构建ODRL过程中需要考虑多种动态变化，如摩擦、重力、运动学和形态学的不匹配，这增加了基准的复杂性和多样性。此外，ODRL还需要在有限的预算内评估代理的适应效率，这要求算法在数据有限的情况下仍能有效学习。最后，ODRL需要提供一个统一的测试平台，以便对不同方法进行全面评估和比较，确保其性能的真实性和可靠性。

常用场景

经典使用场景

ODRL数据集的经典使用场景主要集中在强化学习领域，特别是在不同领域之间存在动力学不匹配的情况下进行策略迁移。该数据集提供了四种实验设置，其中源域和目标域可以是在线或离线的，并提供了多样化的任务和广泛的动力学变化，使其成为一个可靠的平台，用于全面评估代理对目标域的适应能力。此外，ODRL还包括了最近的动力学不匹配强化学习算法，并在统一的框架中引入了一些额外的基线方法，所有这些方法都以单一文件的方式实现，便于识别核心算法设计和性能相关的细节。

实际应用

ODRL数据集的实际应用场景广泛，特别是在机器人和自动驾驶等领域。例如，我们可以在模拟环境中训练机器人，然后将学习到的策略部署到现实世界的任务中，其中模拟和现实之间的动力学差距可能存在。ODRL的多样化任务和动力学变化使其成为一个可靠的平台，用于评估和开发能够快速适应现实世界动力学的机器人策略。

衍生相关工作

ODRL数据集的引入催生了一系列相关的经典工作。例如，DARC算法通过训练域分类器来惩罚源域奖励，VGDF算法通过从价值估计的角度进行源域数据过滤，PAR算法通过捕捉表示不匹配来修改源域奖励。这些方法都是在ODRL框架下实现的，并通过广泛的基准测试实验展示了它们在不同动力学变化下的性能。此外，ODRL还促进了其他研究，如RLPD算法，该算法利用随机集成蒸馏和层归一化进行高效的在线学习。