Dyn-VQA

Dyn-VQA数据集由阿里巴巴集团创建，旨在评估多模态检索增强生成（mRAG）系统在处理动态检索需求问题上的表现。该数据集包含1452个动态问题，涵盖快速变化答案、多模态知识和多跳问题三种类型。数据集的创建过程包括文本问题编写、多模态重写和中文-英文翻译三个步骤，确保了数据集的高质量和复杂性。Dyn-VQA主要应用于解决多模态大语言模型中的“幻觉”问题，通过提供复杂的知识检索策略来增强模型的适应性和准确性。

数据集介绍

构建方式

Dyn-VQA数据集的构建旨在填补现有知识寻求型视觉问答（VQA）数据集的空白，这些数据集无法充分反映多模态检索增强生成（mRAG）方法在动态知识检索中的局限性。该数据集包含三种类型的“动态”问题，这些问题需要复杂的知识检索策略，包括快速变化答案的问题、需要多模态知识的问题以及多跳问题。这些问题的设计确保了检索查询、工具和时间都是可变的，从而模拟了真实世界中知识检索的动态性。

特点

Dyn-VQA数据集的特点在于其问题的动态性和复杂性。这些问题不仅要求模型能够灵活地提供知识检索解决方案，还要求检索过程能够适应不断变化的上下文和中间发现。此外，数据集中的问题涵盖了多种模态的知识需求，超越了传统VQA数据集仅限于文本知识的限制。这种多样性和复杂性使得Dyn-VQA成为评估mRAG系统性能的理想基准。

使用方法

Dyn-VQA数据集的使用方法主要包括将其应用于多模态检索增强生成（mRAG）系统的评估和训练。研究者和开发者可以利用该数据集来测试和改进现有的mRAG方法，特别是那些依赖于固定检索过程的方法。通过在Dyn-VQA上的实验，可以揭示现有方法在处理动态和复杂问题时的不足，并推动开发更加自适应和灵活的检索策略。此外，该数据集还可以用于训练和验证新的自适应规划代理，如OmniSearch，以提升多模态检索的效率和准确性。

背景与挑战

背景概述

Dyn-VQA数据集由阿里巴巴集团的研究团队构建，旨在解决多模态检索增强生成（mRAG）方法在处理动态视觉问答（VQA）问题时的局限性。该数据集包含三类动态问题，要求复杂的知识检索策略，包括快速变化答案的问题、需要多模态知识的问题以及多跳问题。Dyn-VQA的构建填补了现有知识寻求型VQA数据集的空白，这些数据集通常仅需要标准的两步检索过程即可解决。通过Dyn-VQA数据集，研究团队揭示了现有mRAG方法在处理动态问题时的不足，并提出了首个自适应规划代理OmniSearch，以模拟人类在解决问题时的动态分解复杂多模态问题的行为。

当前挑战

Dyn-VQA数据集面临的挑战主要有两方面：一是解决领域问题的挑战，即如何处理需要复杂知识检索策略的动态问题；二是构建过程中遇到的挑战，包括如何设计能够反映mRAG方法刚性问题的数据集，以及如何确保数据集的质量和多样性。具体挑战包括：1) 非自适应检索查询，现有的检索策略无法适应问题上下文的演变或中间发现；2) 过载的检索查询，一次性检索策略给单个查询带来了过重的负担，导致检索到的知识可能与问题解决不直接相关。此外，数据集的构建需要确保问题类型的多样性和答案的动态更新，这对数据集的维护提出了高要求。

常用场景

经典使用场景

Dyn-VQA数据集的经典使用场景在于评估和提升多模态检索增强生成（mRAG）系统的性能。该数据集包含三类动态问题，要求模型在查询、工具和时间上灵活地提供知识检索解决方案。这些问题无法通过预定义的检索过程解决，因此特别适用于测试现有mRAG方法在处理复杂知识检索时的适应性和准确性。

解决学术问题

Dyn-VQA数据集解决了当前知识寻求型视觉问答（VQA）数据集无法充分反映mRAG方法在获取复杂知识时存在的刚性问题。通过引入动态问题，该数据集迫使模型在检索过程中进行自适应调整，从而有效缓解了非自适应检索查询和过载检索查询的问题。这不仅提升了mRAG系统的性能，还为该领域的研究提供了新的方向和挑战。

衍生相关工作

Dyn-VQA数据集的提出催生了多项相关研究工作，特别是在自适应多模态检索和规划代理方面。例如，OmniSearch作为首个自适应规划代理，通过动态分解复杂的多模态问题为子问题链，显著提升了检索效率和准确性。此外，该数据集还促进了多模态大语言模型（MLLMs）在处理动态和多模态问题上的研究，推动了mRAG技术的进一步发展。