joelniklaus/lextreme

LEXTREME数据集是一个多语言法律自然语言理解基准，包含11个多样化的多语言法律NLU数据集。其中6个数据集有单一配置，5个数据集有两个或三个配置，总共包含18个任务（8个单标签文本分类任务、5个多标签文本分类任务和5个标记分类任务）。数据集支持多种语言，包括保加利亚语、捷克语、丹麦语、德语、希腊语、英语、西班牙语、爱沙尼亚语、芬兰语、法语、爱尔兰语、克罗地亚语、匈牙利语、意大利语、立陶宛语、拉脱维亚语、马耳他语、荷兰语、波兰语、葡萄牙语、罗马尼亚语、斯洛伐克语、斯洛文尼亚语和瑞典语。

数据集概述

数据集名称

LEXTREME: A Multilingual Legal Benchmark for Natural Language Understanding

数据集概要

该数据集包含11个多语言法律自然语言理解（NLU）数据集，总计18个任务，包括8个单标签文本分类任务、5个多标签文本分类任务和5个令牌分类任务。

支持的任务和配置

• Brazilian Court Decisions: 判决预测（判决、一致性）
• Swiss Judgment Prediction: 判决预测（默认）
• German Argument Mining: 论点挖掘（默认）
• Greek Legal Code: 主题分类（卷、章、主题）
• Online Terms of Service: 不公平分类（不公平级别、条款主题）
• Covid 19 Emergency Event: 事件分类（默认）
• MultiEURLEX: 主题分类（级别1、级别2、级别3）
• LeNER BR: 命名实体识别（默认）
• LegalNERo: 命名实体识别（默认）
• Greek Legal NER: 命名实体识别（默认）
• MAPA: 命名实体识别（粗粒度、细粒度）

语言支持

支持以下语言：bg, cs, da, de, el, en, es, et, fi, fr, ga, hr, hu, it, lt, lv, mt, nl, pl, pt, ro, sk, sl, sv

数据集结构

• 文件格式: jsonl
• 数据分割: 每个配置包含三个数据分割（训练、验证和测试）

许可证

cc-by-4.0

数据集大小

10K<n<100K

数据集来源

• 源数据集: 扩展

任务类别

• 文本分类
• 令牌分类

数据集介绍

构建方式

LEXTREME数据集的构建汇集了11个多样化的多语种法律自然语言理解任务，涵盖了单一配置和多重配置。通过精心策划和规范化初始数据，确保了数据集的多样性和可用性，每个任务都经过专业的标注流程，标注者具备相应领域的知识背景，从而保证了数据标注的质量和准确性。

特点

该数据集的特点在于其多语种支持和多任务类型，包含了文本分类和标记分类等任务，覆盖了包括但不限于判决预测、论点挖掘、主题分类、实体识别等多个法律领域的应用。此外，数据集遵循Creative Commons BY 4.0许可，支持学术和商业用途，具有较强的开放性和可用性。

使用方法

使用该数据集时，用户可以通过Hugging Face的datasets库加载不同的任务配置。例如，加载瑞士判决预测任务的数据集，可以使用load_dataset函数，指定相应的任务名称。数据集以jsonl格式存储，并提供训练、验证和测试三个数据分割，方便用户进行模型训练和评估。

背景与挑战

背景概述

LEXTREME数据集是一项多语言自然语言理解基准，旨在促进法律领域的文本分类和实体识别研究。该数据集由11个不同的多语言法律NLU数据集组成，涵盖了多种任务类型，包括单标签文本分类、多标签文本分类和标记分类。创建于2023年，由Joel Niklaus等研究人员开发，LEXTREME致力于为法律领域的自然语言理解研究提供高质量的基准数据，对于推动多语言法律文本分析技术的发展具有显著影响力。

当前挑战

在构建LEXTREME数据集的过程中，研究人员面临了多方面的挑战。首先，多语言数据的收集和标注需要克服语言差异带来的困难，确保数据的一致性和准确性。其次，法律领域文本的专业性和复杂性对标注质量提出了较高要求，需要专业的标注人员和严格的标注流程。此外，数据集在解决领域问题如判决预测、话题分类、实体识别等方面也面临挑战，包括如何提高预测准确性、处理数据中的偏见和隐私问题等。

常用场景

经典使用场景

在自然语言处理领域，LEXTREME数据集作为一个多语言法律文本理解基准，其经典使用场景主要聚焦于法律文本的分类与实体识别。具体而言，研究者可利用该数据集进行多标签文本分类，以识别法律文本中的不同主题或判断标准，以及执行命名实体识别任务，从而准确提取法律文本中的关键信息如人名、地名、法律条款等。

实际应用

在实际应用中，LEXTREME数据集可被用于构建自动化法律助手，辅助法律专业人士进行案件研究和判决预测。例如，通过该数据集训练的模型能够帮助律师快速识别法律文件中的关键条款，或预测案件可能的判决结果，从而提高法律工作的效率和质量。

衍生相关工作

基于LEXTREME数据集，已衍生出多项相关工作，包括但不限于针对特定语言的法律文本分析模型、跨语言的法律信息抽取系统以及结合法律知识图谱的深度学习应用。这些工作不仅推动了法律领域的智能化进程，也为自然语言处理技术在法律行业的应用提供了新的视角和方法论。