Wiki-FACTOR, News-FACTOR, Expert-FACTOR

arXiv2024-02-04 更新2024-06-21 收录

语言模型评估

事实准确性

资源简介：

本研究介绍了三个用于评估语言模型在特定领域事实准确性的基准数据集：Wiki-FACTOR、News-FACTOR和Expert-FACTOR。这些数据集是通过FACTOR框架创建的，该框架将事实性语料库转换为基准，用于评估语言模型区分真实事实与相似但错误陈述的能力。Wiki-FACTOR基于维基百科内容，News-FACTOR基于新闻文章，而Expert-FACTOR则基于专家策划的问答数据，涵盖多个领域。这些数据集旨在通过对比真实与错误信息，提高模型在开放式生成中的事实性。

原始地址：

https://github.com/AI21Labs/factor

提供机构：

AI21 Labs

创建时间：

2023-07-14