前言

本文主要整理对话生成领域相关的数据集，尤其是开放域对话生成。当前可以把开放域对话生成任务划分为：传统开放域对话生成、多模态对话生成、情感对话生成、个性化对话生成、策略控制对话生成等。笔者的划分是根据自己对该任务研究进展梳理而得到的理解，并不一定合理。

用于对话理解的对话数据集

IEMOCAP

发布时间：2008年
论文链接：https://link.springer.com/article/10.1007/s10579-008-9076-6
数据集链接：https://sail.usc.edu/iemocap/
数据集语言：英文
数据集模态：视频、音频、文本
数据集描述：IEMOCAP主要用于对话情感识别，包含151个对话、7433个语句、10个对话角色、10种情感标签。

SEMAINE

发布时间：2012年
论文链接：https://ieeexplore.ieee.org/document/5959155
数据集链接：https://semaine-db.eu/
数据集语言：英文
数据集模态：视频、音频、文本
数据集描述：SEMAINE主要用于对话情感识别，由四个固定形象的机器人与人进行对话，标注了4个情感维度：Valence (愉悦度), Arousal (激活度), Expectancy (预期), Power (力量)。Valence表示情感积极的程度，Arousal表示兴奋的程度，Expectancy表示与预期相符的程度，Power表示情感影响力。其中Valence、Arousa和Expectancy为[-1, 1]范围内的连续值，Power为大于等于0的连续值。

Mastodon

发布时间：2018年
论文链接：https://www.aclweb.org/anthology/C18-1063/
数据集链接：https://github.com/cerisara/DialogSentimentMastodon
数据集语言：英文
数据集模态：文本
数据集描述：Mastodon主要用于对话当中的情感与对话动作(DA)识别，尤其是联合识别任务。它包括535个对话、2217个语句，标注了3大类情感标签、27类对话动作(DA)。

MELD

发布时间：2019年
论文链接：https://www.aclweb.org/anthology/P19-1050
数据集链接：https://affective-meld.github.io/
数据集语言：英文
数据集模态：视频、音频、文本
数据集描述：MELD主要用于对话中的情感识别，也有部分论文将其用于情感对话生成或者多模态对话生成。它包括1433个对话、13708个语句，提供了3大类粗粒度情感标签以及7种细粒度情感标签。视频被切割成按语句划分的短视频，可以通过语句索引获得该语句对应的视频。

EMOTyDA

发布时间：2020年
论文链接：https://www.aclweb.org/anthology/2020.acl-main.402/
数据集链接：https://github.com/sahatulika15/EMOTyDA
数据集语言：英文
数据集模态：视频、音频、文本
数据集描述：EMOTyDA是一个类似于Mastodon的对话数据集，它主要整理了IEMOCAP以及MELD数据集，并且增加了12种常见的对话动作标签，最终包括了1341个对话以及19365个对话语句。可以用于情感和DA的联合识别任务。

MEmoR

发布时间：2020年
论文链接：https://dl.acm.org/doi/10.1145/3394171.3413909
数据集链接：https://github.com/sunlightsgy/MEmoR
数据集语言：英文
数据集模态：视频、音频、文本
数据集描述：MEmoR数据集主要用于多模态情感推理(ER)，包括8536个对话以及22732个语句，提供了14种情感标签并且对64个说话人标注了16PF、Big Five、MBTI三种个性特质用于辅助情感推理。我认为该数据集还可以用于情感对话或者个性化对话任务。

M${}^3$ED

发布时间：2022年
论文链接：https://aclanthology.org/2022.acl-long.391/
数据集链接：https://github.com/aim3-ruc/rucm3ed
数据集语言：中文
数据集模态：视频、音频、文本
数据集描述：与MELD数据集类似，但其数据来源于56部电视剧，人物更加丰富。文章构建了一个大规模高质量的多模态、多场景、多标签情感对话数据集，从56部中文电视剧，大约500集中选取900多个对话片段，并对对话中的每句话进行多情感标签的标注，共标注24,449句话。文章采用主流的6类基本情感标注（高兴、惊讶、伤心、生气、厌恶，害怕）以及正常无明显情感，共7类离散情感。从数据来源选取，对话片段选取，情感标注，标注后处理等方面进行严格把控，以保证数据的质量，最终得到标注者间一致性0.59，高于MELD 的0.43、IEMOCAP的0.48 以及MSP-IMPROV 中的0.49。

CPED

发布时间：2022年
论文链接：https://arxiv.org/pdf/2205.14727v1.pdf
数据集链接：https://github.com/scutcyr/CPED
数据集语言：中文
数据集模态：视频、音频、文本
数据集描述：该数据集来自论文CPED: A Large-Scale Chinese Personalized and Emotional Dialogue Dataset for Conversational AI。人类的语言表达是基于对情景的主观识解，而不是客观的真实条件，这意味着说话人的个性和情感经过认知处理后对会话有着重要的影响。为了在会话生成过程中同时考虑个性和情感，CPED由与情感和个性相关的多源知识组成。这些知识包括性别、大五人格特征、13种情绪、19种对话行为和10个场景，包含超过12K段对话，将给中文对话理解与生成领域提供一个更有挑战性的任务。任务设置见https://paperswithcode.com/dataset/cped。

常规开放域对话数据集

OpenSubtitles

发布时间：2009年
论文链接：http://www.lrec-conf.org/proceedings/lrec2016/pdf/947_Paper.pdf
数据集链接：http://nlp.stanford.edu/data/OpenSubData.tar
数据集链接2：https://opus.nlpl.eu/OpenSubtitles-v2018.php
数据集语言：多语言（62种语言）
数据集模态：文本
数据集描述：OpenSubtitles主要用于开放域对话生成，包含2.6 billion语句。

Cornell Movie-Dialogs

发布时间：2011年
论文链接：https://www.aclweb.org/anthology/W11-0609/
数据集链接：http://www.cs.cornell.edu/~cristian/Cornell_Movie-Dialogs_Corpus.html
数据集语言：英文
数据集模态：文本
数据集描述：Cornell Movie-Dialogs包含从原始电影脚本中提取的大量元数据丰富的虚构对话集合，10,292 对电影角色之间的 220,579 次对话交流， 涉及 617 部电影中的 9,035 个角色，总共 304,713 条话语。

STC

发布时间：2015年
论文链接：https://www.aclweb.org/anthology/P15-1152/
数据集链接：https://coai-dataset.oss-cn-beijing.aliyuncs.com/STC-corpus.zip
数据集语言：中文
数据集模态：文本
数据集描述：STC是从微博爬取的语料构造的短文本对话(Short-Text Conversation)数据集，包含4.4 million个对话，。这里的数据集下载链接来自项目CDial-GPT。

Ubuntu Dialogue Corpus

发布时间：2015年
论文链接：https://www.aclweb.org/anthology/W15-4640/
数据集链接：https://github.com/rkadlec/ubuntu-ranking-dataset-creator
数据集语言：英文
数据集模态：文本
数据集描述：该数据集包含930,000个对话，7,100,000个语句，平均对话轮次为7.71轮，常用于开放域对话生成。

Douban Conversation Corpus

发布时间：2017年
论文链接：https://www.aclweb.org/anthology/P17-1046/
数据集链接：https://github.com/MarkWuNLP/
数据集语言：中文
数据集模态：文本
数据集描述：Douban数据集主要爬取自中文豆瓣论坛，包含1.1M个对话，7.7M个语句。

LCCC

发布时间：2020年
论文链接：https://arxiv.org/abs/2008.03946
数据集链接：https://github.com/thu-coai/CDial-GPT
数据集语言：中文
数据集模态：文本
数据集描述：LCCC数据集分为base和large两个版本，主要用于预训练大规模对话生成模型，其base版本包括了12M个对话，32.9M个对话语句。

OpenViDial

发布时间：2020年
论文链接：https://arxiv.org/abs/2012.15015
数据集链接：https://github.com/ShannonAI/OpenViDial
数据集语言：英文
数据集模态：图像、文本
数据集描述：OpenViDial 中的数据来自电影与电视剧，使用 OCR 从视频中抽取出对话文本，并配以当前对话所在的图像，因此，每一句话都有相应视觉背景，最终形成包含百万余条句子的大规模多模态对话数据集。其包含了1.1M个对话语句+视觉背景。

PchatbotW

发布时间：2021年
论文链接：https://arxiv.org/abs/2009.13284
数据集链接：https://github.com/qhjqhj00/Pchatbot
数据集语言：中文
数据集模态：文本
数据集描述：PchatbotW主要从微博爬取得到，包括了139,448,339个对话、 278,896,678，并且提供了时间戳和用户ID两种个性信息，可以隐式地建模说话者的个性。

WDC-Dialogue

发布时间：2021年
论文链接：https://arxiv.org/pdf/2108.01547.pdf
数据集链接：https://github.com/thu-coai/EVA
数据集语言：中文
数据集模态：文本
数据集描述：这是一个超大规模的中文对话数据集，其平均轮次为2.1，所以我认为其是单轮对话数据集比较妥当。该数据集包括了1.4B个对话，以及3.0B个语句，其规模可以说是前所未有的大！

EVA2.0

发布时间：2022年
论文链接：https://arxiv.org/pdf/2203.09313v1.pdf
数据集链接：https://github.com/thu-coai/EVA
数据集语言：中文
数据集模态：文本
数据集描述：这是WDC-Dialogue的升级版，包含0.4B个对话，1.1B个语句，与WDC-Dialogue相比，最后的数据集大小为原来的三分之一，但是数据质量提升了很多。

待更新

发布时间：
论文链接：
数据集链接：
数据集语言：
数据集模态：
数据集描述：

情感对话数据集

DailyDialog

发布时间：2017年
论文链接：https://www.aclweb.org/anthology/I17-1099/
数据集链接：http://yanran.li/dailydialog
数据集语言：英文
数据集模态：文本
数据集描述：DailyDialog主要包括13118个对话、102K个对话语句，标注了7种情感、4类对话动作(DA)以及10个对话主题。可以用于对话情感识别、对话动作识别任务，以及情感对话生成任务。

ESTC

发布时间：2018年
论文链接：https://arxiv.org/abs/1704.01074
数据集链接：http://coai.cs.tsinghua.edu.cn/hml/challenge2017/
数据集语言：中文
数据集模态：文本
数据集描述：ESTC数据集是在STC数据集的基础上，使用一个训练好的文本情感分类器得到，通过文本情感分类器，自动标注了6类情感标签，常用于中文情感对话生成任务。

EMPATHETICDIALOGUES

发布时间：2019年
论文链接：https://www.aclweb.org/anthology/P19-1534/
数据集链接：https://github.com/facebookresearch/EmpatheticDialogues
数据集语言：英文
数据集模态：文本
数据集描述：EMPATHETICDIALOGUES主要用于共情对话生成，由25000个对话组成，提供了32种情感标签。

ESConv

发布时间：2021年
论文链接：https://arxiv.org/abs/2106.01144
数据集链接：https://github.com/thu-coai/Emotional-Support-Conversation
数据集语言：英文
数据集模态：文本
数据集描述：ESConv包括了1053个对话、31410个语句，提供了7种负向情绪、5个负向情绪问题以及8种情感支持策略。伴随着该数据集诞生的是首次出现的情感支持对话(ESC)任务。

CPED

发布时间：2022年
论文链接：https://arxiv.org/pdf/2205.14727v1.pdf
数据集链接：https://github.com/scutcyr/CPED
数据集语言：中文
数据集模态：视频、音频、文本
数据集描述：该数据集来自论文CPED: A Large-Scale Chinese Personalized and Emotional Dialogue Dataset for Conversational AI。人类的语言表达是基于对情景的主观识解，而不是客观的真实条件，这意味着说话人的个性和情感经过认知处理后对会话有着重要的影响。为了在会话生成过程中同时考虑个性和情感，CPED由与情感和个性相关的多源知识组成。这些知识包括性别、大五人格特征、13种情绪、19种对话行为和10个场景，包含超过12K段对话，将给中文对话理解与生成领域提供一个更有挑战性的任务。任务设置见https://paperswithcode.com/dataset/cped。

待更新

发布时间：
论文链接：
数据集链接：
数据集语言：
数据集模态：
数据集描述：

个性对话数据集

PERSONA-CHAT

发布时间：2018年
论文链接：https://www.aclweb.org/anthology/P18-1205/
数据集链接：https://github.com/facebookresearch/ParlAI/tree/master/projects/personachat
数据集语言：英文
数据集模态：文本
数据集描述：PERSONA-CHAT包括10981个对话以及164356个语句，由1155个人参与对话，每个人指定了至少5句profile句子表示其个性。

PersonalDialog

发布时间：2019年
论文链接：https://arxiv.org/abs/1901.09672
数据集链接：https://github.com/silverriver/PersonalDilaog
Please contact [zhengyinhe1@163.com] for the PersonalDialog dataset
数据集语言：中文
数据集模态：文本
数据集描述：该数据集包括20.83M个对话、56.25M个句子，对于每个说话人，提供了5种个性特征(Age, Gender, Location, Interest, self descriptions)。

CPED

发布时间：2022年
论文链接：https://arxiv.org/pdf/2205.14727v1.pdf
数据集链接：https://github.com/scutcyr/CPED
数据集语言：中文
数据集模态：视频、音频、文本
数据集描述：该数据集来自论文CPED: A Large-Scale Chinese Personalized and Emotional Dialogue Dataset for Conversational AI。人类的语言表达是基于对情景的主观识解，而不是客观的真实条件，这意味着说话人的个性和情感经过认知处理后对会话有着重要的影响。为了在会话生成过程中同时考虑个性和情感，CPED由与情感和个性相关的多源知识组成。这些知识包括性别、大五人格特征、13种情绪、19种对话行为和10个场景，包含超过12K段对话，将给中文对话理解与生成领域提供一个更有挑战性的任务。任务设置见https://paperswithcode.com/dataset/cped。

待更新

发布时间：
论文链接：
数据集链接：
数据集语言：
数据集模态：
数据集描述：

策略控制对话生成

PsyQA

发布时间：2021年
论文链接：https://arxiv.org/abs/2106.01702
数据集链接：https://github.com/thu-coai/PsyQA
数据集语言：中文
数据集模态：文本
数据集描述：一个用于生成心理健康支持长篇咨询文本的中文数据集，该数据集主要收集了壹心理社区的问答数据，标注了6种助人策略，总共包括了22346个问题以及56063个回复。

待更新

发布时间：
论文链接：
数据集链接：
数据集语言：
数据集模态：
数据集描述：

个性情感对话生成

任务描述见：https://paperswithcode.com/task/personalized-and-emotional-conversation

CPED

发布时间：2022年
论文链接：https://arxiv.org/pdf/2205.14727v1.pdf
数据集链接：https://github.com/scutcyr/CPED
数据集语言：中文
数据集模态：视频、音频、文本
数据集描述：该数据集来自论文CPED: A Large-Scale Chinese Personalized and Emotional Dialogue Dataset for Conversational AI。人类的语言表达是基于对情景的主观识解，而不是客观的真实条件，这意味着说话人的个性和情感经过认知处理后对会话有着重要的影响。为了在会话生成过程中同时考虑个性和情感，CPED由与情感和个性相关的多源知识组成。这些知识包括性别、大五人格特征、13种情绪、19种对话行为和10个场景，包含超过12K段对话，将给中文对话理解与生成领域提供一个更有挑战性的任务。任务设置见https://paperswithcode.com/dataset/cped。