Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Empfohlen
Empfohlen (20)
NLP.pptx
- 1. Other Roles Matter! Enhancing Role-Oriented Dialogue Summarization via Role Interactions 1 汇报人：王浩 Haitao Lin, Junnan Zhu, Lu Xiang, Yu Zhou , Jiajun Zhang,Chengqing Zong 1 National Laboratory of Pattern Recognition, Institute of Automation, CAS, Beijing, China 2 School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China 3 Fanyu AI Laboratory, Zhongke Fanyu Technology Co., Ltd, Beijing, China
- 3. 研究背景 3 Other Roles Matter 定义面向角色的对话，任务为给定一段对话和其中的一 个角色，我们需要生成一段摘要来概括对话中该角色的主要 观点。为了完成该任务，一个直观的想法是抽取对话中该角 色对应的说话内容来进行摘要，其他角色也能够给当前角色 的摘要提供一些关键的信息。 1.Other roles'dialogue utterances matter
- 4. 研究背景 4 Other Roles Matter 另一种情况是可以从其他角色的摘要中获取关键的信息， 以同样的一个对话为例，由于对话中不同角色通常在讨论同 一个主题，因此摘要模型可以根据其他角色的内容来帮助判 断当前角色的摘要中哪些信息应该被保留。 2. Other roles' summaries matter
- 7. 2023/1/26 7 跨越注意力交互模块，想要让解码器关注到对话语 句中其他角色的关键语句，首先编码器对对话进行 编码以后，根据对话中每句话的说话信息，通过掩 码的方式得到对话中每个角色所有的语句的向量表 示。其中h encode u就代表用户的语句的向量表示， 而h encode a就代表客服的语句向量表示，然后对 于每个角色的解码器，让它们分别独立地关注到每 个角色的对话语句，这样在拥有两个角色的对话中， 就可以得到四组不同的注意力分布。 研究方法 Cross-Attention Interaction
- 9. 2023/1/26 9 解码器自注意交互模块，通过解码器的隐藏状态来 让模型关注到其他角色的摘要信息。以用户解码器 为例，在解码的第t个时刻，模型使用当前时刻的隐 藏状态，关注到客服解码器的所有的隐藏状态，当 前时刻隐藏状态就是ht user，然后客服解码器的所 有隐藏状态就是h1 agent到ht agent。然后进行注意 力计算以后得到加权的其他角色解码器的隐藏信息 rt user，最后结合当前角色的隐藏状态ht user,其 他角色的解码器隐藏信息rt user和编码器端的上下 文表示端cuu,t和cua,t这些信息共同来预测生成摘 要中词汇的分布概率。 研究方法 Decoder Self-Attention Interaction
- 12. 2023/1/26 12 Baseline & Evaluation Metrics 实验和分析 使用PGN和BERT两种不同的摘要框架进行训练 训练的方法包括分开训练以及简单的多任务结合方 法，这里还比较使用多种交互方法，就是只使用跨 越注意力交互，或者只使用解码器自注意交互和同 时使用两种交互方法 在评价指标方面，使用了自动评价和人工评价的指 标来比较不同摘要的方法的优劣
- 14. 2023/1/26 14 user/agent range: [0, 1] Human Results 这是CSDS人工评价的结果，其中表格中的每个格子的两个 分数，分别代表用户摘要和客服摘要的结果，人工评价的 结果在两种摘要模型上呈相反的趋势，提出的交互方法能 够减少PNG模型的冗余性，并提高BERT模型的信息丰富度， 在总体的摘要评价结果上，两个模型都得到了提升，由于 对话中存在大量的指代和省略现象，因此CSDS数据集中客 服摘要经常面临语义信息不完整的问题。