简介
Domain Adaptive Dialog Generation via Meta Learning, ACL2019, pdf, pytorch code
这篇论文将Meta Learning中的经典算法MAML融合进end2end（生成式）的对话系统。旨在利用Meta Learning学习出在领域（Domain）间快速适应的模型。使得在新的领域只有少量数据的情况下，也能获得不错的对话效果。
本文提到：Meta Learning在对话中，已有人将其利用到dst和dpl中，也有人将其应用到end2end的对话系统中，但适应的是用户的情绪。
模型结构
基础模型是seq2seq + Two Stage CopyNet，来自这篇论文：
Sequicity: Simplifying Task-oriented Dialogue Systems with Single Sequence-to-Sequence Architectures, acl2018, pdf, pytorch code
如何加入MAML:
上图中a是典型的梯度更新：
- (1) 结合训练数据和初始模型
- (2) 计算损失函数值
- (3) 更新模型参数
b是Meta Learning的更新。
- (1) 分别结合k个Source Domain的训练数据和初始模型。
- (2) 对每个domain，计算一个损失函数值
- (3) 用上面的损失函数值更新每个domain对应的模型$M’_k$。
- (4) (5) 使用第k个domain的数据，重新计算每个领域模型$M’_k$当前的损失函数值。
- (6) 把这些损失函数值都相加，得到一个新值。
- (7) 用上面的函数值去更新模型M的参数。
具体算法：
实验
数据集：SimDial（来自Zero-shot Learning的paper）
指标：BLEU score, entity F1 score, adapting time.
结果：数据集上指标优于Zero-shot和Transfer Learning。