智能问答

　　模型中输入为经过字符清洗后的用户查询文本，在其前后添加与预训练中相同的句子起始与终止标识。采用预训练中所得的词向量对其进行向量化表示Word Embedding，结合位置向量表示Position Embedding得到输入文本在模型中的向量输入x，经过上述Transformer 模型中的编码过程可得到基于自注意力机制抽取的特征图谱Squence Outpt。 　　分别将其输入至左侧前馈神经网络再由softmax函数得到对应问题类别的概率分布；同时将特征图谱输入右侧前馈神经网络再由softmax函数得到特征图谱中每一维输出对应实体标注的概率分布，从而实现对用户查询的实体抽取与问题分类。