5.1 总结
针对仅在向量级别权值的特征表示无法满足模型区分更细粒度特征,并且绝大多数模型没有利用显式高阶特征级别的交互学习与显式高阶元素级别的特征交互学习结合而带来的互补信息的问题,本文提出了一种基于注意力和图神经网络的点击率预测模型VBGA,通过改进的SENET的注意力机制可以学到更细粒度的特征表示,以便于后续的特征交互。同时,将学习到更细粒度的特征表示输入到向量级特征交互和元素级特征交互来进行特征交互,其中,利用有向图可以产生无重复的特征交互的优势来构建显式的向量级别的特征交互,采用交叉网络来构建显式的元素级别的特征交互。最终结合这两个交互层的结果来预测点击率。
针对现有的大多数模型主要依赖于手工设计交互结构,其特征交互的阶数往往为一个预定义的整数。这种经验主义的设计往往使模型与真实场景产生较大偏差,不能从数据中自适应地学习出最优的交互结构,无法实现特征交互阶数的自适应学习的问题,本文提出了一种基于双线性融合的欧拉交互网络的点击率预测模型EINBF。EINBF根据欧拉公式将初始学习的特征从实向量空间映射到复向量空间,在欧拉交互层模拟了复向量空间中的任意阶的特征交互。在欧拉交互层中,将特征交互的指数幂转换为复数特征的模长和相位的简单线性组合,使其能够有效地自适应地学习任意阶数的特征交互。此外,EINBF将隐式和显式特征交互集成到一个统一的架构中,可以实现相互增强,并在很大程度上提高了模型的能力。最后,使用双线性融合的方式把输出的实部向量和虚部向量融合来捕捉输出的实部向量和虚部向量之间的特征交互以实现更好的预测。
参考文献(略)