结合用户长短期兴趣与事件影响力的事件推荐策略

钱忠胜 杨家秀 李端明 叶祖铼

(江西财经大学信息管理学院 南昌 330013)(changesme@163.com)

摘 要 事件社交网络的快速发展引起的信息过载问题是当前面临的主要挑战,深度学习等技术可从大量的数据中挖掘潜在的关联信息,从而有效应对该问题.同时,有研究表明用户兴趣在长期和短期的时序上具有不同的特征模式,深度挖掘用户的时序特征和兴趣可有效地为用户提供个性化的事件推荐信息.基于此,提出一种将用户长短期兴趣与事件影响力相结合的推荐策略.通过带注意力机制的图神经网络和长短期记忆网络获取用户的长短期兴趣,同时,对候选事件构建针对目标用户的影响力.根据用户长短期兴趣和事件影响力预测目标用户的参与概率,最终通过排序后的参与概率向用户推荐TOP-K兴趣事件.实验结果表明,所提推荐模型在多个指标上均有所改善,其推荐性能优于已有对比模型,具备很好的推荐效果.

关键词 基于事件的社交网络;个性化事件推荐;长短期兴趣;图神经网络;注意力机制

社交网络的兴起为用户提供了方便快捷的沟通方式,随着用户线下社交需求的扩张,形成了一种基于事件的社交网络(event-based social network, EBSN)[1].具有相似兴趣的用户群体可在线上创建或加入兴趣小组,并可在EBSN平台上发起事件活动,吸引对事件具有相似兴趣的其他用户一同参与线下活动.以Meetup、豆瓣同城等为代表的EBSN平台可有效满足用户线上虚拟社交与线下真实社交的需求.然而,随着EBSN平台用户和事件信息的日益增长,简单分类查询功能难以有效解决用户面临的信息过载问题[2],同时缺少个性化和多样性.利用推荐技术为用户提供更精准、高质量的个性化事件推荐成为相关领域的热点问题.

个性化推荐普遍存在冷启动问题[3],在EBSN中待推荐的事件需要在其举办的时间点之前推荐给用户,始终面临冷启动问题;新用户则因为缺少历史记录和反馈信息,同样存在冷启动问题.而社交网络中较低的活跃用户比例也使得用户反馈和交互记录较少.传统的基于协同过滤或矩阵分解的事件推荐方法,主要基于用户和事件之间的交互信息和历史记录对用户兴趣进行预测[4-5].近些年热门的基于上下文信息的个性化事件推荐,则是通过学习用户的多个上下文特征评分进行TOP-K事件推荐,或根据交互关系,通过排序学习算法获取TOP-K事件进行推荐[6-9].这些工作都考虑了EBSN中的部分上下文信息或交互关系进行评分推荐,但对用户和事件的高阶交互信息挖掘程度较浅,未考虑历史记录对用户的单独影响,以及历史记录时序关系的影响.

基于此,提出一种结合用户长短期兴趣与事件影响力的事件推荐模型(event recommendation based on user long-short term interest and event influence, LSTIEI).首先,用并行的卷积神经网络(convolutional neural network, CNN)从事件标题和事件内容中获取事件嵌入表示,并同步构建用户和事件、用户和群组的异构交互关系图.其次,利用图神经网络(graph neural network, GNN)来捕捉事件和群组2个空间的用户长期兴趣.同时,通过基于注意力机制的长短期记忆网络(long-short term memory, LSTM)从用户历史记录的时序关系中提取用户短期兴趣.另外,从内容、时间、空间3个特征构建候选事件的影响力.最后,结合用户长短期兴趣嵌入与事件影响力嵌入,在多层感知机网络中预测用户参与候选事件的概率,并根据排序后的参与概率向用户推荐TOP-K事件.

1 相关工作

个性化推荐已成为解决事件推荐中信息过载问题的主要手段,由于候选推荐事件的用户反馈极少或不存在,传统的协同过滤方法难以应对冷启动问题.因此,结合上下文信息建模用户兴趣的个性化推荐被广泛应用.

Sun等人[10]认为用户的偏好是由随时间变化的动态偏好和一般的静态偏好构成,提出利用双注意力递归神经网络分别建模时间对用户的动态偏好影响以及刻画用户的静态偏好影响,并结合两者构造统一的推荐方法.Wang等人[11]则同步考虑小组的动态和静态偏好实现群组推荐.Wang等人[12]利用时空信息进行组合建模,考虑了事件的时间和位置因素的交互影响,探索事件时空信息的表征学习对事件推荐的有效性.Li等人[7]则认为地理因素不仅对用户的选择有决定性影响,而且这种影响也是随时间不断变化的,构建了一种时空主题模型以探究内容、地理和时间因素之间的交互对用户决策产生的影响,尝试解决事件推荐的冷启动问题.

这些研究通过将时间和地理信息的影响应用到推荐中来提升推荐效果,但忽略了其他上下文信息的作用.部分研究则考虑了EBSN中的多个上下文信息来挖掘用户兴趣.

Jiang等人[13]根据事件的6类特征训练用户在矩阵分解模型中的用户排名进行推荐.Macedo等人[8]分别构建了时间、地理、内容和社交等多因素的评分模型,并根据特征评分学习用户与候选事件的排序关系,试图解决事件推荐的冷启动问题.Wang等人[9]重点关注事件主办方和同组成员的社交影响力,结合事件社交网络与其他社交网络来增强主办方影响力的表征,并统一构建多个上下文特征的增强感知推荐模型计算推荐评分.Jhamb等人[14]提出一种针对事件推荐的双重视角群体感知隐式因子模型,分别从用户和事件2个角度考虑对用户参与事件决策的影响,并整合上下文信息的影响进行排序推荐.

这些研究构建了多个特征的评分模型,虽然从多个特征方面较全面地描述了用户的兴趣,但简单的评分模式仍不能灵活地表示用户兴趣,同时,也没有深入考虑事件的影响.

近年来,基于GNN和注意力机制的社交推荐工作逐渐成为热点,传统的图论方法主要根据路径信息获取节点特征.Liu等人[15]研究了构造不同类型节点的混合图来表示EBSN中的实体关系,通过在图上执行随机游走获取高收敛概率的候选事件推荐给用户.于亚新等人[16]针对用普通图表征EBSN信息可能会存在高维特征信息丢失的情况,提出利用超图建模EBSN中的复杂社交关系.

而GNN可迭代地从图节点的局部邻域中聚合特征信息并在图上传递,具备强大的表征学习能力[17-18],因而被引入社交推荐中.Fan等人[19]考虑用户和项目及其他用户之间存在不同的交互关系,分别构建用户-项目交互关系图和用户-用户社交关系图,构建了针对社交推荐的图神经网络框架GraphRec对2个图和异构关系进行建模.

在推荐系统中引入注意力机制的关键目标是针对影响用户的不同因素给予不同的关注度权重.Yin等人[20]从用户-项目交互关系二部图上提取交互信息以缓解数据稀疏性,通过引入注意力机制应对二部图上节点大小可变问题,提取的交互信息可更准确地表达用户偏好.文献[21-22]中也将注意力机制融入用户的短期兴趣获取过程中.Tran等人[23]提出利用注意力机制捕捉群组中每个用户的个体偏好,构建注意力模型自动学习每个用户在群组中的影响力权重,最终根据权重聚合得到群组的整体偏好,从而以群组为单位进行项目推荐.

以上对相关工作的分析表明,大多数事件推荐研究都基于传统的特征评分进行,没有深入挖掘用户与事件的交互信息;此外,关于事件对用户的潜在影响很少被考虑.基于此,提出LSTIEI模型来捕捉用户整体兴趣,从用户的长期兴趣和短期兴趣2个角度考虑了用户的偏好,同时,综合了事件本身对用户产生的影响,结合两者构建深度推荐模型对用户进行个性化的TOP-K事件推荐.

2 用户长短期兴趣与事件影响力相结合的事件推荐

2.1 问题定义与相关符号

给定一个目标用户,其参与的历史事件集合为{e1,e2,…,en},其中n表示目标用户参加的事件活动总数.同时,给定候选事件enew,事件推荐问题的目的旨在通过构建的推荐模型预测用户参与事件enew的可能性或概率,表示用户对该事件感兴趣的程度,并根据预测结果从多个候选事件中选择1个或多个兴趣程度较高的事件推荐给该用户.

在EBSN中,由于用户无法对未发生的候选事件进行评级,存在的冷启动问题使得传统推荐方法不适用,一般可利用上下文信息和交互关系等信息进行事件推荐.基于事件的社交网络具有复杂异构特性,可用图结构定义其形式.图的节点由用户、事件、群组等实体组成;节点之间的边则表示实体间的交互关系,主要有用户-事件交互、用户-群组交互.事件社交网络图结构中还包括事件的举办地点、主办方、时间等特征信息.本文主要通过EBSN中的交互关系及上下文特征信息深入挖掘用户兴趣,并据此构建推荐模型来生成向用户推荐的TOP-K事件列表.表1列出了文中主要符号及含义:

Table 1 The Main Symbols and Their Meanings
表1 主要符号及其含义

符号含义T=(w1,w2,…,wm)T标题词嵌入C=(s1,s2,…,sn)T内容词嵌入E事件特征嵌入hEi事件空间中用户嵌入hGi群组空间中用户嵌入αiv,βir注意力权重Ik用户内容兴趣嵌入x~用户时序特征嵌入UL用户长期兴趣嵌入US用户短期兴趣嵌入sci,sti,svi内容、时间、空间相似度S事件影响力嵌入Vue用户事件嵌入P参与概率

2.2 推荐模型框架

基于事件社交网络的复杂异构特征,提出一种基于深度学习的事件推荐模型LSTIEI.该模型主要由4个部分构成:用户长期兴趣建模、用户短期兴趣建模、事件影响力构建、参与概率预测.模型框架如图1所示,具体推荐过程如下:

1) 提取事件特征嵌入向量与构建交互关系图.先利用并行的CNN从事件标题和事件内容2个层次提取事件嵌入表示,并串联2个向量获得事件最终的嵌入表示;同时,根据EBSN中的社交信息构建用户-事件、用户-群组交互关系图.

2) 建模用户的长短期兴趣.一方面,利用GNN从2个交互图上聚合用户的兴趣嵌入;另一方面,通过引入注意力机制,从用户历史事件的内容影响和时序影响建模用户的短期兴趣.其中,根据用户历史事件嵌入计算事件内容的注意力权重,时序影响则是利用基于注意力的LSTM来获取.

3) 建模事件影响力.分别在内容、时间、空间3个方面计算候选事件与目标用户每个历史事件的相似度,并归一化后对其取平均值,用以表征事件的影响力.

4) 融合用户长短期兴趣与事件影响力.将构建的用户长期兴趣嵌入、短期兴趣嵌入和事件影响力嵌入串联之后,与候选事件嵌入一同输入多层感知机(multi-layer perceptron, MLP)网络中进行评级预测,并根据排序后的结果向用户推荐相应的兴趣事件.

Fig. 1 The framework of LSTIEI recommendation model
图1 LSTIEI推荐模型框架

2.3 事件特征提取与交互关系图构建

EBSN中事件包含多个属性和内容信息,在输入模型之前,先利用CNN将其转换成向量形式,以便进行深度学习运算.此外,由于EBSN的复杂异构特征,本文分别从用户-事件和用户-群组2个方面构建交互关系图,以聚合用户的兴趣偏好.

2.3.1 事件特征提取

每个EBSN事件的标题和内容描述文本是对用户影响最明显的特征,因此,从事件标题和事件内容提取事件的嵌入表示.而事件标题和内容由单词序列构成,故先将事件从文本表示转换成词向量形式.本文定义事件标题的词嵌入向量T=(w1,w2,…,wm)Tm×p和内容文本的词嵌入向量C=(s1,s2,…,sn)T,其中,m,n,p分别是标题单词数量、内容实体数量以及向量维度,内容实体主要从描述文本中提取,事件标题和内容的词嵌入均随机初始化获得.

通过并行的CNN对事件标题和内容信息进行提取,分别将标题和内容文本词嵌入TC作为输入来学习事件的标题表示和内容表示.具体地,先给定事件标题和描述文本,通过随机初始化获得词嵌入表示.然后,将TC输入具有独立权重参数的并行CNN中,每个CNN由卷积层和池化层组成,这里选择ReLU激活函数和最大池化操作.另外,经过CNN的卷积和池化操作后获得了多个局部特征,将这些特征串联表示输入事件的特征学习结果.至此,已经通过CNN获取了事件标题特征表示和内容特征表示最终的事件特征表示定义为如式(1)所示:

(1)

接下来同步构建用户与事件、用户与群组的交互关系图,分别从2个交互关系图中聚合用户在事件空间和群组空间的兴趣嵌入,并融合为用户的最终长期兴趣嵌入表示.

2.3.2 交互关系图构建

EBSN网络主要由用户、事件和群组3种实体构成,用户可选择加入群组并参与群组中发起的事件,则用户分别与事件、群组构成交互关系.对用户-事件和用户-群组的交互分别构建交互关系图,由于每一个事件及其主办方都属于某个对应的小组,因此,忽略事件与群组、主办方之间的关联.如图2所示:

Fig. 2 The interaction graph of user-event and user-group
图2 用户-事件与用户-群组交互图

针对用户-事件和用户-群组之间的关系,分别构造无向图Graph1=(V1,R1),Graph2=(V2,R2)来表示EBSN中的用户和事件、用户和群组的交互,其中V1,V2分别表示2个交互图的节点集,R1,R2则表示它们的边集.用户-事件交互图中包含2种类型的节点:用户和事件.对于用户ui和事件ej,可定义rui,ej=1表示用户参与了该事件,反之rui,ej=0,用户-事件交互图如图2中用户-事件部分所示.同样地,用户-群组交互图中也包含2种类型的节点:用户和群组.对于用户ui与群组gk,用户加入了该线上小组,定义交互关系为rui,gk=1,未参加则交互关系rui,gk=0.用户-群组交互图如图2中用户-群组部分所示,其中,虚线箭头表示每个事件属于对应的发起小组.

2.4 用户长短期兴趣建模

现实中,用户可能在较长的一段时间内存在固定的兴趣爱好,本文通过GNN建模用户在事件空间和群组空间的长期兴趣.研究表明,用户除了存在固定的长期兴趣,也可能受近期历史事件的影响[21],存在明显的短期兴趣.我们通过引入注意力机制从用户历史记录的时序和内容2方面建模用户短期兴趣.

2.4.1 利用注意力GNN建模用户长期兴趣

用户长期兴趣建模主要是通过GNN学习用户的长期兴趣嵌入表示UL.前面已经分别构建了用户和事件、用户和群组之间的交互关系图,本节将这2个交互图的信息结合,利用GNN聚合交互图上的邻节点和邻边的信息,以编码目标用户与事件、群组之间的高阶信息,学习用户的长期兴趣表示.接下来利用GNN分别从交互图中聚合节点信息学习用户在事件空间的嵌入表示和群组空间的嵌入表示其中E,G分别表示事件空间和群组空间,D表示嵌入向量的长度.然后,将2个空间的用户嵌入融合形成最终的用户长期兴趣嵌入表示UL.

1) 用户-事件交互嵌入学习.通过前面构建的交互关系图,利用GNN传递嵌入信息捕捉用户和事件之间的高阶交互信息,计算GNN节点嵌入的一般形式如式(2)所示:

(2)

其中,σ(·)和Aggre(·)分别表示激活函数与聚合函数,通过聚合函数对目标节点的相邻节点的信息进行聚合,Ni表示用户节点i的邻域,hNi是事件与节点i交互的表示向量.We表示权重矩阵,be表示偏置项,GNN通过Webe来更新节点嵌入实际上,每个用户交互的历史事件数量有很大差异.为了保证GNN计算的有效性,将每个用户的邻域Ni设置固定长度L(Ni),取值为所有用户邻域的平均值,如式(3)所示:

(3)

对于聚合函数Aggre(·)的计算,考虑用户每一次的交互情况可能是不同的,根据注意力机制的思想,此处为用户的每个交互分配一个个性化权重来弥补均值聚合的不足[24].聚合函数如式(4)所示:

(4)

其中,αiv表示用户节点i与事件节点v交互的注意力权重.接下来,利用一个2层的神经网络对注意力权重进行参数化训练,输入交互事件的嵌入hNi,输出注意力权重再使用Softmax函数归一化评分获取最终的注意力权重αiv,如式(5)所示:

(5)

其中,Wl1分别表示2个网络层的权重参数,b1b2均表示偏置项.

2) 用户-群组交互嵌入学习.一般来讲,用户的兴趣偏好会受社交关系的影响,然而,在EBSN中,用户之间通常不存在直接的好友交互,而加入同一个小组的用户之间可能存在相同的兴趣偏好,因此,考虑从用户与群组的交互获取用户的社交兴趣.同样引入注意力机制来聚合具有代表性的群组特征信息表征用户的社交兴趣.因为用户之间往往不存在直接的交互关系,为了聚合群组的特征信息,以每个群组与所有用户的交互表示该群组的特征嵌入hMi,这里Mi表示用户-群组交互图中节点i的邻域.而用户与每个群组之间存在强弱关联,因此,同样利用一个2层神经网络训练注意力权重并使用Softmax函数归一化得到最终的注意力权重βir,对于目标用户ui的群组交互嵌入建模过程义如式(6)所示:

(6)

其中聚合函数与事件空间的聚合方式类似,Wg表示权重矩阵,bg,b1,b2均表示偏置项.

3) 用户长期兴趣嵌入获取.把用户在事件空间和群组空间的嵌入表示串联输入到全连接神经网络,形成用户的最终长期兴趣嵌入表示UL,如式(7)所示:

(7)

其中,WL表示可训练变换矩阵.

需注意,通过GNN的消息传递机制聚合影响用户兴趣的信息,涵盖群组和完整历史记录对用户的影响,这更能体现出用户在长期时序上的兴趣.然而,在用户历史记录很少或近期加入的是新用户的情况下,获取的用户兴趣可能倾向于短期的,不过我们综合考虑了用户与事件、群组之间的交互,以尽量确保获取的用户兴趣仍可能是长期的,降低在这种情况下是短期兴趣的概率.接下来利用LSTM挖掘准确的用户短期兴趣.

2.4.2 利用注意力LSTM建模用户短期兴趣

用户短期兴趣主要根据用户近期参与事件的历史记录来获取.为更深度地挖掘用户的短期兴趣,从事件内容和历史记录的时序特征2个方面来考虑用户短期兴趣的特征学习.一般地,每个历史记录会对用户选择候选事件有不同程度的影响,可结合注意力机制来确保每个历史事件具有不同的影响权重.

1) 事件内容影响建模.给定目标用户最近的事件参与记录e1,e2,…,ek-1以及候选推荐事件ek,根据注意力机制来模拟用户的历史事件对候选事件的影响,如式(8)所示:

(8)

其中,Ik表示用户在内容上的兴趣嵌入,gi,k表示历史事件ei对候选事件ek影响力的注意力权重,vT是训练权重向量,分别表示历史事件和候选事件的嵌入表示,qiqk表示两者的非线性变换.

2) 时序关系影响建模.除了建模用户在事件内容方面的短期兴趣,本文认为用户每次选择参与新的事件可能受前一个事件的潜在影响,因此,用户历史记录的时序特征也可作为用户兴趣的表征.LSTM作为一种特殊的循环神经网络[25],每个状态在序列上的传递情况可被记住并传递给下一个状态.考虑到每个历史事件对当前选择的影响程度不一致,选择基于注意力机制的LSTM来捕捉用户历史记录的时序特征.将用户历史事件记录集的嵌入作为LSTM的输入,并输出用户的时序特征表示.在LSTM的状态序列中,第i-1个状态的输出xi-1和历史事件记录嵌入作为第i个状态的输入,并输出中间状态表示xi,其形式如式(9)所示:

(9)

根据以上过程即可获取历史事件ei的时序特征表示,因此,通过LSTM获得用户历史事件记录的时序特征集合{x1,x2,…,xk-1},然后,通过CNN融合目标用户所有历史事件的时序特征,得到其最终时序特征嵌入表示以表征事件的时序影响,如式(10)所示:

(10)

3) 用户短期兴趣嵌入获取.整合用户历史事件在内容和时序上的影响,将事件内容兴趣嵌入Ik和时序嵌入串联到全连接神经网络中,以获得用户最终的短期兴趣嵌入表示US,如式(11)所示:

(11)

其中,WS表示可训练变换矩阵.

2.5 事件影响力建模

在建模了用户的长短期兴趣之后,考虑从事件的角度建模事件对用户的潜在影响力.在向用户推荐相同类型的主题事件时,用户可能会受到事件的不同潜在影响.假设向目标用户同时推荐线下音乐聚会和演唱会,演唱会在规模和参与效果等方面可能对用户更具影响.为了进一步地提升事件推荐的效果,通过建模事件的影响力来表征事件对用户的潜在作用.

一般地,事件对用户的影响主要体现在内容、时间和空间3个方面[8],因此,本文根据候选事件的这3个特征构建对目标用户的影响力,分别计算候选事件与用户的每个历史事件在3个特征上相似度,并归一化后得到候选事件对目标用户的影响力嵌入表示.

1) 内容特征方面,以候选事件嵌入和用户每个历史事件嵌入的余弦相似度来度量,如式(12)所示:

(12)

2) 时间特征方面,根据现实中对时间计数周期的划分(即1星期7天,1天24 h),将事件时间特征表示成一个7×24维的向量φ.因此,候选事件与用户每个历史事件的时间特征向量相似度如式(13)所示:

(13)

3) 空间特征方面,以L=(lx,ly)表示事件地点的经纬度坐标2维向量,可计算候选事件与历史事件的举办地点之间的欧几里得距离如式(14)所示:

(14)

然后,根据两者坐标之间的欧几里得距离定义空间相似度如式(15)所示:

(15)

以上分别计算了候选事件与目标用户的每个历史事件在内容、时间、空间3个特征上的相似度,对3个相似度进行归一化后取均值(假设用户的历史记录数为N),如式(16)所示:

(16)

最终,把每个历史事件的归一化相似度组合成向量形式,S=(S1,S2,…,SN)表示候选事件对目标用户的影响力嵌入表示,当嵌入的长度小于max(N)时,用0进行填充.

2.6 模型预测与训练

2.6.1 模型预测

前文已经构建了LSTIEI模型中用户的长短期兴趣及事件对用户的影响力,本节根据这些特征嵌入对用户参与候选事件的概率进行预测.首先,对用户的长期兴趣、短期兴趣及事件的影响力构建统一的用户-事件嵌入向量Vue,如式(17)所示:

Vue=Wue[UL;US;S],

(17)

其中,UL表示用户长期兴趣嵌入,US表示用户短期兴趣嵌入,S表示事件影响力嵌入,Wue表示可训练的线性变换矩阵.接下来,把构建的用户-事件嵌入Vue与候选事件嵌入送入MLP中进行概率预测,用P表示目标用户参与候选事件enew的概率,如式(18)所示,排序后的P作为TOP-K推荐的依据.

(18)

2.6.2 模型训练

为了训练本文提出的模型,选择部分用户参与过的事件表示正样本,未参加的表示负样本,对模型参数进行训练,则训练的输入样本可表示为X=(Eu,enew,φ),其中,Eu表示用户的历史事件集合,enew表示候选事件,φ是样本标签,输入为正样本则φ=1,否则φ=0.模型经过训练将会对用户是否参与候选事件enew的概率P进行预测.选择交叉熵损失函数对模型进行训练,如式(19)所示:

(19)

其中,ψ+ψ-表示正样本集和负样本集,λ分别是惩罚权重和训练参数的L2正则化,防止模型过拟合.本文采用梯度下降优化算法来求解损失函数.

3 实验设计与分析

先介绍EBSN数据集和评价指标,以及相关的对比模型,接下来对本文模型的有效性进行详细分析与评估,并将其与已有的经典模型进行多指标对比.

3.1 数据集

采用文献[8]的Meetup数据集验证模型的推荐性能,利用Meetup.com官方提供的API抓取数据.主要抓取了美国3个主要城市:芝加哥、菲尼克斯、圣何塞在Meetup上发起的公开事件活动信息,活动的举行时间跨度从2010年1月至2014年 4月.数据集包含用户、群组、事件3类实体的详细信息,主要有用户的属性、用户的活动参与记录、用户的群组记录、群组及主办方信息、群组的活动举办记录、事件活动的属性和文本等信息.数据集的统计信息见表2所示.此外,本文实验所采用的硬件环境为:操作系统为64位Windows10 1903版本,CPU为AMD Ryzen7 3700X 3.6 GHz,32 GB RAM,使用python3.7语言编程实现.

Table 2 Statistical Information of Meetup Dataset
表2 Meetup数据集的统计信息

数据集用户群组事件RSVP反馈Chicago20764923211909271375154Phoenix11745816612226321209324San Jose24214325892066821607985

3.2 评价指标

采用准确率、召回率、F1-Score值3个评价指标来评估模型推荐性能.

1) 准确率

准确率表示目标用户在模型推荐结果给出的TOP-K事件集中实际参与的事件数占比.推荐的TOP-K事件集记为在测试数据集中用户参与过的事件集合记为如式(20)所示:

(20)

2) 召回率

召回率表示目标用户在测试数据集中参与的事件集里被推荐正确的事件数占比.同样以表示模型推荐的TOP-K事件集合,在测试数据集中用户参与过的事件集合记为如式(21)所示:

(21)

3) F1-score

F-score是准确率和召回率的加权调和平均,常用评价指标F1-score即表示F-score调和参数为1时的形式.由于准确率和召回率之间的特殊关系,通过F1-score对本文模型的推荐效果进行整体效果的评估,如式(22)所示:

(22)

3.3 对比模型

为直观评估本文提出的事件推荐模型的效果,选取部分最新的基于特征评分推荐和融合深度学习推荐的模型进行对比.

1) MP(most popular).根据候选事件流行度向用户推荐最热门的活动.正负反馈数是唯一的排序标准,将排序后的TOP-K事件推荐给用户.

2) G-M(group-membership).根据用户加入的小组记录数据向用户推荐这些小组发起的事件活动.这种简单的推荐虽然能保证一定的准确率,但存在很大的局限性,面对新用户将会失效.若用户没有任何小组记录,则后续采用MP推荐.

3) GLFM[14].利用隐式因子模型从面向用户和面向事件双重角度考虑群组对事件推荐的影响,同时结合了时空因素和RSVP的影响.

4) Event2Vec[12].基于潜在嵌入空间向量的相似性度量实现事件推荐.通过嵌入学习编码事件、时间、位置的潜在表示,并考虑时空因素的影响.

5) MCLRE[8].通过构建地理位置、社交关系、时间、内容等特征的评分模型,利用学习排序算法融合多个特征的评分进行推荐.

6) STTM[7].基于时空主题的冷启动事件推荐模型,通过联合建模事件内容、时空因素及交互关系的影响,捕获用户随时间变化的兴趣,实现事件推荐.

本文提出的LSTIEI模型结合了用户长短期兴趣和事件影响力对用户进行事件推荐.为进一步验证用户长期兴趣、用户短期兴趣和事件影响力对推荐决策的影响,还构建了多个变体模型与本文模型进行对比,以考察不同因素对模型性能的影响.

3.4 实验结果及模型对比

由于数据集中每个城市的数据量较多,对数据集需进行一定的前期处理.在每个城市的数据集时间序列上选择12个时间节点,以时间结点为基准,利用滑动窗口方法将其划分成12组时间间隔相同的数据集,取每组数据集的时间节点前6个月的活动作为训练数据,后6个月内的活动作为测试候选事件.

本文推荐模型基于深度学习库Pytorch(来源于https://pytorch.org/)实现,测试集中部分数据被作为验证集来确定超参数.最终的参数设置为:事件标题和内容的词嵌入维度p=50,事件嵌入表示的维度D=100,正则化参数L2=0.005,训练批次和学习率分别为256和0.005.

1) 不同因素的影响分析

为验证用户的长短期兴趣和事件关于用户在内容、时间、空间方面对推荐性能的影响,构建了6个变体模型STI-EI,LTI-EI,LSTI,LSTI-C,LSTI-T,LSTI-V与LSTIEI进行对比,前2个变体模型各自去除了用户长期兴趣和短期兴趣模块,分别考查用户短期、长期兴趣的影响;后4个变体模型分别表示去除事件影响力模块、仅结合事件内容影响、仅结合事件时间影响、仅结合事件空间影响的推荐方案,考查事件相关因素的影响.表3是几个变体模型的影响因素对比情况.

Table 3 Comparison of Influencing Factors Among Several Models

表3 各模型影响因素对比

变体模型长期兴趣短期兴趣内容因素时间因素空间因素STI-EI×√√√√LTI-EI√×√√√LSTI√√×××LSTI-C√√√××LSTI-T√√×√×LSTI-V√√××√LSTIEI√√√√√

在Chicago,Phoenix,San Jose这3个城市数据集上实验,考虑到变体模型的目的是验证用户和事件的影响因素对推荐性能的影响,这里仅选择准确率指标评估变体模型中用户和事件影响因素的作用.图3展示了在准确率P@K指标上各变体模型的性能.

Fig. 3 Precision comparison between variant models and LSTIEI
图3 变体模型与LSTIEI准确率对比

从图3中可看出,用户长短期兴趣的影响最明显,分别屏蔽长期兴趣和短期兴趣的变体模型STI-EI,LTI-EI的准确率均严重下降.另外,去除事件影响力模块的变体模型LSTI不仅在准确率指标上大大低于LSTIEI,而且也低于其余3个与事件影响力相关的变体模型,验证了本文关于事件对用户的作用能够影响推荐效果的假设.

① 用户自身的兴趣偏好对推荐的影响最大,并在长期和短期时序上表现的兴趣存在差异.图3实验结果表明,用户长期兴趣的作用稍微弱于短期兴趣,短期兴趣的持续影响力更加明显.而单独的长期或短期兴趣不能完整地表达用户的兴趣,导致推荐效果较差,即屏蔽长期或短期兴趣的变体模型推荐准确率较低.而将两者结合的变体模型LSTI的推荐准确率则有明显提升,表明用户的长短期兴趣是推荐结果的主要依据.

② 事件对用户的作用可一定程度地影响推荐准确率.根据几个变体模型之间的对比情况可发现,事件对用户在内容、时间、空间3个方面的作用,都会影响到模型推荐效果.在事件影响力相关的变体模型中,去除事件影响力模块的LSTI推荐准确率最低,且明显低于融合事件影响的LSTIEI模型,表明事件对用户的潜在影响是值得关注的信息,有助于发现潜在的兴趣用户并提升推荐效果.

③ 融合事件影响力可改善推荐效果,但各因素的影响作用存在一定差异.根据实验结果来看,提升效果较大的是事件的内容因素,其次是事件的时间和空间因素,这说明用户在选择事件时最先关注的是其内容,而时间和空间因素的影响被削弱,很可能是由于大多数用户在参与事件时有固定的时间和地点模式,比如定期在周末或固定范围参加户外活动.从实验对比结果来看,LSTI-T与LSTI-V在推荐准确率指标上的差距并不明显,表明用户在时间和空间上的偏好程度相似.

综上所述,用户的长期兴趣与短期兴趣相结合可更完整地表示用户的兴趣,从而提升推荐性能.而融合事件各属性对用户潜在影响的LSTIEI模型取得比其他变体模型更好的推荐结果.事件对用户在内容、时间、空间3个方面的影响力可在一定程度上改善推荐效果,将其结合到我们提出的LSTIEI模型中可进一步提升推荐性能.

2) 模型性能对比

这里把LSTIEI与6个基准模型做整体推荐性能对比,图4展示了所有模型在Chicago,Phoenix,San Jose 3个城市数据集上的准确率和召回率指标结果对比情况.根据现实经验,推荐过多的事件往往会对用户选择造成干扰,图中仅显示将K值分别设置为5,10,15时的推荐结果.

从图4中可看出,LSTIEI与各基准模型相比,在准确率P@K、召回率R@K指标上都优于其他模型.随着K增大,准确率呈下降趋势,表明增加推荐事件数量并不会提升模型性能;但召回率的结果表明推荐更多事件,存在用户感兴趣事件的可能性越大.以Phoenix数据集K=10的情况为例,LSTIEI模型在推荐准确率上比几个较新的对比模型GLFM,Event2Vec,MCLRE,STTM分别提升123.6%,97.6%,85.9%,47.7%.在3个城市数据集上对比结果表明,LSTIEI模型中的长短期兴趣能更准确地表达用户兴趣,其对比分析结果为:

① 对于最简单的MP模型而言,大多数用户的真实兴趣与热门事件匹配的概率很低,推荐热门事件的效果有限.此外,G-M的推荐效也并不理想,因为用户的兴趣随着时间不断变化,对所在小组的兴趣逐渐衰退,该方案在向活跃用户推荐短期内的事件时可能会有较好的效果,而针对不活跃用户的推荐效果与MP相当,存在明显的局限性.

② GLFM和Event2Vec 2个模型的性能弱于MCLRE,这可能是由于MCLRE重点关注了用户与事件和群组的交互关系,并考虑了多个特征的用户偏好.而GLMF和Event2Vec并未明显地考虑用户的交互信息,虽然GLFM从用户与事件的双重角度构建了群组影响力的潜在因子模型,但事件内容和交互关系的缺失导致推荐性能损失.Event2Vec通过挖掘事件、位置、时间3个因素之间的关联信息,主要关注了时空因素对用户的影响,忽略了用户社交关系和交互信息的重要影响.这表明基于多特征融合的推荐方法具有较好的推荐性能,但对上下文信息的高度依赖可能会导致面临冷启动时推荐性能下降问题.

③ STTM建模了用户随时间变化的内容及位置偏好对用户决策的影响,充分考虑了上下文信息之间的相互影响.与MCLRE中基于稳定的用户特征偏好融合相比,STTM考虑的随时间变化的时空主题模型对用户兴趣的挖掘更加准确.尽管STTM取得比MCLRE更好的推荐效果,但该模型首先是基于事件、群组的信息进行推断并获取用户的内容偏好,没有考虑用户和事件内容之间的真实兴趣关联;其次,STTM也没有考虑交互关系中事件对用户的影响.本文的LSTIEI模型捕捉了用户和事件、群组的交互关系网络中的长期兴趣,在短期兴趣中同时考虑了事件内容和时序的影响,对于隐式偏好的挖掘更准确高效.另外,还结合候选事件对用户的影响以进一步提升推荐效果,实验结果表明本文的LSTIEI模型优势更明显.

Fig. 4 Comparison on precision and recall of several models in three datasets
图4 各模型在3个数据集上准确率与召回率对比

综上分析,提出的LSTIEI模型在准确率和召回率上均取得比对比模型更好的结果,表明融合用户长短期兴趣可准确地表示用户偏好.另外,结合图3和图4的对比结果可看出,表3设置的几个变体模型LSTI-C,LSTI-T,LSTI-V,LSTI也表现出了比各对比模型(MP,G-M GLFM,Event2Vec MCLRE,STTM)更好的推荐性能,进一步表明结合事件对用户的影响可改善推荐效果.一般来说,事件内容、时间、空间等信息均是构成事件的必要因素,这些信息通常不会缺失.即使出现所有事件信息缺失的情况,屏蔽事件影响力的变体模型LSTI的推荐性能也优于对比模型(STTM),这表明本文提出的LSTIEI模型仅依靠用户的长短期兴趣进行推荐依然具备较好的推荐性能.

进一步地,表4给出了所有模型在3个城市数据集的F1@K指标对比.在Phoenix数据集上的所有模型的评价指标均优于另外2个数据集Chicago,SanJose,这可能是因为该数据集中以更少的用户数量举办了更多的事件活动,数据的稀疏性明显低于另外2个数据集Chicago,SanJose,有更丰富的上下文信息帮助模型获取用户兴趣.同样可看到,LSTIEI在F1@K指标的对比中明显超过其他所有模型,表明LSTIEI在综合性能上更具优势.而且,图4中召回率指标的对比结果也显示LSTIEI在2个更稀疏的数据集Chicago,SanJose上能获得稳定的推荐性能,表明LSTIEI在对抗数据稀疏性方面强于其他各模型.

4 总结与下一步工作

Table 4 Comparison of F1 Values of Several Models in Three Datasets
表4 在3个数据集上各模型F1值对比

模型ChicagoPhoenixSan JoseF1@5F1@10F1@15F1@5F1@10F1@15F1@5F1@10F1@15MP0.02740.04480.04430.02320.04970.05300.03360.05100.0447G-M0.11490.12860.13450.11980.14000.14980.12600.14480.1367GLFM0.14820.18850.19940.13980.17990.20250.14910.19630.1971Event2Vec0.17300.21690.21890.16110.20940.22520.17760.21270.2140MCLRE0.23830.23840.24080.23830.25280.25220.24160.23730.2456STTM0.27140.28940.29110.28080.30250.31090.28330.28760.2997LSTIEI0.36630.38320.39240.37180.40130.40640.36740.36750.3767

注:加粗数字表示指标数据最优.

本文提出一种结合用户长短期兴趣和事件影响力的EBSN社交事件推荐模型.该模型考虑了用户在时间序列中的长期兴趣和短期兴趣,同时,也从事件相似度的角度考虑了社交事件对用户的潜在影响.主要贡献有3个方面:

1) 在社交事件推荐领域引入GNN,分别从用户和事件、用户和群组的交互信息中捕捉用户的长期兴趣.与传统的神经网络学习算法相比,对社交网络中交互信息的获取更完整.

2) 将注意力机制融合到长短期兴趣的提取过程中,考虑了每条历史记录和交互信息对用户的影响,使用户兴趣表示更精确.

3) 结合社交事件对用户的潜在影响力,分别从内容、时间和空间特征考虑了事件对用户的影响,有利于进一步提升推荐准确率.

所提模型性能整体上优于其他对比模型,但也存在一些不足.例如,在交互关系构建中没有考虑用户与主办方及其他用户的交互,以及推荐的事件类型过于集中,多样性较差.下一步工作考虑构建图谱化交互内容,并融合用户对主办方的信任关系,从而缓解用户的兴趣依赖,进一步提升推荐效果.

作者贡献声明:钱忠胜负责论文主体思想、整体框架构建、算法设计;杨家秀负责数据处理、主要实验及其结果分析、文章的撰写与修改;李端明,叶祖铼负责数据收集、程序设计、文档整理与编辑.

参考文献

[1]Liu Xingjie, He Qi, Tian Yuanyuan, et al. Event-based social networks: Linking the online and offline social worlds[C] //Proc of the 18th ACM SIGKDD Int Conf on Knowledge Discovery and Data Mining. New York: ACM, 2012: 1032-1040

[2]Ogundele T, Chow C, Zhang Jiadong. EventRec: Personalized event recommendations for smart event-based social networks[C/OL] //Proc of the 3rd IEEE Int Conf on Smart Computing. Piscataway, NJ: IEEE, 2017 [2021-01-24]. https://doi.org/10.1109/SMARTCOMP. 2017.7947006

[3]Shang Yanmin, Cao Yanan, Liu Yanbing. CHS-BPR: Combining content-aware and heterogeneous-aware for event recommendation[J]. Journal of Software, 2020, 31(4): 1212-1224 (in Chinese)(尚燕敏, 曹亚男, 刘燕兵. 基于异构社交网络信息和内容信息的事件推荐[J]. 软件学报, 2020, 31(4): 1212-1224)

[4]Yang Xiwang, Guo Yang, Liu Yong, et al. A survey of collaborative filtering based social recommender systems[J]. Computer Communications, 2014, 41(1): 1-10

[5]Liu Huafeng, Jing Liping, Yu Jian. Survey of matrix factorization based recommendation methods by integrating social information[J]. Journal of Software, 2018, 29(2): 340-362 (in Chinese)(刘华锋, 景丽萍, 于剑. 融合社交信息的矩阵分解推荐方法研究综述[J]. 软件学报, 2018, 29(2): 340-362)

[6]Trinh T, Wu Dingming, Wang Ruili, et al. An effective content-based event recommendation model[J]. Multimedia Tools and Applications, 2020, 80(11): 16599-16618

[7]Li Ruichang, Lü Shulin, Zhu Honglei, et al. Spatial-temporal topic model for cold-start event recommendation[J]. IEEE Access, 2020, 8: 214050-214060

[8]Macedo A, Marinho L, Santos R. Context-aware event recommendation in event-based social networks[C] //Proc of the 9th ACM Conf on Recommender Systems, New York: ACM, 2015: 123-130

[9]Wang Zhibo, Zhang Yongquan, Li Yijie, et al. Exploiting social influence for context-aware event recommendation in event-based social networks[C] //Proc of the 36th IEEE Conf on Computer Communications. Piscataway, NJ: IEEE, 2017: 2007-2015

[10]Sun Peijie, Wu Le, Wang Meng. Attentive recurrent social recommendation[C] //Proc of the 41st Int ACM SIGIR Conf on Research and Development in Information Retrieval. New York: ACM, 2018: 185-194

[11]Wang Peipei, Li Lin, Wang Ru, et al. Socially-driven multi-interaction attentive group representation learning for group recommendation[J]. Pattern Recognition Letters, 2021, 145(3): 74-80

[12]Wang Yan, Tang Jie. Event2Vec: Learning event representations using spatial-temporal information for recommendation[C] //Proc of the 23rd Pacific-Asia Conf on Knowledge Discovery and Data Mining. New York: ACM, 2019: 314-326

[13]Jiang Jyunyu, Li Chengte. Who should I invite: Predicting event participants for a host user[J]. Knowledge and Information Systems, 2019, 59(3): 629-650

[14]Jhamb Y, Fang Yi. A dual-perspective latent factor model for group-aware social event recommendation[J]. Information Processing & Management, 2017, 53(3): 559-576

[15]Liu Shenghao, Wang Bang, Xu Minghua. Event recommen-dation based on graph random walking and history preference reranking[C] //Proc of the 40th Int ACM SIGIR Conf on Research and Development in Information Retrieval. New York: ACM, 2017: 861-864

[16]Yu Yaxin, Zhang Wenchao, Li Zhenguo, et al. Hypergraph-based personalized recommendation & optimization algorithm in EBSN[J]. Journal of Computer Research and Development, 2020, 57(12): 2556-2570 (in Chinese)(于亚新, 张文超, 李振国, 等. 基于超图的EBSN个性化推荐及优化算法[J]. 计算机研究与发展, 2020, 57(12): 2556-2570)

[17]Liang Yuan, Huang Chunlin, Bao Xiuguo, et al. Sequential dynamic event recommendation in event-based social networks: An upper confidence bound approach[J/OL]. Information Sciences, 2021, 542(4) [2021-05-11]. https://doi.org/10.1016/j.ins.2020.06.047

[18]Derr T, Ma Yao, Tang Jilang. Signed graph convolutional networks[C] //Proc of the 18th IEEE Int Conf on Data Mining. Piscataway, NJ: IEEE, 2018: 929-934

[19]Fan Wenqi, Ma Yao, Li Qing, et al. Graph neural networks for social recommendation[C] //Proc of the 28th World Wide Web Conf. New York: ACM, 2019: 417-426

[20]Yin Ruiping, Li Kan, Zhang Guangquan, et al. A deeper graph neural network for recommender systems[J/OL]. Knowledge-Based Systems, 2019,185(1)[2021-02-10]. https://doi.org/10.1016/j.knosys.2019.105020

[21]Hu Linmei, Li Chen, Shi Chuan, et al. Graph neural news recommendation with long-term and short-term interest modeling[J/OL]. Information Processing and Management, 2020, 57(2) [2021-03-13]. https://doi.org/10.1016/j.ipm.2019.102142

[22]Xiao Yang, Yao Lina, Pei Qingqi, et al. MutualRec: Joint friend and item recommendations with mutualistic attentional graph neural networks[J/OL]. Journal of Network and Computer Applications, 2021, 177(2) [2021-03-11]. https://doi.org/10.1016/j.jnca.2020. 102954

[23]Tran L, Pham T, Tay Y, et al. Interact and decide: Medley of sub-attention networks for effective group recommendation[C] //Proc of the 42nd Int ACM SIGIR Conf on Research and Development in Information Retrieval. New York: ACM, 2019: 255-264

[24]Chen Chong, Zhang Min, Liu Yiqun, et al. Neural attentional rating regression with review-level explanations[C] //Proc of the 27th World Wide Web Conf. New York: ACM, 2018: 1583-1592

[25]Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780

Event Recommendation Strategy Combining User Long-Short Term Interest and Event Influence

Qian Zhongsheng, Yang Jiaxiu, Li Duanming, and Ye Zulai

(School of Information Management, Jiangxi University of Finance and Economics, Nanchang 330013)

Abstract The problem of information overload caused by the rapid development of event-based social network is the main challenge currently. Those technologies such as deep learning can mine potential relationship from a large amount of data to effectively cope with this problem. At the same time, some studies show that user interests have different characteristic patterns in long-term time series and short-term time series. In-depth mining of users’ time series characteristics and interests can effectively provide users with personalized event recommendation information. Based on this, a recommendation strategy is proposed, which combines long-short term user interests with event influences. It obtains the long-short term user interests by graph neural network and long-short term memory network together with attention mechanism. At the same time, it constructs the influence on the target user for candidate events, and predicts the participation probability of the target user based on the long-short term interests and event influences. Finally, TOP-K events are recommended to the users according to the sorted participation probability. The experimental results show that the proposed recommendation model has been improved on multiple indicators. Its recommendation performance is better than the several existing compared models, and it has a good recommendation effect.

Key words event-based social network; personalized event recommendation; long-short term interest; graph neural network; attention mechanism

中图法分类号 TP391

DOI:10.7544/issn1000-1239.20210693

收稿日期2021-06-17;修回日期:2021-12-30

基金项目国家自然科学基金项目(62262025,61762041);江西省自然科学基金项目(20181BAB202009)

This work was supported by the National Natural Science Foundation of China (62262025, 61762041) and the Natural Science Foundation of Jiangxi Province (20181BAB202009).

Qian Zhongsheng, born in 1977. PhD, professor, PhD supervisor. His main research interests include recommender system, machine learning, algorithm design, software engineering.

钱忠胜,1977年生.博士,教授,博士生导师.主要研究方向为推荐系统、机器学习、算法设计、软件工程.

Yang Jiaxiu, born in 1996. Master. His main research interests include recommender system and deep learning.

杨家秀,1996年生.硕士.主要研究方向为推荐系统、深度学习.

Li Duanming, born in 1995. Master. His main research interests include recommender system and deep learning.

李端明,1995年生.硕士.主要研究方向为推荐系统、深度学习.

Ye Zulai, born in 1997. Master candidate. His main research interests include recommender system and social network analysis.

叶祖铼,1997年生.硕士研究生.主要研究方向为推荐系统、社会网络分析.