论文题目Fake News Detection on Social Media using Geometric Deep Learning基于几何深度学习的社交媒体假新闻检测arXivarXiv1902.06673 -Fabula AI摘要如今社交媒体因其低成本、易获取和快速传播而成为全球数百万人的主要新闻来源之一。然而这是以令人怀疑的可信度为代价的也是以暴露于故意误导读者的假新闻的巨大风险为代价的。自动检测假新闻带来了挑战挑战了现有的基于内容的分析方法。其中一个主要原因是对新闻的解读往往需要政治或社会背景或常识的知识而目前的自然语言处理算法仍然缺乏这些常识。最近的研究经验表明假新闻和真新闻在社交媒体上的传播方式不同形成了可以用于自动假新闻检测的传播模式。与基于内容的方法相比基于传播的方法具有多方面的优势其中包括语言独立性和对对手攻击的更好的弹性。本文提出了一种新的基于几何深度学习的自动假新闻检测模型。基本的核心算法是经典卷积神经网络到图的推广允许融合不同类型的数据如内容、用户简档和活动、社交图和新闻传播。我们的模型在Twitter上传播的新闻故事上进行了训练和测试这些故事得到了专业的事实核查机构的验证。我们的实验表明社交网络结构和传播是实现高准确率(92.7%ROC AUC)假新闻检测的重要特征。其次我们观察到假新闻在传播几个小时后就可以在早期阶段可靠地被发现。第三在时间上分离的训练数据和测试数据上测试模型的老化程度。我们的结果表明基于传播的假新闻检测方法有望成为基于内容的方法的替代或补充策略。用图神经网络识别假新闻一篇来自 Fabula AI 的开创性工作一、背景假新闻为什么难检测社交媒体让新闻的传播速度和覆盖面达到了前所未有的高度数以亿计的用户每天从 Twitter、Facebook 等平台获取信息。然而这把双刃剑的另一面是虚假信息、蓄意误导的假新闻同样可以以极低的成本快速扩散对民主选举、公共卫生、金融市场等领域造成深远影响。2016 年美国总统大选和英国脱欧公投前后假新闻的大规模传播已被视为左右舆论的重要因素。已有方法的局限性学术界对假新闻检测的研究可以分为三大类基于内容Content-based分析文章的词汇、句法、写作风格等语言特征。这类方法最为主流但有两个致命弱点① 精心伪造的假新闻在文字上与真实新闻几乎没有区别很难被语言模型识破② 语言特征天然具有语种依赖性一个在英文上训练的模型很难直接迁移到中文或法文场景。基于社会背景Social context-based利用用户画像年龄、性别、政治倾向和社交关系结构关注/被关注关系。这类特征提供了一定的辅助信号但孤立来看判别力有限。基于传播模式Propagation-based研究新闻在社交网络上的扩散过程。已有实证研究如 Vosoughi et al.,Science2018表明真假新闻的传播模式存在显著差异。传播特征的优势在于① 语种无关不依赖文字本身② 普通用户几乎无法人为控制一条新闻的传播拓扑结构因此对对抗性攻击具有天然的抵抗力。然而已有传播方法大多依赖手工设计的图论特征如中心性、团、连通分量这些特征过于通用不一定对假新闻检测任务有针对性。二、论文提出的核心问题本文明确提出并试图回答以下三个科学问题能否通过端到端学习自动提取假新闻特有的传播模式而非依赖手工特征新闻需要传播多长时间才能被可靠地检测出来即早期检测的可行性模型在时间上的泛化能力如何即用历史数据训练的模型对未来的新闻是否仍然有效三、创新点几何深度学习 异构数据融合3.1 核心思路本文的核心创新在于将几何深度学习Geometric Deep Learning具体是图卷积神经网络Graph CNN应用于假新闻检测任务。传统 CNN 工作在规则的欧氏空间如图片的像素网格。而社交网络天然是图结构——用户是节点关注关系是边新闻传播则形成一棵棵扩散树cascade。图卷积网络将经典卷积操作推广到图上通过在每个节点的邻域上做局部的、置换不变的聚合操作来学习节点特征天然适合处理这类非欧氏结构数据。3.2 图的构建方式Input Generation对于每一个新闻 URL u作者将与其相关的所有推文集合组织成一张图节点每条推文及其作者边满足以下任意一条即连边① i 的作者关注 j 的作者② j 的作者关注 i 的作者③ 新闻从 i 传播到 j④ 新闻从 j 传播到 i传播路径扩散树的估计方式参考 Vosoughi et al.若转推者关注了之前的某位推文者则从最近被关注的那条推文处开始计算传播若没有关注关系则保守地从粉丝数最多的前序用户处计算。3.3 节点与边的特征节点特征涵盖四大类类别具体特征用户画像地理位置、语言、账号创建时间、是否认证、个人描述词向量GloVe 200维用户活动收藏数、列表数、状态数网络与传播粉丝数、关注数、转推时间戳、来源设备、回复/引用/收藏/转推数量、扩散树结构内容推文文本词向量GloVe 200维、话题标签边特征编码了四种关系的成员关系关注正向/反向、传播正向/反向并在图注意力的投影层与节点特征拼接使模型能对不同类型的连接赋予不同权重。3.4 模型架构【论文 Figure 5模型架构图GC-GC-MP-FC-FC-SM】模型是一个四层图 CNN两层图卷积层Graph Convolution, GC每层输出 64 维特征图使用单头图注意力GAT实现滤波器一层均值池化Mean Pooling, MP对所有节点的特征取均值将图级表示压缩两层全连接层FC分别输出 32 维和 2 维特征SoftMax 层SM输出真/假概率激活函数全程使用 SELUScaled Exponential Linear Unit损失函数选用Hinge Loss作者在早期实验中发现其表现优于交叉熵。四、数据集严格标注的大规模 Twitter 传播数据数据收集是本文的另一大贡献过程严格且耗时。数据来源Snopes、PolitiFact、Buzzfeed 三家知名事实核查机构标注流程从事实核查机构收集已裁定的新闻声明及其标签真/假剔除混合或部分真实等模糊标签找出与每条声明相关、且在 Twitter 上至少被提及一次的 URL由人工标注员判断每个 URL 是支持还是否认该声明据此继承标签支持→继承原标签否认→取反通过 Twitter API 收集每个 URL 的完整传播链cascade并叠加社交网络边数据规模涵盖 2013年5月 至 2018年1月指标数量已标注声明1,084 条传播链cascades158,951 条唯一用户数202,375 人社交图边数2,443,996 条URL 数量1,129 个平均每条声明对应 URL 数~1.04【论文 Figure 2传播链大小推文数的分布直方图】【论文 Figure 3930 个 URL 的传播链数量分布长尾分布前 15 个 URL约 1.5%贡献了 20% 的传播链】(没看懂这个配图我说实话)值得注意的是传播链的平均大小仅为 2.79 条推文大量传播链非常小这为模型设计带来了挑战。可信度与极化现象作者为每位用户计算了一个可信度分数范围 $[-1, 1]$定义为该用户转发真假新闻的比例之差。通过 Fruchterman-Reingold 力导向算法对社交图进行布局后发现可信用户蓝色和不可信用户红色形成了两个明显分离的社区——这与社会学中回音室理论相符。【论文 Figure 4Twitter 用户网络的可信度分布可视化蓝色可信红色不可信】五、实验结果5.1 主要性能URL 级别 vs. Cascade 级别作者设计了两种检测场景URL 级别URL-wise利用一个 URL 产生的所有传播链平均约 141 条预测该 URL 对应的新闻真假。使用 5 折随机交叉验证训练/测试/验证集平均包含 677/226/226 个 URL正负比约 83%:17%。Cascade 级别Cascade-wise仅利用单条传播链预测难度显著更高。使用相同的数据划分只保留至少含 6 条推文的传播链训练/测试/验证集平均包含 3586/1195/1195 条传播链。结果24 小时完整传播数据设置ROC AUCURL 级别92.70% ± 1.80%Cascade 级别88.30% ± 2.74%【论文 Figure 6URL 级别蓝和 Cascade 级别红的 ROC 曲线5 折均值及标准差阴影】【论文 Figure 7最后一层图卷积层节点特征的 t-SNE 可视化蓝可信用户红不可信用户呈现清晰的聚类结构】5.2 消融实验哪类特征最重要作者通过逆向特征选择backward feature selection进行消融实验逐步从输入中去除不同类别的特征结果如下用户画像和网络与传播是最重要的两类特征仅凭这两类就能达到接近 90% ROC AUC在Cascade 级别去掉推文内容特征后性能反而提升了 4%——原因是 20% 的传播链集中在前 15 个 URL相同 URL 下的推文内容高度相似容易引发过拟合【论文 Figure 9消融实验结果URL 级别上和 Cascade 级别下的 ROC AUC特征组从左到右按重要性排列】5.3 最小传播链大小的影响传播链越小包含的扩散模式信息越少。作者测试了不同最小传播链阈值对性能的影响发现性能随传播链规模增大而提升当传播链至少包含 6 条推文时性能饱和共留下 5,976 条样本这也是正式实验中选取 6 条推文作为阈值的依据。【论文 Figure 8Cascade 级别性能Mean ROC AUC随最小传播链大小阈值的变化曲线】5.4 早期检测能力新闻传播多久才能被检测这是本文最具实用价值的实验之一。作者将传播链按时间截断从 0 小时仅初始推文到 24 小时每隔 1 小时训练一个独立模型观察性能变化关键发现仅约 2 小时的传播就能在 URL 级别达到90% 以上的 ROC AUCURL 级别性能在约15 小时后趋于饱和此时已覆盖约 86% 的传播链规模Cascade 级别性能在约7 小时后饱和此时已覆盖约 91% 的传播链规模从 0 小时到 ≥1 小时有一个显著的性能跳升说明传播结构特征而非单纯的用户/内容特征是关键信号【论文 Figure 10URL 级别上和 Cascade 级别下的 ROC AUC 随传播时长小时的变化曲线横轴上方标注了对应的平均推文数】5.5 模型老化测试历史模型对未来数据还有效吗作者模拟了真实部署场景用历史数据训练在未来的新数据上测试考察性能如何随时间衰减。训练集和测试集按时间先后分割80%/20%测试集按时间窗口滑动评估URL 级别模型在训练集与测试集相差约180 天后才出现轻微的性能下降Cascade 级别模型表现更为鲁棒在260 天后仅下降约 4%Cascade 级别模型更鲁棒的原因单条传播链的图结构更简单模型不得不学习更通用的特征这些特征反而具有更好的时间稳定性。【论文 Figure 11URL 级别上和 Cascade 级别下的 ROC AUC 随训练集与测试集平均日期差距天的变化包含三条曲线24小时传播蓝实线、0小时传播橙虚线、标准5折交叉验证绿线】六、总结与局限性主要贡献贡献点内容方法创新首次将几何深度学习图卷积图注意力系统性地应用于假新闻检测实现异构数据用户、内容、传播结构的端到端融合数据贡献构建了跨越 5 年2013–2018、含 158,951 条传播链的高质量标注数据集早期检测证明仅需约 2 小时的传播数据就可达到 90% ROC AUC具有很强的实用价值时间鲁棒性模型在训练与测试间隔半年以上仍保持良好性能具备实际部署的可行性局限性与未来方向作者坦诚地指出了若干值得继续探索的方向语言/地域无关性论文假设传播特征是语种无关的但实验均在英文 Twitter 数据上进行跨语言/跨平台的泛化能力尚未验证对抗攻击基于图的方法理论上需要操控整个社交网络拓扑才能实施攻击具有天然优势但这一猜想还需严格的实验验证内容特征的正则化cascade 级别实验去掉内容特征后性能反而提升提示当引入内容特征时需要加入 dropout 或权重衰减等正则化手段更广泛的应用作者期待将同一框架迁移到新闻主题分类、信息传播预测等其他社交网络分析任务七、一句话评价这篇论文的价值在于它优雅地将一个社会问题假新闻检测转化为一个图学习问题并通过严谨的实验体系——消融分析、早期检测、时间泛化——全面回答了这个方法是否真的管用的问题。对于任何关注图神经网络应用或信息可信度研究的读者来说它都是一篇值得精读的参考文献。
（论文速读）基于几何深度学习的社交媒体假新闻检测
论文题目Fake News Detection on Social Media using Geometric Deep Learning基于几何深度学习的社交媒体假新闻检测arXivarXiv1902.06673 -Fabula AI摘要如今社交媒体因其低成本、易获取和快速传播而成为全球数百万人的主要新闻来源之一。然而这是以令人怀疑的可信度为代价的也是以暴露于故意误导读者的假新闻的巨大风险为代价的。自动检测假新闻带来了挑战挑战了现有的基于内容的分析方法。其中一个主要原因是对新闻的解读往往需要政治或社会背景或常识的知识而目前的自然语言处理算法仍然缺乏这些常识。最近的研究经验表明假新闻和真新闻在社交媒体上的传播方式不同形成了可以用于自动假新闻检测的传播模式。与基于内容的方法相比基于传播的方法具有多方面的优势其中包括语言独立性和对对手攻击的更好的弹性。本文提出了一种新的基于几何深度学习的自动假新闻检测模型。基本的核心算法是经典卷积神经网络到图的推广允许融合不同类型的数据如内容、用户简档和活动、社交图和新闻传播。我们的模型在Twitter上传播的新闻故事上进行了训练和测试这些故事得到了专业的事实核查机构的验证。我们的实验表明社交网络结构和传播是实现高准确率(92.7%ROC AUC)假新闻检测的重要特征。其次我们观察到假新闻在传播几个小时后就可以在早期阶段可靠地被发现。第三在时间上分离的训练数据和测试数据上测试模型的老化程度。我们的结果表明基于传播的假新闻检测方法有望成为基于内容的方法的替代或补充策略。用图神经网络识别假新闻一篇来自 Fabula AI 的开创性工作一、背景假新闻为什么难检测社交媒体让新闻的传播速度和覆盖面达到了前所未有的高度数以亿计的用户每天从 Twitter、Facebook 等平台获取信息。然而这把双刃剑的另一面是虚假信息、蓄意误导的假新闻同样可以以极低的成本快速扩散对民主选举、公共卫生、金融市场等领域造成深远影响。2016 年美国总统大选和英国脱欧公投前后假新闻的大规模传播已被视为左右舆论的重要因素。已有方法的局限性学术界对假新闻检测的研究可以分为三大类基于内容Content-based分析文章的词汇、句法、写作风格等语言特征。这类方法最为主流但有两个致命弱点① 精心伪造的假新闻在文字上与真实新闻几乎没有区别很难被语言模型识破② 语言特征天然具有语种依赖性一个在英文上训练的模型很难直接迁移到中文或法文场景。基于社会背景Social context-based利用用户画像年龄、性别、政治倾向和社交关系结构关注/被关注关系。这类特征提供了一定的辅助信号但孤立来看判别力有限。基于传播模式Propagation-based研究新闻在社交网络上的扩散过程。已有实证研究如 Vosoughi et al.,Science2018表明真假新闻的传播模式存在显著差异。传播特征的优势在于① 语种无关不依赖文字本身② 普通用户几乎无法人为控制一条新闻的传播拓扑结构因此对对抗性攻击具有天然的抵抗力。然而已有传播方法大多依赖手工设计的图论特征如中心性、团、连通分量这些特征过于通用不一定对假新闻检测任务有针对性。二、论文提出的核心问题本文明确提出并试图回答以下三个科学问题能否通过端到端学习自动提取假新闻特有的传播模式而非依赖手工特征新闻需要传播多长时间才能被可靠地检测出来即早期检测的可行性模型在时间上的泛化能力如何即用历史数据训练的模型对未来的新闻是否仍然有效三、创新点几何深度学习 异构数据融合3.1 核心思路本文的核心创新在于将几何深度学习Geometric Deep Learning具体是图卷积神经网络Graph CNN应用于假新闻检测任务。传统 CNN 工作在规则的欧氏空间如图片的像素网格。而社交网络天然是图结构——用户是节点关注关系是边新闻传播则形成一棵棵扩散树cascade。图卷积网络将经典卷积操作推广到图上通过在每个节点的邻域上做局部的、置换不变的聚合操作来学习节点特征天然适合处理这类非欧氏结构数据。3.2 图的构建方式Input Generation对于每一个新闻 URL u作者将与其相关的所有推文集合组织成一张图节点每条推文及其作者边满足以下任意一条即连边① i 的作者关注 j 的作者② j 的作者关注 i 的作者③ 新闻从 i 传播到 j④ 新闻从 j 传播到 i传播路径扩散树的估计方式参考 Vosoughi et al.若转推者关注了之前的某位推文者则从最近被关注的那条推文处开始计算传播若没有关注关系则保守地从粉丝数最多的前序用户处计算。3.3 节点与边的特征节点特征涵盖四大类类别具体特征用户画像地理位置、语言、账号创建时间、是否认证、个人描述词向量GloVe 200维用户活动收藏数、列表数、状态数网络与传播粉丝数、关注数、转推时间戳、来源设备、回复/引用/收藏/转推数量、扩散树结构内容推文文本词向量GloVe 200维、话题标签边特征编码了四种关系的成员关系关注正向/反向、传播正向/反向并在图注意力的投影层与节点特征拼接使模型能对不同类型的连接赋予不同权重。3.4 模型架构【论文 Figure 5模型架构图GC-GC-MP-FC-FC-SM】模型是一个四层图 CNN两层图卷积层Graph Convolution, GC每层输出 64 维特征图使用单头图注意力GAT实现滤波器一层均值池化Mean Pooling, MP对所有节点的特征取均值将图级表示压缩两层全连接层FC分别输出 32 维和 2 维特征SoftMax 层SM输出真/假概率激活函数全程使用 SELUScaled Exponential Linear Unit损失函数选用Hinge Loss作者在早期实验中发现其表现优于交叉熵。四、数据集严格标注的大规模 Twitter 传播数据数据收集是本文的另一大贡献过程严格且耗时。数据来源Snopes、PolitiFact、Buzzfeed 三家知名事实核查机构标注流程从事实核查机构收集已裁定的新闻声明及其标签真/假剔除混合或部分真实等模糊标签找出与每条声明相关、且在 Twitter 上至少被提及一次的 URL由人工标注员判断每个 URL 是支持还是否认该声明据此继承标签支持→继承原标签否认→取反通过 Twitter API 收集每个 URL 的完整传播链cascade并叠加社交网络边数据规模涵盖 2013年5月 至 2018年1月指标数量已标注声明1,084 条传播链cascades158,951 条唯一用户数202,375 人社交图边数2,443,996 条URL 数量1,129 个平均每条声明对应 URL 数~1.04【论文 Figure 2传播链大小推文数的分布直方图】【论文 Figure 3930 个 URL 的传播链数量分布长尾分布前 15 个 URL约 1.5%贡献了 20% 的传播链】(没看懂这个配图我说实话)值得注意的是传播链的平均大小仅为 2.79 条推文大量传播链非常小这为模型设计带来了挑战。可信度与极化现象作者为每位用户计算了一个可信度分数范围 $[-1, 1]$定义为该用户转发真假新闻的比例之差。通过 Fruchterman-Reingold 力导向算法对社交图进行布局后发现可信用户蓝色和不可信用户红色形成了两个明显分离的社区——这与社会学中回音室理论相符。【论文 Figure 4Twitter 用户网络的可信度分布可视化蓝色可信红色不可信】五、实验结果5.1 主要性能URL 级别 vs. Cascade 级别作者设计了两种检测场景URL 级别URL-wise利用一个 URL 产生的所有传播链平均约 141 条预测该 URL 对应的新闻真假。使用 5 折随机交叉验证训练/测试/验证集平均包含 677/226/226 个 URL正负比约 83%:17%。Cascade 级别Cascade-wise仅利用单条传播链预测难度显著更高。使用相同的数据划分只保留至少含 6 条推文的传播链训练/测试/验证集平均包含 3586/1195/1195 条传播链。结果24 小时完整传播数据设置ROC AUCURL 级别92.70% ± 1.80%Cascade 级别88.30% ± 2.74%【论文 Figure 6URL 级别蓝和 Cascade 级别红的 ROC 曲线5 折均值及标准差阴影】【论文 Figure 7最后一层图卷积层节点特征的 t-SNE 可视化蓝可信用户红不可信用户呈现清晰的聚类结构】5.2 消融实验哪类特征最重要作者通过逆向特征选择backward feature selection进行消融实验逐步从输入中去除不同类别的特征结果如下用户画像和网络与传播是最重要的两类特征仅凭这两类就能达到接近 90% ROC AUC在Cascade 级别去掉推文内容特征后性能反而提升了 4%——原因是 20% 的传播链集中在前 15 个 URL相同 URL 下的推文内容高度相似容易引发过拟合【论文 Figure 9消融实验结果URL 级别上和 Cascade 级别下的 ROC AUC特征组从左到右按重要性排列】5.3 最小传播链大小的影响传播链越小包含的扩散模式信息越少。作者测试了不同最小传播链阈值对性能的影响发现性能随传播链规模增大而提升当传播链至少包含 6 条推文时性能饱和共留下 5,976 条样本这也是正式实验中选取 6 条推文作为阈值的依据。【论文 Figure 8Cascade 级别性能Mean ROC AUC随最小传播链大小阈值的变化曲线】5.4 早期检测能力新闻传播多久才能被检测这是本文最具实用价值的实验之一。作者将传播链按时间截断从 0 小时仅初始推文到 24 小时每隔 1 小时训练一个独立模型观察性能变化关键发现仅约 2 小时的传播就能在 URL 级别达到90% 以上的 ROC AUCURL 级别性能在约15 小时后趋于饱和此时已覆盖约 86% 的传播链规模Cascade 级别性能在约7 小时后饱和此时已覆盖约 91% 的传播链规模从 0 小时到 ≥1 小时有一个显著的性能跳升说明传播结构特征而非单纯的用户/内容特征是关键信号【论文 Figure 10URL 级别上和 Cascade 级别下的 ROC AUC 随传播时长小时的变化曲线横轴上方标注了对应的平均推文数】5.5 模型老化测试历史模型对未来数据还有效吗作者模拟了真实部署场景用历史数据训练在未来的新数据上测试考察性能如何随时间衰减。训练集和测试集按时间先后分割80%/20%测试集按时间窗口滑动评估URL 级别模型在训练集与测试集相差约180 天后才出现轻微的性能下降Cascade 级别模型表现更为鲁棒在260 天后仅下降约 4%Cascade 级别模型更鲁棒的原因单条传播链的图结构更简单模型不得不学习更通用的特征这些特征反而具有更好的时间稳定性。【论文 Figure 11URL 级别上和 Cascade 级别下的 ROC AUC 随训练集与测试集平均日期差距天的变化包含三条曲线24小时传播蓝实线、0小时传播橙虚线、标准5折交叉验证绿线】六、总结与局限性主要贡献贡献点内容方法创新首次将几何深度学习图卷积图注意力系统性地应用于假新闻检测实现异构数据用户、内容、传播结构的端到端融合数据贡献构建了跨越 5 年2013–2018、含 158,951 条传播链的高质量标注数据集早期检测证明仅需约 2 小时的传播数据就可达到 90% ROC AUC具有很强的实用价值时间鲁棒性模型在训练与测试间隔半年以上仍保持良好性能具备实际部署的可行性局限性与未来方向作者坦诚地指出了若干值得继续探索的方向语言/地域无关性论文假设传播特征是语种无关的但实验均在英文 Twitter 数据上进行跨语言/跨平台的泛化能力尚未验证对抗攻击基于图的方法理论上需要操控整个社交网络拓扑才能实施攻击具有天然优势但这一猜想还需严格的实验验证内容特征的正则化cascade 级别实验去掉内容特征后性能反而提升提示当引入内容特征时需要加入 dropout 或权重衰减等正则化手段更广泛的应用作者期待将同一框架迁移到新闻主题分类、信息传播预测等其他社交网络分析任务七、一句话评价这篇论文的价值在于它优雅地将一个社会问题假新闻检测转化为一个图学习问题并通过严谨的实验体系——消融分析、早期检测、时间泛化——全面回答了这个方法是否真的管用的问题。对于任何关注图神经网络应用或信息可信度研究的读者来说它都是一篇值得精读的参考文献。
