在问答社区中，根据用户资料头像生成用户自我描述

《Knowledge-Based Systems》：Generating self-descriptions from profile avatars on Question-Answering communities

跨模态学习生成用户简介并提取人口统计与心理统计特征，采用预训练编码器与依赖树修剪优化文本粒度，在Stack Exchange和Yahoo! Answers大规模数据集验证。

　　

亚历杭德罗·菲格罗亚|比利·佩拉尔塔

智利圣地亚哥市立技术大学计算机与信息系，邮编7800002

摘要

问答社区（cQAs）允许网民提出和关注任何主题的问题，获得有用的答案，并阅读高质量的知识内容。为了确保其成功，迅速应对各种挑战至关重要，例如减少收到首个可接受答案的延迟。为了优化用户体验，必须为每个社区成员定制个性化的展示内容，以促进未解决问题与潜在回答者之间的沟通。

最近的研究表明，人口统计变量（如年龄和性别）在满足这些需求方面起着关键作用。我们的工作从三个新颖的角度丰富了这一知识体系：a) 我们不是根据特定的人口统计因素对文本/图像进行分类，而是从头像中自动生成“关于……的信息”；b) 由于这些头像包含丰富的人口统计和心理特征信息，这为更准确地分析/筛选社区成员提供了可能；c) 我们的重点是在一种模式（图像）中寻找模式，以便在另一种模式（文本）中生成个人简介。

为此，我们使用了前沿的编码器-解码器神经网络和词汇化的依存关系路径来调整所需个人简介的详细程度。结果表明，预训练的基于文本的神经网络在生成详尽的自我描述方面更为可靠。总体而言，我们发现：a) 从个人简介中提取词义较为困难；b) 在第二层对词汇化依存关系树进行修剪可以在全面性和性能之间取得平衡。总之，我们的方法表明，通过利用头像中的潜在视觉模式，可以提取反映人口统计变量（如性别）和心理特征（如宗教信仰、活动或性格）的身份信息。

引言

由于问答社区的主要目标是解决传统网络搜索无法解决的信息需求，因此在过去二十年里，这类在线社区在互联网用户中非常受欢迎。典型的例子包括Yahoo! Answers、Reddit、Stack Exchange以及Quora。它们的独特性（即竞争力）在于允许社区成员发布各种类型的问题和答案，从而涵盖广泛的主题。这种动态成功的一个重要特征是这些信息由多个用户共同提供。因此，它们不仅能够涵盖常见或事实性的问题和答案，还能反映不同的生活方式、口碑建议以及针对特定情况的解决方案及其相关观点。随着时间的推移，这些平台已成为知识档案的来源。

鉴于当前形势，问答网站必须满足用户对内容个性化和上下文化的需求，以保持其活力和实用性。从实际角度来看，这意味着需要设计专门的展示方式，将未解决的问题与可能愿意分享知识或对特定内容感兴趣的成员联系起来。近年来，用户建模研究在建立有效连接方面发挥了决定性作用。早期研究主要集中在分析社区成员的演变[1]、[2]、识别优秀贡献者的典型特征[3]及其动机[4]、[5]、[6]、[7]、[8]，以及了解他们为何从免费平台转向付费平台[9]。除此之外，最近还探索了其他实现方式，例如识别高质量内容的生产者（即专家）[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、性格特征[18]、检查不同主题之间的亲密程度[19]，以及检查答案之间的相似性[20]、[21]、[22]。还有一些研究探讨了用户标准与答案质量之间的关系[23]、[24]、[25]。

为了更深入地了解问答社区成员及其在社区中的行为模式，研究人员开始对人口统计变量进行建模。最近，他们主要关注年龄和性别，因为这两个因素在广告和市场细分等领域已被证明对于个性化信息非常有效。例如，有研究揭示了提问者文本中的性别特征[26]，而[27]、[28]、[29]、[30]利用了更广泛的用户信号（如问题、答案、自我描述和/或头像图像）来进行性别识别；[31]、[32]、[33]则专注于推断不同年龄群体的活动、文本或视觉模式。总体而言，从完整的问题和答案中提取的文本对于区分年龄和性别非常有帮助，而头像本身提供的年龄线索很少。实际上，只有33.39%的社区成员上传了非默认的个人形象，而且这些图片由于多样性低（平均分辨率为128 × 64像素）[29]、[33]，因此很难处理。至于简短的个人简介，由于数量稀少，迄今为止影响有限（例如，在Yahoo! Answers中只有约7.16%的成员选择描述自己[28]）。然而，对这些自我描述的初步分析表明，它们不仅是人口统计信息的丰富来源，也是心理特征信息的来源（见表1中的样本）。

本文将问答社区的头像和个人简介置于一个新的视角下。我们不是利用这两种信息来源来构建独立的单模态性别/年龄分类器，而是学习如何从头像图像自动生成简短的文本简介，从而根据潜在的视觉规律推导出人口统计和心理特征信息。换句话说，我们通过一种模式（图像）寻找模式，以在另一种模式（文本）中生成自我描述。具体来说，本研究的贡献如下：

• 1.
  借鉴机器翻译的思路，在训练过程中融合来自文本和视觉来源（简短的个人简介和头像）的信号，以推断跨模态模式之间的关系，尤其是跨模态的冗余规律。通过这种融合，自动学习到一个模型，该模型能够在给定特定社区成员的头像时生成自我描述。
• 2.
  也就是说，训练好的模型可以根据用户的头像输出人口统计（如年龄、性别、位置和种族）和心理特征（如自我概念、态度、性格、价值观、生活方式、兴趣、观点和社会阶层）信息。在这方面，我们的工作不仅是在将研究范围从人口统计变量扩展到心理特征变量方面的先驱，还在利用头像与其对应文本简介之间的隐藏冗余模式方面处于领先地位。
• 3.
  为了将我们的方法推向极限，我们从自我描述出发，考虑了不同的细节层次（粒度），通过词性标注（POS）和修剪词汇化依存关系树来实验性地评估句法粒度控制，以使视觉模式与特定级别的语言抽象对齐（见表2中的示例）。
• 4.
  最后但同样重要的是，我们在两个截然不同的问答服务（Yahoo! Answers和Stack Exchange）上进行了大规模实验，分别收集了242,795个和448,350个样本。

简而言之，我们的结果不仅表明可以通过自动生成自我描述来提取头像中的一些人口统计和心理特征信息，还量化了性能与信息粒度之间的权衡。此外，我们的结果还表明，利用隐藏的跨模态冗余模式有助于更清晰地区分语义上紧密相关的术语（如“girl”-“female”和“boy”-“male”），从而生成更具准确性的个人简介。本文的结构如下：第2节概述了相关工作；第3节提出了研究问题；第4节介绍了我们的研究方法和手段；第5节详细阐述了实验和发现；第6节讨论了策略的局限性；第7节得出了结论并展望了未来的工作方向。

相关工作

相关研究

据我们所知，这是首批探索问答社区成员心理特征的研究之一。它首次利用了跨模态隐藏模式所展现的冗余性。更具体地说，这项研究与问答社区中的人口统计分析、视觉问答、图像字幕以及视觉编码器-解码器模型相关。

研究问题

本文通过提供一种新的方法来利用简短的个人简介和头像，从而发展了问答服务领域的现有知识体系。具体来说，它在训练过程中整合了这些信号，以发现两种模式之间的潜在跨模态冗余模式。这使得生成的模型能够根据给定的头像生成自我描述。由于这类文本是人口统计和心理特征信息的丰富来源，我们期待由此产生的

我们的方法

在我们的实验中，我们考虑了两种多模态架构[86]。第一种类型称为非预训练模型，它利用了预训练的视觉编码器和从头开始训练的基于文本的变换器。第二种策略包括两个预训练编码器（一个用于图像，另一个用于文本），并通过一个非预训练的跨注意力层将它们连接起来。

实验

首先，我们使用了来自两个截然不同的问答服务（Stack Exchange和Yahoo! Answers）的问题-答案语料库进行实验。具体如下（见表3总结）：

(a)

Stack Exchange（简称SE）定期在互联网上发布其数据集供公众使用。[10] 更具体地说，本研究使用了2021年9月6日发布的版本。

局限性

有些方面需要谨慎考虑。首先，不同配置之间的比较应持保留态度，因为随着词汇化依存关系树深度的增加，比较的难度也会增加。因此，可以预期得分会相应下降。尽管如此，我们的实验仍表明，这些比较有助于找到任务复杂性和信息粒度之间的平衡。

结论

总之，我们的实验结果表明，当需要生成更详尽的自我描述时，预训练方法是一个更好的选择，因为这些模型能够以成本效益较高的方式减少训练词汇与目标词汇之间众所周知的脱节问题。

我们的结果还表明，尽管在训练时提供的上下文框架有限，但仍难以提取词义。

CRediT作者贡献声明

亚历杭德罗·菲格罗亚：撰写 – 审稿与编辑、初稿撰写、可视化、验证、监督、软件开发、资源管理、方法论设计、研究开展、资金筹集、形式化分析、数据整理、概念化。比利·佩拉尔塔：初稿撰写、验证、方法论设计、研究开展、形式化分析、概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

这项工作部分得到了Fondecyt “多模态人口统计与心理特征以提高问答社区的参与度”（项目编号1220367）的支持，该项目由智利政府资助。B.P.还感谢智利国家人工智能中心（CENIA）提供的FB210017项目资助。此外，这项研究还得到了智利南部大学的Patagón超级计算机（项目编号FONDEQUIP EQM180042）的支持。