联觉隐喻的含义与跨模态对应关系高度一致

《Cognitive Science》:The Meanings of Synesthetic Metaphors Closely Align With Crossmodal Correspondences

【字体: 时间:2026年05月01日 来源:Cognitive Science 2.4

编辑推荐:

  摘要 联觉隐喻是一种表达方式,其中一个词的含义从一种感官转移到另一种感官(例如,明亮的声音)。它们经常与跨模态对应关系相关联,这是一种心理现象,在这种现象中,不同感官之间存在系统的关联(例如,亮度和音高)。然而,这两种现象之间的关系在很大程度上被视为一项假设,缺乏实证研究。本研

  摘要

联觉隐喻是一种表达方式,其中一个词的含义从一种感官转移到另一种感官(例如,明亮的声音)。它们经常与跨模态对应关系相关联,这是一种心理现象,在这种现象中,不同感官之间存在系统的关联(例如,亮度和音高)。然而,这两种现象之间的关系在很大程度上被视为一项假设,缺乏实证研究。本研究探讨了联觉隐喻与跨模态对应关系之间的关联程度。具体来说,通过使用语义差异技术(semantic differential technique)进行实验,研究了例如“甜美的声音”所代表的声音是否与“甜味”在跨模态上相关联。研究发现,联觉隐喻的含义通常与跨模态对应关系一致;然而,那些被普遍接受或常规的联觉隐喻(例如,“酸味的气味”)的含义与跨模态对应关系存在差异。此外,在情绪负荷较高的量表上(如好坏、脏干净),它们的关联更为紧密,而在相对情绪中性的量表上(如低音高音)则不然。这些发现表明,联觉隐喻的含义虽然通常与跨模态对应关系一致,但在被常规化后可能会偏离这种关系,这表明这两种现象是受情绪因素影响的。

1 引言

1.1 联觉隐喻

联觉隐喻传统上被定义为一种语言现象,其中一个词的含义从一种感官(源感官)转移到另一种感官(目标感官),例如“明亮的声音”(Strik Lievers, 2015)和“这首旋律很流畅”(Winter & Strik-Lievers, 2025)。传统上认为,不同感官模态在语言上的关联是单向的(Ullmann, 1959, 1962; Williams, 1976)。Winter(2019)将这种趋势描述为“触觉 < 味觉 < 嗅觉 < 听觉/视觉”(第101页),其中左侧的感官更可能作为源感官,右侧的感官作为目标感官。符合这种方向性的表达(例如,“甜美的旋律”)不仅使用得更频繁(Day, 1996; Ullmann, 1959),而且比不符合这种方向性的表达更自然、更容易理解(Kusumi, 1988; Shen & Cohen, 1998; Werning, Fleischhauer, & Be?ei?lu, 2006)。然而,Winter和Strik-Lievers(2025)的大规模元分析表明,感官模态之间的关系不应被视为绝对的单向性,而应被视为不对称性。在语言学中,联觉隐喻长期以来被模糊地认为是基于心理机制的,而最近的文献更具体地认为它们类似于跨模态对应关系(Winter, 2019)。

1.2 跨模态对应关系

跨模态对应关系是一种心理现象,定义为“不同感官模态中的刺激(即物体或事件)的属性或维度之间的兼容性效应(无论这些属性或维度是否冗余)”(Spence, 2011, 第973页)。它们存在于所有可能的感官模态组合中(Spence, 2011):例如,亮度和音高(Marks, 1974);颜色和触觉(Ludwig & Simner, 2013);颜色和味道(Spence & Levitan, 2021);颜色和气味(Gilbert, Martin, & Kemp, 1996);听觉频率和触觉频率(Yau, Olenczak, Dammann, & Bensmaia, 2009);音高和味道(Crisinel & Spence, 2010);音高和气味(Speed, Croijmans, Dolscheid, & Majid, 2021);触觉和味道(Tu, Yang, & Ma, 2015);触觉和气味(Speed et al., 2021);味道和气味(Spence, 2022)。已经采用了多种实验方法来研究跨模态对应关系。根据Asano和Yokosawa(2020)的分类,这些方法可以分为显性方法和隐性方法。显性方法包括直接匹配任务,要求参与者选择与刺激最匹配的选项,以及评分方法,如语义差异(SD)技术,通过成对的反义形容词(例如,好坏)构建的多点量表来评估刺激的印象(Osgood, Suci, & Tannenbaum, 1957)。相比之下,隐性方法涉及同时呈现两个刺激的任务,参与者需要尽快对其中一个刺激进行分类,同时忽略另一个刺激,例如快速分类任务(Asano & Yokosawa, 2020, 第177-180页)。另一个重要的方法学区别在于刺激是感知属性还是语言词汇。Martino和Marks(1999)使用快速分类任务研究了实际感知属性(例如,特定亮度的颜色块)和语言刺激(例如,BLACK, WHITE),并发现两种类型的刺激都存在跨模态对应关系。具体来说,当参与者面对一致的刺激(例如,高音与WHITE)时,判断音调高低所需的反应时间比面对不一致的刺激(例如,高音与BLACK)时更短。Velasco, Woods, Marks, Cheok和Spence(2016)使用SD方法展示了味道和形状之间的匹配,他们的味道刺激不是感知刺激,而是味道词汇。Lee和Spence(2022)指出,在跨模态对应关系的研究中经常使用语言刺激(例如,甜、苦),因为使用感知刺激(如味剂溶液)存在实际挑战。他们认为,使用语言刺激和感知刺激获得的结果是可比的,这表明至少在味道领域,这两种类型的刺激都可能引发跨模态对应关系。

1.3 跨模态对应关系作为联觉隐喻的动机

在语言学中,跨模态对应关系被讨论为激发联觉隐喻的心理基础。O'Malley(1957)强调,跨模态对应关系(他称之为“感官间类比”)和联觉隐喻在个体间广泛存在。Winter(2019)也支持这一观点,指出这两种现象都涉及日常生活中共存的感官,如味觉和嗅觉,并且不一定被有意识地感知。后者与联觉不同,联觉是生动、自动且有意识地被感知的。Winter进一步认为,联觉隐喻应该被称为“跨模态隐喻”,因为例如“明亮的声音”和“黑暗的声音”这样的表达可能反映了听觉音高和视觉亮度之间的跨模态对应关系。一些心理学家也持这种观点。Di Stefano, Murari和Spence(2022)指出,“语言在文学语境中被用来传达气味和声音之间的跨模态关联”,明确表示他们将联觉隐喻视为跨模态对应关系的语言表现(第159页)。Asano和Yokosawa(2020)也部分支持跨模态对应关系是联觉隐喻理解基础的观点。此外,Marks(1982a, b)不仅假设跨模态对应关系激发了联觉隐喻,而且据我们所知,他还提供了这一假设的唯一实证研究(Winter, 2019也提到了这一点)。Marks(1982a)通过评分实验阐明,将光和声音联系起来的诗歌性联觉隐喻系统地将亮度映射到响度或音高上,反之亦然。具体来说,明亮的声音被评价为比暗淡的声音更响亮或音调更高,而明亮的光芒被评价为比柔和的光芒更亮。Marks(1982b)同样研究了将光和声音联系起来的诗歌性联觉隐喻(例如,“灰暗暮色的低语”),并通过操纵实际的光和声音刺激而非主观评分,发现了亮度和响度之间的可靠相关性。Marks(1982a)指出,跨感官模态观察到的相似性构成了人类隐性知识的一部分,这种知识通过语言表达出来。

1.4 跨模态对应关系作为语言学上的动机

联觉隐喻和跨模态对应关系有几个共同点,假设它们之间存在某种关联是合理的。然而,这两种现象之间的因果关系并不显而易见。事实上,一些心理学研究提出了相反的因果关系,认为联觉隐喻可能激发了跨模态对应关系。Imschloss和Kuehnl(2019)认为,音乐和触觉之间的跨模态对应关系是因为通常用于描述触觉感觉的形容词(例如,柔软、光滑、坚硬、粗糙)也可以应用于音乐(例如,柔和的旋律、粗糙的声音),从而在语义层面上产生了跨模态关联。Martino和Marks(1999)将这种现象称为“语义编码假设”。这种观点与跨模态对应的传统分类之一相符,还包括“结构对应关系”(由共享的神经基础如响度和亮度介导的对应关系)以及“统计对应关系”(通过日常生活中不同感官的重复共同体验形成的对应关系,例如,小尺寸和高音声音)(Spence, 2011)。确实,一些研究表明联觉隐喻可以影响跨模态对应关系。Dolscheid, Shayan, Majid和Casasanto(2013)进行了一项非语言实验,研究了荷兰语使用者(将音高描述为高/低)和波斯语使用者(将音高描述为细/粗)之间音高与视觉线条高度或粗细之间的干扰。他们发现,对于荷兰语使用者来说,高度影响了音高,而对于波斯语使用者来说,粗细有影响。Dolscheid, ?elik, Erkan, Küntay和Majid(2020)进一步将荷兰语使用者与土耳其语使用者进行了比较,后者也将音高描述为细/粗,并发现这些群体之间的空间-音高关联存在差异。

1.5 缺乏证明联觉隐喻与跨模态对应关系之间关联的实证研究

如1.3节和1.4节所讨论的,关于联觉隐喻和跨模态对应关系之间存在两种对立的观点:跨模态对应关系激发联觉隐喻,或者联觉隐喻激发跨模态对应关系。前者在语言学和心理学中都有体现,后者在心理学中也存在。这些先前研究的第一个问题是,这两种观点本质上仍然是理论假设。Dolscheid等人(2013, 2020)的例外之处在于,他们提供了实证证据,表明不同语言的使用者在非语言关联模式上存在差异,从而超越了理论假设,探讨了从联觉隐喻到跨模态对应关系的因果关系。第二个也是最关键的问题是,因果关系被过早地提出了,而没有建立联觉隐喻和跨模态对应关系之间的关联。尽管Marks(1982a, b)研究了这两种现象之间的关联,但他的研究范围仅限于高度诗歌性的联觉隐喻(例如,“即将到来的黑暗的声音”)以及亮度和响度或音高之间的跨模态对应关系。因此,这些发现不能推广到联觉隐喻和跨模态对应关系之间的更广泛关系。因此,关于联觉隐喻和跨模态对应关系之间关系的观察主要基于表面相似性,例如两者都涉及环境耦合的感官、广泛共享,并且不一定被有意识地感知(O'Malley, 1957; Winter, 2019)。因此,本研究将范围扩大到非诗歌性的联觉隐喻和多种跨模态对应关系,旨在证明联觉隐喻和跨模态对应关系之间的系统相关性,而不是直接探讨因果关系。

2 方法

本研究探讨了联觉隐喻的来源和目标是否与跨模态对应关系一致。例如,为了证明“明亮的声音”基于亮度和高音之间的跨模态对应关系,必须证明“明亮的声音”指的是高音(Marks, 1982a)。然而,以往的研究往往只在感官层面讨论联觉隐喻的目标,例如听觉,而对更细致的目标关注较少(Kusumi, 1988; Winter, 2019)。为了填补这一空白,我们使用相同的SD量表量化了各种联觉隐喻的目标(联觉隐喻实验)和相关的跨模态对应关系(跨模态对应关系实验)。比较了联觉隐喻和跨模态对应关系的评分,以评估这两种现象之间是否真的存在一致性。图1展示了一个实验程序的例子。通过向参与者呈现语言刺激(例如甜味),要求他们想象与这些刺激相关联的声音、颜色、触感、味道和气味,然后让他们对这些想象中的特征进行评分,从而间接地考察了跨模态对应关系。

2.1 参与者

2.1.1 共感隐喻实验的参与者
为了减轻参与者的负担,共感隐喻实验的所有刺激被分成了三个独立的子集,每个子集由30名不同的参与者完成(总共90名;49名女性,40名男性,1名非二元性别者;平均年龄为48.40岁,年龄范围在20至72岁之间)。每位参与者对100个项目进行了评分(20个刺激×5个评分尺度)。参与者均为居住在美国的英语单语者,通过Prolific平台招募。参与者因参与实验获得了2.50英镑的报酬。

2.1.2 跨模态对应关系实验的参与者
跨模态对应关系实验的刺激也被分成了三个子集。每个子集同样由30名居住在美国的英语单语者完成(总共90名;57名女性,32名男性,1名性别未公开;平均年龄为45.11岁,年龄范围在24至73岁之间),也是通过Prolific平台招募的。这些参与者没有参与共感隐喻实验。理想情况下,共感隐喻和相应的跨模态对应关系应该由相同的参与者进行评分;然而,由于两个实验的设计非常相似,为了防止相互影响,它们被分开了。

2.2 刺激

2.2.1 共感隐喻实验的刺激
在构建共感隐喻刺激时,根据一致的标准选择了与每种感官相关的形容词,然后系统地将它们与感官名词结合。采用这种方法是为了确保不同形容词的刺激数量保持一致。一些先前的实验研究也采用了类似的程序(Kusumi, 1988; Winter & Strik Lievers, 2023)。在选择形容词时,通过整合Lancaster感觉运动规范(Lynott, Connell, Brysbeart, Brand, & Carney, 2020)和SUBTLEX-US频率列表(Brysbaert & New, 2009, Brysbaert, New, & Keuleers, 2012)构建了一个数据集。Lancaster感觉运动规范提供了关于概念(即词语)通过每种感官体验程度的评分。例如,形容词“bright”的五感感知规范如下:听觉=0.18,味觉=0.00,触觉=0.35,嗅觉=0.06,视觉=4.71。该数据集还包含了“模态排他性”,它量化了一个概念通过单一模态体验的程度,表示为0(完全多模态)到1(完全单模态)之间的比例。由于“bright”主要与视觉模态相关联,其五感模态排他性得分较高(0.89)。相比之下,“harsh”在各种模态上的评分较为平衡(听觉=3.39,味觉=1.28,触觉=1.39,嗅觉=1.00,视觉=3.44),因此其模态排他性得分相对较低(0.23)。SUBTLEX-US频率列表是一个基于电影和电视字幕的大规模词汇数据库,提供了超过70,000个英语单词的频率信息,并包括词性信息。从整合后的数据集中,选择了那些具有高模态排他性(即与单一感官有强烈关联)的形容词,并且在每种感官类别中排名前25%的形容词。这些标准是为了排除多模态形容词(例如intense),并选择那些仅属于单一模态且使用频率高的形容词。随后通过手动检查验证了选择的有效性。那些不能清晰代表特定感官属性的形容词(例如,仅用于视觉的“colored”)或与模态排他性更高的形容词在语义上相似的形容词(例如,creaky[模态排他性较低] vs. squeaky[模态排他性较高])被排除,然后选择另一个符合标准的形容词作为替代。选定的形容词见表1。

表1. 用于刺激的形容词

这些形容词分别与Kusumi(1988)中列出的以下四种感官名词进行了跨模态组合:颜色(视觉)、声音(听觉)、触觉(触觉)、味道(味觉)和气味(嗅觉)。尽管可以使用像sight或look这样的抽象名词来表示视觉,但本研究遵循了之前的研究(Kusumi, 1988; Winter & Strik Lievers, 2023),选择了颜色作为视觉的刺激。这一选择还得到了进一步的支持,因为在跨模态对应关系的研究中,颜色已经被广泛研究(Ludwig & Simner, 2013; Spence, 2020; Spence & Levitan, 2021; Hidaka & Shimoda, 2014)。最终的共感隐喻刺激集见表2。

2.2.2 跨模态对应关系实验的刺激
跨模态对应关系实验使用了与共感隐喻实验相同的形容词集(表1)。刺激是通过将每个形容词与共感隐喻实验中的同感名词配对来创建的(例如,squeaky sound)。视觉形容词(即pink、purple和white)与视觉名词color一起呈现,因为它们既可以作为名词也可以作为短语使用,例如“a pink color”,否则可能会显得重复。

2.3 SD评分尺度
共感隐喻和跨模态对应关系实验使用了相同的SD评分尺度。每种感官都使用了五个评分尺度,其中bad–good尺度是所有感官共用的唯一尺度。这些尺度的选择基于之前关于每种感官的研究。只选择了至少在三项研究中使用的尺度。SD评分尺度见表3。

2.4 指导说明
在共感隐喻实验中,向参与者展示了构建好的共感隐喻(例如,a soft color),并提出了问题:“这个表达代表什么样的x?”这里的x被替换为相应的感官名词(即颜色、声音、触觉、味道或气味)。要求参与者使用7点SD评分尺度对每个共感隐喻所代表的属性进行评分,其中1和7分别代表表3中的对立形容词。即使表达对他们来说不熟悉或不自然,也要求他们凭直觉回答。在跨模态对应关系实验中,问题格式是“什么样的x与y相匹配?”,其中x被替换为一个名词(例如颜色),y被替换为一个构建好的单模态短语(例如,a sweet taste)。要求参与者使用上述7点SD评分尺度对每个刺激进行评分。

2.5 实验流程
所有实验都是使用Google Forms创建的,如图2所示。在参与之前,向参与者说明了实验的性质,只有同意参与的人才会进入测试页面。共感隐喻实验在2025年9月23日至24日进行,跨模态对应关系实验在2025年9月24日进行。

2.6 数据清洗
为了筛选出没有足够专注回答的参与者,在每个实验中两次包含了“你当前是否专注于实验?”这个注意力检查问题。每次回答选项(“是”和“否”)的顺序都会被反转。在共感隐喻实验中,有7名参与者的回答被排除在数据集之外;在跨模态对应关系实验中,有1名参与者的回答被排除在数据集之外。没有参与者因为回答过于简单而被排除。

2.7 统计分析
所有统计分析都是使用R版本4.4.0(R Core Team, 2024)进行的。所有图表都是使用ggplot2包版本3.5.1(Wickham, 2016)生成的。线性混合效应模型使用lme4包版本1.1.37(Bates, Maechler, Bolker, & Walker, 2015)和lmerTest包版本3.1.3(Kuznetsova, Brockhoff, & Christensen, 2017)进行拟合。广义方差膨胀因子值是使用car包版本3.1.3(Fox & Weisberg, 2019)计算的。所有刺激、指导说明、实验表格、数据和R脚本都可以在本研究的Open Science Framework (OSF) 仓库中找到:https://osf.io/fbqs4/。

3 结果
3.1 描述性统计
共感隐喻和跨模态对应关系在每个尺度上的评分差异——计算为共感隐喻的平均z分数评分与跨模态对应关系的平均z分数评分之间的绝对差异(以下简称ADSCs)——平均为0.22(标准差=0.18)。例如,在安静(1)–响亮(7)尺度上,“fluffy sound”的平均评分为2.17(平均z分数评分=?0.88),表明这是一个相对安静的声音。在与“fluffy touch”跨模态关联的声音上,同一尺度的平均评分为2.00(平均z分数评分=?0.83),这也表明这是一个相对安静的声音,两个平均z分数评分之间的绝对差异为0.05(|(?0.88) ? (?0.83)|)。所有尺度上ADSCs的分布显示在图3中。显示ADSCs最小和最大的共感隐喻和跨模态对应关系对在表4中。共感隐喻和跨模态对应关系的原始评分的总体分布显示在附录A1-A5中。所有刺激在所有尺度上的原始评分的均值和标准差都提供在本研究的OSF仓库中。

3.1 共感隐喻和跨模态对应关系的ADSCs
最小ADSC的对
SM和CC
尺度
ADSC
1
a purple taste
sweet–not sweet
0.0038
与紫色(颜色)相关联的味道
2
a soft smell
dirty–clean
0.0058
与柔软触觉相关联的气味
3
a noisy taste
salty–not salty
0.0060
与嘈杂声音相关联的味道
4
a perfumed color
blue–not blue
0.0080
与芳香气味相关联的颜色
5
a purple sound
muffled–clear
0.0082
与紫色(颜色)相关联的声音
最大ADSC的对
SM和CC
尺度
ADSC
1
a stinking touch
dry–moist
0.9024
与恶臭气味相关联的触觉
2
a sour smell
dirty–clean
0.8709
与酸味相关联的气味
3
a white sound
muffled–clear
0.8571
与白色(颜色)相关联的声音
4
a sour smell
stale–fresh
0.7921
与酸味相关联的气味
5
a sour sound
bad–good
0.6783
与酸味相关联的声音

注:共感隐喻被称为SM,跨模态对应关系被称为CC。文献中报告的几个代表性跨模态对应关系在当前数据中也得到了复制。例如,嘈杂的声音与相对明亮的颜色相关联,Marks(1974)使用纯音和亮度从黑色到白色变化的彩色纸张展示了这一点。结果还显示,甜味与相对圆润的触感相关联,这一点在Velasco等人(2016年)使用SD方法的研究中也有报告。粉红色(颜色)被评价为与相对甜味相匹配的结果,复制了粉红色和甜味之间的关联关系(Spence & Levitan, 2021; Wan et al., 2014)。

3.2 共感隐喻评分与跨模态对应评分之间的关系
本节统计分析了共感隐喻评分与跨模态对应评分之间的整体一致性程度。图4显示了每个量表上共感隐喻和跨模态对应的平均z分数评分。共感隐喻的平均z分数评分与跨模态对应的平均z分数评分之间的皮尔逊相关系数为r(298) = 0.89(p < 0.001),表明这两种现象之间存在强烈的正相关。

3.3 可接受性
第3.2节的结果表明,共感隐喻和跨模态对应的评分总体上表现出很强的一致性。然而,如表4所示,一些共感隐喻和跨模态对应的评分对显示出相对较大的ADSC(差异得分)。正如第1.1节所介绍的,共感隐喻的可接受性取决于哪些感官模式被结合以及结合的方式(例如,甜美的旋律与美妙的触感)。我们研究了ADSC是否随着共感隐喻的可接受性而变化。关于可接受性和ADSC之间的关系,可以提出两种竞争性预测。一种可能性是负相关,即更可接受的共感隐喻更受跨模态对应的驱动,因此显示出较小的ADSC。另一种可能性是正相关,即更可接受的共感隐喻通过常规化获得了更独特的含义,因此显示出较大的ADSC。有关常规性的进一步讨论,请参见第3.4节。通过Prolific招募了30名居住在美国的英语母语者(18名女性,12名男性;平均年龄=42.33岁,范围20–73岁),他们在知情同意后,对共感隐喻的可接受性进行了7点评分(从1(完全不可接受)到7(完全可接受)。他们获得了1.25英镑的报酬。数据可在OSF上获取。所有共感隐喻的平均可接受性为3.36(标准差=2.26)。图5显示了每个共感隐喻的平均可接受性评分与每个量表上的ADSC之间的关系。平均可接受性评分与ADSC之间的皮尔逊相关系数为r(298) = 0.13(p = 0.03),表明存在弱但显著的正相关。这表明可接受性较高的共感隐喻(例如,柔和的声音)与跨模态对应的差异更大。

3.4 常规性
我们还研究了共感隐喻的常规性作为ADSC的可能预测因素。与可接受性一样,关于常规性和ADSC之间的关系也有两种可能的预测。一种预测是,更常规化的共感隐喻在感知上更有依据,因此表现出较小的ADSC,正如匿名评审者所指出的。另一种预测是,高度常规化的共感隐喻获得了独特的含义,因此显示出较大的ADSC。Strik Lievers(2016)指出,在德语及相关语言中,sü?(甜)的共感-隐喻用法,如sü?esten T?nen(最甜的音调),已经非常常规化,不再被视为共感或隐喻,而是被视为字面和评价性的(即“令人愉悦的”)。实际上,《牛津英语词典》将“pleasant”作为sweet的另一个含义(Winter & Strik-Lievers, 2025)。这些观察使我们推断,共感隐喻越常规化,它们就越倾向于偏离其心理基础。共感隐喻的常规性是使用《当代美国英语语料库》(COCA)(Davies, 2008)中的评分和 attestations频率来衡量的。通过Prolific招募了30名居住在美国的英语母语者(15名女性,15名男性;平均年龄=42.73岁,范围19–74岁),他们在知情同意后,对共感隐喻的可接受性进行了7点评分(从1(完全不接受)到7(完全可接受)。所有共感隐喻的平均常规性为2.66(标准差=2.08),COCA中的平均原始 attestations频率为17.28(标准差=63.41),包括所有它们的变形形式(例如,sweet sound, sweeter sound, sweetest sound, sweet sounds, sweeter sounds, sweetest sounds)。图6显示了每个共感隐喻的平均可接受性评分与ADSC之间的关系,以及对数10频率与ADSC之间的关系。常规性评分(r(298) = 0.14,p = 0.01)和对数10频率(r(298) = 0.12,p = 0.04)都与ADSC显示出显著的正相关,这表明共感隐喻越常规化,它们就越倾向于偏离相关的跨模态对应。

3.5 SD量表
还进行了额外的探索性分析,以研究SD量表对ADSC的潜在影响。图7显示了每个目标感官上ADSC的情况,分别针对每个目标感官。这里,ADSC是每个参与者对共感隐喻的评分减去跨模态对应的平均评分,为后续的统计建模做准备。SD量表按照ADSC的升序从左到右排列。例如,在甜颜色的bad–good量表上,ADSC倾向于比在red–not red量表上更小。为了研究这些量表间的差异,为每个感官拟合了一个线性混合效应模型。因变量是ADSC,SD量表和常规性评分被作为固定效应包括在内。随机效应包括刺激和参与者,以及参与者之间的常规性评分的随机斜率,如(1)所示。
(1)
在听觉模型中移除了随机斜率,因为它导致了奇异拟合问题,而且由于同时包括可接受性和常规性会导致GVIF值超过3.5,因此只将常规性纳入模型。在每个模型中,参考水平设置为bad–good量表,该量表通常表现出最小的ADSC。表5-9显示了bad–good量表与其他SD量表之间的差异。表5. 视觉SD量表的回归输出,以bad–good量表为参考水平。

4.1 共感隐喻的含义与跨模态对应是一致的
先前的研究讨论了共感隐喻与跨模态对应之间的表面相似性,重点关注它们的普遍性、环境耦合的感官模式以及缺乏必然的意识感知(O'Malley, 1957; Winter, 2019)。另一方面,当前的结果表明这两种现象之间存在更深层次的对应关系。具体来说,共感隐喻的来源和目标与相关的跨模态对应是一致的。例如,柔和的声音代表了一种相对好听、低音调、模糊、安静和微弱的声音,而与柔和触感相关联的声音同样也是相对好听、低音调、模糊、安静和微弱的。这些发现证实了先前的假设,即共感隐喻与跨模态对应紧密相关。

4.2 共感隐喻通过常规化偏离跨模态对应
本研究中获得的可接受性和常规性评分显示出非常强的相关性(r(58) = 0.96,p < 0.001)。这表明可接受的共感隐喻倾向于被频繁使用,因此变得常规化。通过常规化,共感隐喻可能逐渐发展出独特的含义,这些含义可能是抽象的或与特定的使用情境紧密相关。例如,酸味在评分上相对可接受(M = 5.90,SD = 1.69)并且是常规的(M = 6.07,SD = 1.70),在dirty–clean和stale–fresh量表上与酸味相关的嗅觉相比,显示出较大的绝对差异。这表明酸味已经与腐烂食物的特定情境相关联,并获得了“肮脏”的独特含义。相比之下,酸味可能会让人联想到柑橘类水果,如柠檬或青柠,这些水果的气味与肮脏没有强烈的关联。正如这个例子所示,通过作为语言表达获得独特含义,共感隐喻可能会偏离跨模态对应。同时,应该注意的是,尽管可接受性评分、常规性评分和COCA中的对数10频率都与ADSC显示出显著的正相关,但这些相关系数相对较小。鉴于本研究使用了一小部分实验刺激,如果使用更大、更多样化的刺激,可接受性和常规性的影响可能会更加明显。

4.3 共感隐喻和跨模态对应可能共享相同的情感过程
SD量表也影响了共感隐喻与跨模态对应之间的关系。例如,在bad–good、hard–soft和rough–smooth量表上,甜触感与甜味的对应更为接近,而在angular–round和dry–moist量表上则不然。在所有SD量表中,weak–strong、quiet–loud、rough–smooth、hard–soft、dirty–clean和stale–fresh量表显示的ADSC最小。这些量表的共同特点是它们的形容词具有对比鲜明的价值。价值指的是与单词或概念相关的正面或负面含义,并通过评分研究进行了量化(Warriner, Kuperman, & Brysbaert, 2013)。例如,rough在从1(非常负面)到9(非常正面)的量表上的平均价值评分为3.68,表明它是相对负面的,而smooth的平均价值评分为6.42,表明它是相对正面的。因此,rough和smooth之间的价值对比为2.74。平均价态对比值为3.50(标准差=0.77),用于区分“坏”和“好”,构成ADSCs量表的形容词对之间的对比与“坏-好”量表上的对比相当。相比之下,其他量表的平均价态对比值(例如,低音调-高音调)为1.57(标准差=0.65)。换句话说,在具有情感负荷的SD量表上,联觉隐喻与跨模态对应关系比在相对情感中立的SD量表(如低音调-高音调)上更为强烈。采用线性混合效应模型来预测这些由量表表示的价态对比值对ADSCs的影响,同时考虑了刺激和参与者的随机效应。研究发现,更明显的价态对比值显著预测了更小的ADSCs(视觉模型:b = ?0.03,SE = 0.01,t = ?3.12,p < .01;听觉模型:b = ?0.04,SE = 0.01,t = ?3.49,p < .001;触觉模型:b = ?0.05,SE = 0.01,t = ?5.68,p < .001;嗅觉模型:b = ?0.03,SE = 0.01,t = ?3.54,p < .001)。此外,当仅包括具有情感负荷的量表时,联觉隐喻与跨模态对应关系之间的平均z分数评分相关性更强(r(130) = .93,p < .001),而当考虑所有量表时相关性为r = .89(第3.2节)。情感被认为是联觉隐喻和跨模态对应关系的关键因素。关于联觉隐喻,Winter(2019)认为使用甜美的旋律主要是因为“甜美”具有正面价态。在这种观点下,联觉隐喻不一定涉及隐喻性映射;相反,形容词被充分抽象为评价意义,以修饰来自不同感官模态的名词。同样,Kusumi(1988)提出联觉隐喻基于形容词的情感(愉快-不愉快)意义。在跨模态对应关系的研究中,情感也被强调为中介因素之一(Di Stefano & Spence, 2024)。例如,音乐与颜色(Palmer, Schloss, Xu, & Prado-León, 2013)、音乐与味道(Guetta & Loui, 2017; Park & Kim, 2024)以及音乐与气味(Levitan, Charney, Schloss, & Palmer, 2015)之间的关联归因于它们共享的情感。作为对这些先前研究的额外支持,本研究的结果表明,在具有情感负荷的量表上,联觉隐喻和跨模态对应关系更为紧密。这些结果表明这两种现象可能具有共同的情感基础。

5 结论

本研究展示了联觉隐喻与跨模态对应关系之间的系统相关性,这在以往的研究中并未得到充分关注。具体来说,研究发现联觉隐喻的来源和目标与跨模态对应关系的模式一致。然而,也发现联觉隐喻越可接受、越符合常规,其与跨模态对应关系的对齐程度就越弱。在具有情感负荷的量表上观察到的特别强的关联表明,这两种现象可能受到它们共同情感基础的支持。作为未来的研究方向,应使用更大的刺激集来验证当前的研究结果。在本研究中,每种感官模态使用了三个形容词与一个特定模态的名词结合。扩大形容词和名词的范围将有助于进行更全面的研究。使用非语言范式来复制我们的发现也很重要,因为像本研究中使用的语言刺激可能仅捕捉到语义层面的关联,从而留下更多基于感知的跨模态对应关系可能存在差异的可能性。例如,比较在理解或产生联觉隐喻时的大脑活动与引发跨模态对应关系时的大脑活动是值得的。仍然需要探讨联觉隐喻与跨模态对应关系之间是否存在因果关系,而不仅仅是简单的一致性。尽管在具有情感负荷的量表上观察到的两种现象之间有强烈的一致性,这被解释为它们共享情感基础,但不能排除一种现象可能激励或影响另一种现象的可能性(Dolscheid等人,2013, 2020)。甚至有可能不同的联觉隐喻和跨模态对应关系之间的关联方式不同:有些可能是通过情感中介联系起来的,而有些则可能涉及联觉隐喻对非语言跨模态对应关系的更直接影响,或者反之亦然。换句话说,这三种可能性可能同时存在。此外,由于本研究的重点仅限于跨模态对应关系,未来的研究还应探讨联觉隐喻与其他涉及多感官交互的现象之间的关系,如联觉(Kusumi, Yokosawa, Asano, & Harashima, 2023)或多感官整合(Ronga, Bazzanella, Rossi, & Iannetti, 2012)。特别是,联觉与其与跨模态对应关系的关系一直是活跃讨论的话题(Martino & Marks, 2001)。因此,研究联觉隐喻与联觉之间的关系将是未来研究的另一个有前景的方向。

致谢

我们感谢东京大学的Michiko Asano从心理学角度对设计跨模态对应关系实验方法提供的宝贵建议。同时,我们也感谢名古屋大学英语语言学系的成员们提出的有益建议和鼓励。

资助

本研究部分得到了科学研究补助金(B类)(编号23H00627)和名古屋大学人文研究生院研究活动资助的支持。

利益冲突

作者声明没有利益冲突。

伦理批准声明

实验数据的收集严格遵循APA的伦理原则,并获得了名古屋大学人文研究生院伦理委员会的批准(NUHM-25-14)。

注释

1. Werning、Fleischhauer和Be?ei?lu(2006)区分了“弱”和“强”联觉隐喻。前者由一个感知形容词和一个无模态名词组成(例如,冷酷的心),而后者由一个感知形容词和一个感知名词组成(例如,冷气味)。本文讨论的联觉隐喻属于后者,即强联觉隐喻。

2. 选择形容词时考虑了每种感官模态的排他性程度,按降序排列。因此,所选形容词的模态排他性范围如下:视觉:0.93–0.94,听觉:0.76–0.83,触觉:0.54–0.59,味觉:0.52–0.59,嗅觉:0.80–0.89。

3. 用于选择SD量表的参考文献如下:视觉:Oyama, Tanaka和Haga(1963),Shimizu, Doizaki和Sakamoto(2014),Shinomori和Takata(2025);听觉:Hülsmeier, Schell-Majoor, Rennies和van de Par(2014),Kankubo和Kobayashi(2007),Ueda(1988);触觉:Doizaki, Iiba, Okatani和Sakamoto(2015),Shimizu等人(2014),Yoshida(1968);味觉:Schiffman和Erickson(1971),Turoman, Velasco, Chen, Huang和Spence(2018),Velasco, Woods, Marks, Cheok和Spence(2016);嗅觉:Cunningham和Crady(1971),Dalton, Maute, Hikichi和Izumi(2008),Wakata和Saito(2014)。这些研究中的许多使用SD方法检验了每种感官模态的实际感知刺激,而非语言刺激。

4. 我们将这种基于评分的常规性分析归功于一位匿名审稿人。

5. 由于某些SD量表的相关形容词在Warriner, Kuperman和Brysbaert(2013)的文献中不存在,或者以[形容词-非形容词]的形式出现(例如,红色-非红色),因此无法计算其价态对比值。平均价态对比值是使用七个具有情感负荷的量表中的六个和十四个相对情感中立的量表中的五个(这些量表有有效的价态数据)计算得出的。

6. 由于味觉量表(除了坏-好量表)采用[形容词-非形容词]的形式,因此无法用价态对比值来建模它们。

附录

图A1:在图查看器中打开(PowerPoint)

图A2:在图查看器中打开(PowerPoint)

图A3:在图查看器中打开(PowerPoint)

图A4:在图查看器中打开(PowerPoint)

图A5:在图查看器中打开(PowerPoint)

数据可用性声明

所有刺激、数据和R脚本都可在研究的OSF仓库(https://osf.io/fbqs4/)上找到。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号