声音可以改变我们的视觉感知
感知通常感觉毫不费力。如果你听到一只鸟在鸣叫并看向窗外,当你认出窗台上那只叽叽喳喳的小动物是一只鸟时,你几乎感觉不到你的大脑做了任何事情。
事实上,心理科学的研究表明,这类音频提示不仅可以帮助我们更快地识别物体,甚至可以改变我们的视觉感知。也就是说,将鸟鸣与一只鸟配对,我们看到了一只鸟——但是用松鼠的喋喋不休代替那只鸟鸣,我们不太确定我们在看什么。
“你的大脑花费了大量的能量来处理世界上的感官信息,并给你一种完整和无缝感知的感觉,”主要作者 Jamal R. Williams(加州大学圣地亚哥分校)在接受采访时说。“它做到这一点的一种方法是推断应该预期什么样的信息。”
Williams 说,虽然这些“有根据的猜测”可以帮助我们更快地处理信息,但当我们听到的与我们期望看到的不符时,它们也会让我们误入歧途,Williams 与 Yuri A 一起进行了这项研究。 Markov、Natalia A. Tiurina(洛桑联邦理工学院)和 Viola S. Störmer(加州大学圣地亚哥分校和达特茅斯学院)。
“即使人们对自己的感知充满信心,声音也会可靠地改变他们,使他们远离所显示的真实视觉特征,”威廉姆斯说。
在他们的第一个实验中,Williams 和他的同事向 40 名参与者展示了描绘两个物体处于相互变形的不同阶段的图形,例如一只鸟变成一架飞机。在这个视觉辨别阶段,研究人员还播放了两种声音中的一种:相关的声音(在鸟/飞机的例子中,鸟鸣或飞机的嗡嗡声)或不相关的声音,如锤子敲钉子的声音。
然后要求参与者回忆他们看到的物体变形的哪个阶段。为了显示他们回忆的内容,他们使用了一个滑动比例尺,在上面的例子中,使物体看起来更像鸟或更像飞机。参与者被发现在听到相关(相对于不相关)声音时更快地选择对象变形,并改变他们的对象变形选择以更接近地匹配他们听到的相关声音。
“当声音与相关的视觉特征相关时,与声音与视觉特征无关时相比,这些视觉特征会被优先处理和处理得更快。所以,如果你听到鸟鸣声,任何类似鸟的东西都会被优先访问视觉感知,”威廉姆斯解释道。“我们发现这种优先排序并不是纯粹的促进,你对视觉对象的感知实际上比你听到飞机从头顶飞过的声音更像鸟。”
在他们的第二个实验中,Williams 和他的同事探讨了这种效应是否特定于知觉处理的视觉辨别阶段,或者,声音是否可能通过影响我们的决策过程来塑造视觉知觉。为此,研究人员向 105 名参与者展示了相同的任务,但这次他们在对象变形出现在屏幕上时或参与者在原始图像消失后进行对象变形选择时播放声音。
与第一个实验一样,当参与者在观看物体变形时播放声音时,发现音频输入会影响参与者的速度和准确性,但当他们报告看到的物体变形时播放声音时,音频输入没有影响。
最后,在有 40 名参与者的第三个实验中,Williams 和他的同事在显示对象变形之前播放了声音。这里的目标是测试音频输入是否会通过引发人们更多地关注某些物体来影响视觉感知。这也被发现对参与者的对象变形选择没有影响。
研究人员得出结论,这些研究结果表明,只有当音频和视觉输入同时发生时,声音才会改变视觉感知。
“这个识别世界上物体的过程感觉起来毫不费力且快速,但实际上这是一个计算量非常大的过程,”威廉姆斯说。“为了减轻这种负担,你的大脑将评估来自其他感官的信息。” Williams 和他的同事希望通过探索声音如何影响我们定位物体的能力、视觉输入如何影响我们对声音的感知以及视听整合是天生的还是后天习得的过程来巩固这些发现。