Cerebral Cortex:感知视觉对象靠什么?这个研究为你刨根问底

脑科学新闻2011.1.15我想分享

在观察遥远而模糊的东西时,声音可以帮助我们更好地感知。 Talia Brandman和他的团队使用脑磁图(MEG)来证明物体的自然声音(例如,邻近)和语义(例如马)可以帮助视觉对象。

Hecenterforvision.com

在日常生活中,我们依靠传感器收集信息来感知我们周围的事物。行为研究表明,在各种任务中,听觉信息会影响我们对视觉对象的感知,包括视觉对象的感知,识别,分类和视觉搜索(Chen and Spence 2011; 2018; Edmiston和Lupyan 2015; Iordanescu等2010) ; Kim和其他人2014年; Vallet和其他人2013年; Weatherford和其他人2015年)。

理论上,听觉信息有两种方法可以帮助获得视觉感知:

一个是语义路径,例如听到邻居,翻译和转换为语义表示,然后将其处理成视觉对象;

路线很简单,声音会自动激活视觉皮层中与声音相关的对象表示,绕过语义标注。

直接视觉 - 音频映射允许视觉对象和声音在大脑中共存。例如,当我们听到马的电话时,我们可能已经看过(或期望看到)一匹马。另一方面,单词不一定与真实的视觉对象同时出现。例如,如果您听到马这个词,我们不一定会看到马。 (图1A)

图1

电生理学研究表明,在80毫秒的视觉触发后,视觉信号反映在头皮的多变量反应模式中(Carlson等2013; Cichy等2014)。

其他研究表明,在300毫秒的视觉触发后,视觉对象的感知不仅取决于前馈视觉对象信息,还取决于外部背景场景(Brandman和Peelen 2017)。

该实验遵循先前的研究方法,并使用MEG信号来测量感知模糊图像信息的时间。然后,视听组合测试对象声音和单词对视觉对象感知的影响。

该实验假设如果对象的自然声音直接激活大脑中对象的表示,绕过语义注释,则对象声音比语义对象更早被感知;或者对象的自然声音由语义路径引导,然后是对象声音和语义对比视觉对象。感知到的影响是相同的。

在这项研究中,提出了两个假设模型:

物体声音有助于比直接映射的单词更快地感知视觉对象,并且用红线表示对象声音解码精度;

或者声音和单词具有相同的速度来感知视觉对象,对应于间接路线,并且自然语音解码精度用蓝线标记。 (图2)

图2

实验设计

在图3A中,上半部分示出了在视听实验中具有声音的生物和无生命模糊(模糊)物体的图像;下半部分显示生命和无生命的清晰度(高分辨率)图像,没有声音。 (Kokle和Oliva 2012);在图3B中,使用相同尺寸的物体声音,口语和噪声以及灰色矩形作为实验材料。分类器通过训练和解码分析MEG传感器上的无生命和无生命物体的图像,并最终计算四个变量的每个时间点的数据的平均值。

图3

实验结果

时间矩阵呈现从视觉触发到600ms时间间隔点的视觉信息解码结果。当对象对具有活物体且没有声音的图像进行交叉解码时,感知精度在200毫秒左右达到峰值(图4A)。

对生物体的图像进行随机交叉解码,模糊并匹配声音图片,取受试者之间数据的平均值(黑色轮廓,威胁自由聚类增强TFCE 1尾片数据结果(图4B)。

对模糊图像的视觉可听提示(对象声音或单词)的解码明显优于噪声(配对; TFCE 1尾p <0.05)随机交叉解码。与噪声相比,对象噪声(左)和单词(右)显着影响感知对象表示的准确性。 (图4C)

图4

对象声音与影响对象表示感知的单词之间的时间相关性

在所有时间点和在所有时间点解码视听实验(包括噪音)。

数据显示,在450-510ms的多个受试者之后,在视觉触发之后,对象声音比单词感知模糊图像(配对; TFCE 2尾p <0.05)和300更准确。在-410ms之间的多次,单词比对象声音感知更准确(配对; TFCE 2-tail p <0.05)。

这表明对象声音和单词在不同时间段促进了虚构对象表示的感知。特别是在重建生活视觉表示时,单词比对象声音更快。

声音如何影响不同时间点物体的感知?

参考图2的两个模型,最终的实验结果不支持假设模型,即对象声音比单词更快地感知对象。相反,单词有助于比对象声音更快地感知对象,因此前两个假设模型被拒绝。

那么这种差异可以通过语义表示的强度来调整吗?物体声音主要依赖于语义来帮助感知物体,因此一些模糊的声音会损害感知效果。基于此,进行了在线行为实验,并且需要在没有视觉输入的情况下感知MEG中使用的声音的新的一组受试者。根据从22个相对模糊的声音获得的MEG数据,与清晰声音下的图像感知相比,分析具有声音的模糊对象的交叉解码精度。

早期时间集群中的单词(~300-400 ms;图5A)不再明显优于清晰对象声音以帮助感知对象(配对; TFCE 2-tail p> 0.05),并且清晰的对象声音更好单词(配对; TFCE 2尾p <0.05)保留在稍后的时间簇(~400-500)中。

通过类似的训练和测试,随时间(±20 ms)提供解码精度(负概率:50%),以说明在图5b中,单词、物体声音和更清晰的物体声音促进物体感知。

物体的声音和清晰的声音在视觉开始后460ms处解码假想物体的峰值,明显优于单词(配对;tfce 2-tail p<;0.05)。在视觉开始后,单词对假想物体的解码峰值为350毫秒,这明显优于使用物体声音和清晰物体声音。此外,对目标声音清晰的模糊物体的解码在视觉开始后390 ms处似乎显示出一个新的峰值,接近“峰值”这个词的时间。

0×2523个

图5

综上所述,实验结果表明,物体的声音和文字通过语义路径提供了证据,有助于物体的形象化表达。听觉输入激活语义表示,促进对象的视觉对象感知处理。

Talia Brandman、Chiara Avancini、Olga Leticevscaia、Marius V Peelen、听觉和语义提示有助于解码MEG、大脑皮层、BHZ110、结构和功能中的视觉对象类别。doi: 10.1007/s-019--7

作者信息

阅读前一篇文章

0×2524个

收集报告投诉

在观察遥远而模糊的东西时,声音可以帮助我们更好地感知。 Talia Brandman和他的团队使用脑磁图(MEG)来证明物体的自然声音(例如,邻近)和语义(例如马)可以帮助视觉对象。

Hecenterforvision.com

在日常生活中,我们依靠传感器收集信息来感知我们周围的事物。行为研究表明,在各种任务中,听觉信息会影响我们对视觉对象的感知,包括视觉对象的感知,识别,分类和视觉搜索(Chen and Spence 2011; 2018; Edmiston和Lupyan 2015; Iordanescu等2010) ; Kim和其他人2014年; Vallet和其他人2013年; Weatherford和其他人2015年)。

理论上,听觉信息有两种方法可以帮助获得视觉感知:

一个是语义路径,例如听到邻居,翻译和转换为语义表示,然后将其处理成视觉对象;

路线很简单,声音会自动激活视觉皮层中与声音相关的对象表示,绕过语义标注。

直接视觉 - 音频映射允许视觉对象和声音在大脑中共存。例如,当我们听到马的电话时,我们可能已经看过(或期望看到)一匹马。另一方面,单词不一定与真实的视觉对象同时出现。例如,如果您听到马这个词,我们不一定会看到马。 (图1A)

图1

电生理学研究表明,在80毫秒的视觉触发后,视觉信号反映在头皮的多变量反应模式中(Carlson等2013; Cichy等2014)。

其他研究表明,在300毫秒的视觉触发后,视觉对象的感知不仅取决于前馈视觉对象信息,还取决于外部背景场景(Brandman和Peelen 2017)。

该实验遵循先前的研究方法,并使用MEG信号来测量感知模糊图像信息的时间。然后,视听组合测试对象声音和单词对视觉对象感知的影响。

该实验假设如果对象的自然声音直接激活大脑中对象的表示,绕过语义注释,则对象声音比语义对象更早被感知;或者对象的自然声音由语义路径引导,然后是对象声音和语义对比视觉对象。感知到的影响是相同的。

在这项研究中,提出了两个假设模型:

物体声音有助于比直接映射的单词更快地感知视觉对象,并且用红线表示对象声音解码精度;

或者声音和单词具有相同的速度来感知视觉对象,对应于间接路线,并且自然语音解码精度用蓝线标记。 (图2)

图2

实验设计

在图3A中,上半部分示出了在视听实验中具有声音的生物和无生命模糊(模糊)物体的图像;下半部分显示生命和无生命的清晰度(高分辨率)图像,没有声音。 (Kokle和Oliva 2012);在图3B中,使用相同尺寸的物体声音,口语和噪声以及灰色矩形作为实验材料。分类器通过训练和解码分析MEG传感器上的无生命和无生命物体的图像,并最终计算四个变量的每个时间点的数据的平均值。

图3

实验结果

时间矩阵呈现从视觉触发到600ms时间间隔点的视觉信息解码结果。当对象对具有活物体且没有声音的图像进行交叉解码时,感知精度在200毫秒左右达到峰值(图4A)。

对生物体的图像进行随机交叉解码,模糊并匹配声音图片,取受试者之间数据的平均值(黑色轮廓,威胁自由聚类增强TFCE 1尾片数据结果(图4B)。

对模糊图像的视觉可听提示(对象声音或单词)的解码明显优于噪声(配对; TFCE 1尾p <0.05)随机交叉解码。与噪声相比,对象噪声(左)和单词(右)显着影响感知对象表示的准确性。 (图4C)

图4

对象声音与影响对象表示感知的单词之间的时间相关性

在所有时间点和在所有时间点解码视听实验(包括噪音)。

数据显示,在450-510ms的多个受试者之后,在视觉触发之后,对象声音比单词感知模糊图像(配对; TFCE 2尾p <0.05)和300更准确。在-410ms之间的多次,单词比对象声音感知更准确(配对; TFCE 2-tail p <0.05)。

这表明对象声音和单词在不同时间段促进了虚构对象表示的感知。特别是在重建生活视觉表示时,单词比对象声音更快。

声音如何影响不同时间点物体的感知?

参考图2的两个模型,最终的实验结果不支持假设模型,即对象声音比单词更快地感知对象。相反,单词有助于比对象声音更快地感知对象,因此前两个假设模型被拒绝。

那么这种差异可以通过语义表示的强度来调整吗?物体声音主要依赖于语义来帮助感知物体,因此一些模糊的声音会损害感知效果。基于此,进行了在线行为实验,并且需要在没有视觉输入的情况下感知MEG中使用的声音的新的一组受试者。根据从22个相对模糊的声音获得的MEG数据,与清晰声音下的图像感知相比,分析具有声音的模糊对象的交叉解码精度。

早期时间集群中的单词(~300-400 ms;图5A)不再明显优于清晰对象声音以帮助感知对象(配对; TFCE 2-tail p> 0.05),并且清晰的对象声音更好单词(配对; TFCE 2尾p <0.05)保留在稍后的时间簇(~400-500)中。

通过类似的训练和测试,随着时间(±20ms)提供解码准确度(减去机会:50%)以说明在图5B中,单词,对象声音和更清晰的对象声音促进对象感知。

物体声音和清晰声音解码视觉开始后460ms处达到峰值的假想物体,明显优于单词(配对; TFCE 2尾部p <0.05)。在视觉开始之后,单词对虚拟对象的解码在350毫秒处达到峰值,这明显优于使用对象声音和清晰的对象声音。此外,具有清晰物体声音的模糊物体的解码似乎在视觉开始后390ms处显示出新的峰值,更接近于峰值时间。

图5

总之,实验结果表明,对象声音和单词通过语义路径提供证据,以帮助可视化对象表示。听觉输入激活语义表示并促进对象的视觉对象感知处理。

Talia Brandman,Chiara Avancini,Olga Leticevscaia,Marius V Peelen,听觉和语义线索促进了MEG,大脑皮层,bhz110,结构和功能中视觉对象类别的解码。 doi: 10.1007/s-019--7

作者信息

阅读上一篇文章

http://www.whgcjx.com/bdsO/pDgI