认知科学

当音乐可以触摸

作者神经现实2023年1月9日82

伊芙琳·格兰妮从十二岁开始学打击乐，那时的她已经因为神经退化而丧失了大部分听力。她的打击乐老师通过用力敲定音鼓让鼓声发出回响，然后通过回响声来进一步考虑怎么利用鼓的震动。“他让我把手放在琴房的墙上。”不久前，在英国的家中，格兰妮在接受访时说道。她可以感受到击鼓带来的振动，虽然感受不到鼓声，但是她也可以感受到鼓声回响带来的振动。“感受的那个过程真的让整个肢体都慢下来了，因为我全部的注意力都放在声音的轨迹上。”她解释道。“整个身体都在留意声音。此后，这种过程改变了我的一切。它改变了我对触觉的敏感度。”格兰妮用这种触摸的方式学会了分辨不同音符的音高*，并且最终成为了一位颇具盛名的定音鼓独奏者。

*译者注

定音鼓组中的每一个鼓都会发出固定音高的响声。

对于成千上万的听障人士来说，格兰妮精湛的振动敏感度和极高的作曲天赋，是他们和音乐之间关系的一种象征。许多听障人士通过触摸、观看和身体的摇摆^[1]来在音乐会上或者家里享受音乐。他们中的一小部分人，比如格兰妮，成为了专业的演奏者或者歌唱家。但是，随着科学家们对我们的身体和大脑如何处理振动了解得更多，他们产出了大量研究结果来帮助听障人士欣赏音乐复杂性和情感表现力，无论是作为听众，还是作为演奏者。在这个过程中，他们也同样能发现音乐是怎样流连于我们之间来产生情感共鸣的。

当特定频率（一般情况下，人耳可听声音的频率是20—20,000赫兹，但随着年龄增长，这个范围会越来越小）的振动通过空气传播并被耳蜗（内耳中的蜗牛状器官）中的听觉细胞接受时，听力良好的人可以听到乐音和其他声响。然而，人们也可以通过触觉来“听”音乐。人们其实可以通过皮肤上的气压来感受声波。声波也可以通过固体传播，比如吉他琴箱的面板或者舞台的地板，因此，人们可以用双手、身体或者双脚来接收音乐。骨膜^[2]和内腔壁（比如肺壁和胸膜壁）^[3][4]也同样可以感受声音的振动。

一直以来，听障人士听音乐的传统都借助了触觉接收振动的优势，这种方式被称作“触振感知”。许多听障人士都攫着气球去音乐会，这样他们就能通过薄橡胶膜更好地感受声音的震动了。其中，格兰妮就因为赤脚演奏而著称，因为这样她能更好地通过舞台的震动来感受乐音的振动。据说，贝多芬失聪后也用小木棍为自己造了一个助听设备：他用牙齿咬住一端，并让另一端触在钢琴上，由此来接收音乐带来的振动。

多亏了大脑构造和后天练习的结合，许多先天性失聪的人似乎发展出了比常人更敏感的触觉^[5]。并且，这种超乎常人的触觉会通过很多方式表现出来。神经科学家和音乐家弗兰克·鲁索正在探究大脑电信号是如何跟踪人们通过触振知觉感受到的节奏，并且，他的初步实验数据证明了失聪人士和有听觉人士之间的差异。“截至目前，我们已经发现了失聪人士的大脑在感受节奏的能力上比普通人的大脑更胜一筹。”鲁索这样说道。鲁索目前于多伦多城市大学研究音乐认知、听力、和听觉。

身体电信号：伊芙琳·格兰妮在她的打击乐工作室中握着一组三角铁。作为听障音乐家和演奏者，格兰妮向世界证明了声音的感知是一个全身参与的体验。

—

Photo by Andy McCreeth

在失聪人士的大脑中，用于处理声音的那部分结构通常会被用作他途。如果不需要对声音信号的流入进行解码，听觉皮层会自我重组来接收来自其他感知系统的信号，比如触觉和视觉^[3]。一般情况下，大脑的每一个部分最终都会以这样或那样的方式被利用起来，卡罗琳娜·芬克这样说道。她是就职于尼古拉斯·哥白尼大学的一名认知科学家。芬克在2020年发表的研究中提到，先天性或早年失聪之人的脑回路会重新调整以适应听力的丧失^[6]。不同的神经网络必须学会用新方式来交换信息，她解释道。比如，他们发现有关注意力和解决问题能力的神经网络和协调运动反应、视觉系统和记忆的神经网络之间有了更强的关联。“整个大脑都需要调整。”芬克说道。

考虑到每一位听障人士接触音乐的经历各自不同，更何况每一个大脑都是如此不同，因此，触振知觉能以何种方式、又以何种程度弥补听力的缺失也因人而异。然而，无论是哪种方式，通过触觉传递的振动提供了大量的音乐细节，而这也正是研究者们如今正在量化的。

在历史上，近代研究感官知觉的神经科学家们，曾只专注于听觉和视觉系统的研究。触振知觉并没有得到充分的研究，马里奥·普尔萨这样说道，这位神经科学家目前于弗里堡大学研究大脑如何协调运动和一些其他主题。“我们某种程度上忽略了对振动的感知。”他说道。在2016年和2017年，那时候普尔萨还是一名就职于日内瓦大学丹尼尔·胡贝实验室的博士后，他当时在研究如何增强意识对于义肢的控制。为了训练小鼠激活它们运动皮层（调控动作的关键区域）中的特定神经元，他尝试以触感振动的形式给它们反馈^[7]。

当记录这些结果的时候，普尔萨偶然发现了体感皮层内神经元的惊人表现：不同的神经元组反应最强烈的振动频率是不同的。于是，他一头埋进科学文献中，试图寻找前人发现过此类神经元表现的研究记录，然后惊讶地发现他自己竟然是第一人。因此，他和日内瓦大学的其他同事们决定做点实验。当他们通过一个金属棒传递不同频率和强度的振动给人类的指尖^[8]和小鼠的前肢^[9]时，他们确认了不同的频率会激发不同神经元组的反应。

这真的是个超级大发现，因为人类的听觉系统^[10]也以同样的方式运作^[11]。事实上，听觉系统和触觉系统在许多有趣的方式上有相通之处。就算是有听力的人，触振知觉输入的信号也可以被听觉皮层捕捉^[12]，并且，当同时或交替接收时，大脑有可能会混淆触觉和听觉刺激^[4]。在听力良好的人中，声音的输入可以改变他们对一个物体的触觉认知，比如羊皮包装纸摸起来是粗糙还是顺滑^[13]。对于听觉和触觉而言，感知振动的机制基本一致：叫作“力感受器”的感知神经（存在于耳蜗乃至全身）参与进对压力变化的反应，引发传到大脑的神经冲动^[4]。许多生物，比如一部分昆虫和啮齿动物，仍然主要依靠振动交流。一些神经科学家们甚至提出，更高级动物的听觉是从触振感知演化而来的。

在过去的一二十年中，工程师们造出过一系列振动可穿戴设备和装置，以帮助听障人士感受更多音乐的细节，包括但不限于：夹克、手套、为听众而设计的腕带以及为音乐家们而设计的鼓凳和鼓台^[14]。其中有一件由“并非不可能”实验室（Not Impossible Labs）”设计的穿戴设备最近正在拉斯维加斯的一场音乐会中进行测试，这款产品看起来有点像马具或背包。“并非不可能”实验室是一家专注于研发开源医疗保健科技的公司。该产品由一系列无线传感器组成——为放大或传递不同频率的振动而设计——绑在人的后背、肩膀、腰部、以及手腕脚踝上使用。

不过，现存助听器械仍然相对粗糙，而且也只能传导重低音和节拍。格兰妮，作为曾经试过振动鼓台、鼓凳和腕带的使用者，坦言道，她很担心这类设备可能会压缩音乐的触觉体验。科学家们只是刚开始理解如何通过触觉准确地捕捉并传导音乐的复杂性、深度和情感表现力；而关于如何将排山倒海式的人声、贝斯低沉的重音和吉他富有金属质感的重复段*转换成频率和强度的复杂组合，又如何被人们准确细致地感受到，这也是仍在初始阶段的课题。

*译者注

重复段：爵士乐或流行音乐中反复出现的一小段旋律，常常作为引子或结尾出现。

“如果我们能通过科技最优化对振动的利用，以改进听障或失聪人士的音乐体验，那为什么不这么做呢？”鲁索这样问道。“现在正是这个新兴领域的春天。”

当利物浦大学的音乐振动课题组（该课题组提供可以将音乐转化为振动的装置）把他们的技术送给失聪饶舌歌手闪基德（SignKid），他立刻发现这对他跟上节拍有很大帮助。研究者们把他的一首作品录入装置，该装置就把音轨里的贝斯、吉他、大鼓和小军鼓转化成振动。闪基德光着脚在两个抖动器中——他通过脚后跟和前脚掌来感受顶上由放着圆盘的红白双色小罐产生的振动。“我喜欢这个装置。”他跟音乐振动课题组的人说，“它可以被用在我的作品里。”课题组借给他了这个装置，他随后在自己2019年的新专辑《视觉体验》的制作中用上了。

触感振动的一部分音乐特征是显而易见的：他们可以有效地传播节奏。鲁索根据EEG结果的分析证明了，无论节奏是通过听觉还是触觉传导的，脑内信号都随节拍而变^[15]。这一表现模式在更放克式的节奏中却不那么明显，由于放克式音乐的节奏通常具有不平均的时间间隔，他说道。然而，触觉可以传导的音乐细节远不止此。在触振感知系统中，人们将以压力强度的方式感受音量（声波振幅在听觉系统中的感知方式）。频率则在两种感知方式中都表现为音高^[16]。

然而，我们对于振动的改变没有对声音的改变那样敏感，这使得我们对音高的感受更为困难。根据卡尔·霍普金斯（音乐振动课题组的牵头人）的研究，即使在接受过训练后，无论是听障还是有听觉的人士，想要通过振动来分辨差不多的音符，比如Dol和升Dol，都是很困难的^[17]。不过，我们的身体也能通过触觉探测到一段旋律中音高的大起大落。我们也可以通过触振感知来分辨乐器或者人声中的一部分音符，尽管能分辨的音域范围窄于通过直接用耳朵听到的声音^[18]。

我们的耳朵对2000—5000赫兹的频率最敏感^[19]，然而触振感知系统最敏感的频率范围确是5—1000赫兹^[16]。（作为参考，男低音的频率范围一般是75—100赫兹。）这意味着，比如，触振感知系统接收不到——或者无法准确接收——很多耳朵能接收到的高音。但是，这也意味着，就算听不到很多低音。实际上我们也能感受到。

通过振动，人们也能分辨音色的不同。“就算是两台钢琴也音色不同。”鲁索说道。“它们可能都发出了还原中央C的声音，但是三角钢琴发出的声音比立式钢琴的声音更亮。”只是通过触碰振动装置，无论是普通人还是听障人士都展示出了可以分辨大提琴、钢琴和长号乐音的能力，与此同时他们也都能分辨暗淡和透亮的音色^[4]。”

普尔萨和他的合作者们正在研究某些组合频率是否对于触振系统来说比另外一些组合更加“动听”。对于触振听众来说，有没有什么八度和弦之类的和谐音程？”普尔萨对此感到好奇，“或者不和谐音程呢？”他和他的合作者们通过旋律小实验来开始探究这个问题：测试听障和普通人士通过触摸振动来分辨简单旋律，比如《生日快乐歌》的难易度。将声音转化为可触摸的振动是不尽如人意的科学，因为能通过触摸感知到的频率比可听频率范围要更窄、也更低。并且，因为很难区分紧挨着的音调，研究者们在这个过程中不得不改掉几个音符。普尔萨想要研究这些改动，特别是两个不同频率之间的空隙，如何影响人们分辨旋律的能力。该研究的结果仍未发表。

研究者们也倾向于搞清楚音乐中有多少情感表现力能通过触振感知传达。“通过振动，你能在相当可观的程度上理解歌声中的情绪。”鲁索说道，“你能感受到某人声音中的疲倦或气话中的决心。”对于格兰妮来说，低频振动能传达最多的情绪，而高频振动则有所欠缺。来自马拉加大学的拜伦·雷马切-比努埃萨用不同的表达来形容可触振动能传达的感情范畴：对于音乐来说，把声音转化为振动就好比吃最爱的妈妈做的菜，不过是打成糊再吃下去的。这就不能是相通的情感体验。不过，用无声的纯振动制作音乐的想法让他无比兴奋——或许可以用只发出振动的特殊乐器或者电子合成器做出来。

有关于将现有音乐转化为振动的这个课题，另一大难题是将组成音乐的各种不同声音区分开。许多现有技术只能将已经分好音轨的音乐处理成振动，来自于南安普顿大学的声音与振动研究院的马克·弗莱彻说。但是，把音乐的每个组成部分分开可是很不容易的，他说道。就算是最先进的解码算法也很难完美诠释被低沉强烈的振动遮盖的其他声音，并且，多种乐器合奏的形式可能会在歌曲的不同节点占据上风。如果没有稳定方式分离不同声部并编译成平衡的振动信号，从这些转化系统里编出来的振动会缺乏“让音乐成为音乐的”细节。

经过长年累月的研究，霍普金斯通过他团队的系统观察过很多听障被试，这些被试用手或脚来感受振动。他们中的一些人对和音乐交互的方式有明显偏好。比如格兰妮，她就非常珍惜自己能用身体感受到的、振动的复杂性。不同的乐器和环境都会带来不同的振动。她也很高兴的看到该研究课题仍在继续，因此更多不同的人都能有机会来试试这些技术。

不少失聪人士陶醉于这种用触振器械演奏出来的音乐。其中一位参与者告诉霍普金斯，她从来没有意识到过钢琴的黑键和白键竟然还有差别。还有，当研究团队把他们的振动系统给了一所聋哑人学校后，老师们说，学生们对音乐课展现出来前所未有的参与度。“孩子们真的很喜欢它。”霍普金斯说。一个小男孩总是在课间的时候跑过来，敲门问，“我能再弹一次吗？”

参考文献

1.Holmes, J.A. Expert listening beyond the limits of hearing: Music and deafness. Journal of the American Musicological Society 70, 171–220 (2017).
2.Rowe, M., Tracey, D., Mahns, D., Sahai, V. & Ivanusic, J. Mechanosensory perception: Are there contributions from bone-associated receptors? Clinical and Experimental Pharmacology and Physiology 32, 100-108 (2005).
3.Tranchant P., et al. Feeling the beat: Bouncing synchronization to vibrotactile music in hearing and early deaf people. Frontiers in Neuroscience 11 (2017).
4.Russo, F.A., Ammirante, P., & Fels, D.I. Vibrotactile discrimination of musical timbre. Journal of Experimental Psychology: Human Perception and Performance 38, 822-826 (2012).
5.Levänen, S. & Hamdorf, D. Feeling vibrations: Enhanced tactile sensitivity in congenitally deaf humans. Neuroscience Letters 301, 75-77 (2001).
6.Bonna, K. Early deafness leads to re-shaping of functional connectivity beyond the auditory cortex. Brain Imaging and Behavior 15, 1469-1482 (2021).
7.Prsa, M., Galiñanes, G.L., & Huber, D. Rapid integration of artificial sensory feedback during operant conditioning of motor cortex neurons. Neuron 93, 929-939.e6 (2017).
8.Prsa, M., Kilicel, D., Nourizonoz, A., Lee, K.-S., & Huber, D. A common computational principle for vibrotactile pitch perception in mouse and human. Nature Communications 12, 5336 (2021).
9.Prsa, M., Morandell, K., Cuenu, G., & Huber, D. Feature-selective encoding of substrate vibrations in the forelimb somatosensory cortex. Nature 567, 384-388 (2019).
10.Humphries, C., Liebenthal, E., & Binder, J.R. Tonotopic organization of human auditory cortex. Neuroimage 50, 1202-1211 (2010).
11.Barbour, D.L. Intensity-invariant coding in the auditory system. Neuroscience & Biobehavioral Reviews 35, 2064-2072 (2011).
12.Caetano, G. & Jousmäki, V. Evidence of vibrotactile input to human auditory cortex. Neuroimage 29, 15-28 (2006).
13.Auer, E.T. Jr, Bernstein, L.E., Sungkarat, W., & Singh, M. Vibrotactile activation of the auditory cortices in deaf versus hearing adults. Neuroreport 18, 645-648 (2007).
14.Remache-Vinueza, B., Trujillo-Léon, A., Zapata, M., Sarmiento-Ortiz, F., & Vidal-Verdú, F. Audio-tactile rendering: A review on technology and methods to convey musical information through the sense of touch. Sensors 21, 6575 (2021).
15.Gilmore, S.A. & Russo, F.A. Neural and behavioral evidence for vibrotactile beat perception and bimodal enhancement. Journal of Cognitive Neuroscience 33, 635-650 (2021).
16.Mahns, D.A., Perkins, N.M., Sahai, V., Robinson, L., & Rowe, M.J. Vibrotactile frequency discrimination in human hairy skin. Journal of Neurophysiology 95, 1442-1450 (2006).
17.Hopkins, C., Maté-Cid, S., Fulford, R., Seiffert, G., & Ginsborg, J. Perception and learning of relative pitch by musicians using the vibrotactile mode. Musicae Scientae 1-24 (2021).
18.Hopkins, C., Maté-Cid, S., Fulford, R., Seiffert, G., & Ginsborg, J. Vibrotactile presentation of musical notes to the glabrous skin for adults with normal hearing or a hearing impairment: Thresholds, dynamic range and high-frequency perception. PLoS One 11, e0155807 (2016).
19.Kirsten, L., et al. Endoscopic optical coherence tomography with wide field-of-view for the morphological and functional assessment of the human tympanic membrane. Journal of Biomedical Optics 24, 031017 (2018).