■方惠
　　【本文提要】本文聚焦数据新闻领域的创新实践——数据可听化，在梳理其历史脉络的基础上，着重探讨近几年来在新闻实践中的运用。研究认为，数据可听化不同于传统报道，音符间的节奏感、诗意和美学等元素被突出，并最终诉诸新闻内容的感受力。这种新闻创新也毫无疑问带来关于新闻本质的追问。可听化的独特价值在于情感唤起，尤其还适用于科学领域的新闻选题，但仍然需要克服乐理理解和参数映射上的困境。
　　【关键词】数据 可听化 参数映射 时间序列
　　【中图分类号】G210
　　
一、研究背景
　　在2019年新版《数据新闻概论》一书中，“数据新闻”的概念及其特征得到了小小的修正，在“以可视化作为其主要的呈现方式”之外，补充说明“需要注意的是，数据可视化不是数据新闻唯一的呈现方式，不要简单地在这两个概念之间画等号”（方洁，2019）。一直以来，虽然“数据新闻”的定义中并没有对新闻的呈现形式作具体限定，但是在已有的新闻实践中，图表和数据等可视化元素被视为数据新闻的标准形式。全球各地的新闻编辑室都致力于开发最为灵敏和有震撼力的可视化工具和技术，以至于数据新闻几乎成为数据可视化的同义词。如果数据新闻不采用可视化的方式，还能以何种方式展现给用户呢？
　　另一方面，在传统广播时代，有限的时间和有限的感知维度都要求音频新闻必须巧妙地表达数据，将复杂数据转化为易于理解的故事。比如使用案例来简化数据趋势、采用排名的方式将数据有形化以便听众理解，或者将数据列表作为附加内容，以便听众通过其他渠道获取相关信息。如果不使用语言口头播报数据，还能以什么方式来和听众分享新闻中的数据呢？
　　作为数据新闻实务中的前沿创新，数据可听化（data sonification）以全新的方式拓宽了数据新闻的呈现形式。正如著名数据新闻记者西蒙·罗杰斯（Simon Rogers）所说，我们总是在寻找新的方式将数据可视化，声音开启了一个新的可能性局面。我们能做的便是去想象数据新闻还能如何创新以及如何支持这种创新（Rogers， 2019；Gambini， 2019）。鉴于国内的新闻实务中对此涉猎较少，本文尝试对“数据可听化”的历史作简要回顾，并将之放置在新闻业的视野之中加以考察，探讨其对于新闻创新实践的意义。
　　
二、数据可听化的历史与理念
　　作为一个新兴的交叉领域，可听化的历史并不算久远，但是使用声音传达信息的理念却于古有征。有学者（Worrall，2018）将其追溯到公元前3500年美索不达米亚文明的粮食审计记录中。由于长时间比对两份书面记录很容易出错，审计师采用了“声音”（soundness）比对的方式，即在法老王面前轮流吟诵进出仓库的谷物记录。这一习惯直到12世纪的英格兰还在延续（翁，2002/2008：91），足见文艺复兴前的口语社会中听觉在促进理解上的重要性。更为确切的数据可听化的观念，在1666年英国作家塞缪尔·佩皮斯（Samuel Pepys）的日记中也有提及，佩皮斯的朋友、科学家胡克（Robert Hooke）告诉他，任何音乐的产生都需要一定数量的振动，他能够根据苍蝇在飞行中发出的嗡嗡声的音调，来判断苍蝇的振翅频率（Schedel， 2014）。今天，科学界已经能够通过昆虫的振翅频率来控制疟疾等疾病。数据可听化最为知名的案例要数20世纪初盖革计数器的发明，这种装置由最初的肉眼监测电离辐射强度优化为使用听觉自动计数辐射粒子，每检测到一个粒子，装置就会发出“咔哒”的声音，从而大大提高探测效率。近几十年来，数据可听化的技术开始被跨学科地使用，尤其在生物医学和地质科学等领域中（Romans， 2007）。其应用包括了声纳、听觉温度计以及医疗和驾驶舱中的听觉显示器、脉搏血氧计等。
　　学理上，对“可听化”最为精简的定义，指的是用非言语的声音传递信息，具体来说，是将数据关系转换为声音信号中的感知关系，以促进其传播或解释（Kramer et al.， 1999）。这一概念清晰界定了可听化的目标，从而将其与自然声音、音乐创作等区别开来。类似的定义还有“寻求把数据或信息之间的关系转化为声音，利用人类的听觉感知能力，使数据关系可以理解”（Walker & Nees， 2011：9）。Hermann（2008）对“可听化”做了更为具体的描述与限定，认为它有且只有在四种情况下具有适用性：（1）这种声音能够反映输入数据中的客观属性或关系；（2）（从数据到声音的）转化是系统性的，对于数据（以及可选择的交互）如何引起声音变化有一个精确的定义；（3）可听化是能够再现的：给定相同的数据和相同的交互（或触发），能够产生结构上相同的声音；（4）该系统可以有目的地使用不同的数据，也可以重复使用相同的数据。从这些界定中不难看出，可听化所处理的对象本身就是能够被量化的信息，数据是可听化的题中应有之义。
　　作为数据可视化的听觉等价物，数据可听化何以特殊？Kramer等人（Kramer et al.，1999）研究发现，相比其他感知方式，听觉有两个独特的特征：第一，听觉对时间序列的数据变化尤其敏感，它能够区分周期和非周期性的事件，并可以来检测连续信号频率的微小变化；第二，对声音的感知并不引导听者朝向某个特定的方向，尤其当视觉注意力已经转移之时，听觉仍然能够持续跟踪。换言之，相比数据可视化，可听化的优势在于直观且感性地理解数据中的突出特征，并且能同时处理多个声音数据的输入问题。但很长时间内，数据可听化并没有获得足够的重视，究其原因，一方面是相比于听觉，视觉一直占据着更为主导的地位；另一方面，可听化在开发方面始终缺乏合适的工具（Kaper， Wiebel & Tipei，1999）。随着二十世纪下半叶控制论和认知科学的发展，通过数字手段准确重复声音合成的技术促进了计算音乐的诞生，新范式和新工具的诞生为数据可听化提供了充分条件（Worrall，2018）。
　　根据技术的迭代，数据可听化主要可以被分为四类（Hermann & Ritter， 2004）：最为古老且直接的方式听觉化（audification），指的是将统计数据映射到一系列的声压级，它们变成音频波形，比如脑电图和地震波。听觉化能够实现从数据到音频的直接转换，让听众对物理现象有直接的物理体验。第二种则是参数映射（parameter mapping），根据给定的参数，比如音长短、音高和振幅，通过叠加数据驱动的声音事件，生成参数映射发音。比如，2013年维基百科推出的Listen to Wikipedia 项目，利用了参数映射的方式在听觉上呈现了维基百科的实时更新（包括新用户、词条更新、编辑与删除等）。其中铃声表示内容增加，弦声表示内容减少，音高大小表示编辑内容的多少。第三种是听觉图标（auditory icons），即使用声音隐喻来编码抽象的符号信息，比如用碎纸机的声音隐喻电脑文件被删除。第四种则是基于模型的可听化（model-based sonification），即在数据和声音之间建立有原则的联系，由一个虚拟的声音系统和一套交互指令完成，使用参数化声音模型来创造听觉呈现。除此之外，根据采用声源的差异，更多的细分类别包括Sinification——将数据映射到正弦音调；MIDIfication，即使用乐器数字化接口（musical instrument digital interface，简称MIDI）音符，Musification——使用音阶与和弦，发声使用合成元音等（Bonet Filella， 2018：19）。
　　
三、可听化在数据新闻中的应用
　　可听化技术被运用于新闻报道始于2015年前后，这得益于独立新闻媒体WNYC、Reveal，以及《纽约时报》等媒体机构与从业者的推动。但作为探索阶段的产物，早期的数据可听化仍主要用于气候变暖、自然灾害等科学领域的相关议题。2017年，非营利性新闻组织Reveal举办了以感官新闻学与数据可听化艺术为主题的工作坊，邀请了艺术家、技术专家和记者共同探讨如何将数据转化为声音、作为讲故事的手段以吸引公众。目前数据可听化在新闻报道中的应用多采用的是参数映射方式，这种方式赋予了设计者较大的灵活性，并且在呈现高维数据上更有优势。
　　（一）时间序列的数据
　　数据可听化被视为尤其适用于时间序列或实时监测的数据（集）——和这些数据一样，可听化中声音的展示同样随着时间而线性展开，因而两者具有相同的序列特征，并且在压缩或延展时间内都易于被理解（Last，Usyskin， 2015：423；Ferguson， Martens & Carbrera， 2011）。以Reveal网站的报道《俄克拉荷马州的地震频率》为例，这篇新闻报道尝试回答的问题是为什么俄克拉荷马州的地震从过去的一年一两次到现在的一两天一次？整篇报道采用了对话互动的音频报道形式，围绕1分14秒的音频，通过数据展示、访谈等方式，以问题式的引导，呈现了地震活跃度的变化
　　情况。
　　这篇报道的创作者、Reveal网站高级数据编辑迈克尔·科里（Corey， 2015）详细解释了报道的生成过程：首先从北加州地震数据中心下载过去数十年间的地震数据，其中包括地震时间、震级、震源深度等信息，并对数据进行清洗和过滤，筛选掉震级低于三级的相关数据；将数据集映射到他们自制的软件MIDI中。科里强调，确定映射关系时，必须要思考自己想要表达什么。在这则报道中，他们希望以一种更有情感的方式向听众传达：俄克拉荷马州的地震从无到有，并且频繁而密集地发生着，甚至比加州还要多（Doucan，2019）。因而报道团队选择了时间和震级作为主要变量，其映射方式为：音符叮铃声代表每一次地震；震级越高，音调越低，音量越高。数据范围设定在2005-2015的十年间，每一年的数据在音乐呈现中持续5秒（10个节拍）。值得一提的是，创作者有意识地选择了较为沉郁的D小调，充分发挥了音调和情绪之间的关联；导出MIDI文件后，由声音工程师进行后期调整、增加混响等操作，并尽可能减少影响数据理解的混响操作；最终在平台上发布。由此呈现出来的音乐让听众以可感知的方式体验了地震活跃度的变化（急速上升），并为之震撼（图1　图1见本期第71页）。
　　此外，致力于推动能源领域报道的新闻合作行动Inside Energy于2016年推出的报道《听听美国煤炭产量的断崖式下跌》（Listen To U.S. Coal Production Fall Off A Cliff）、国际公共广播电台持续推进的项目《枪支暴力的死亡人数》（What does the death toll of gun violence sound like?）等均采用了可听化元素来呈现时间纵深的数据。
　　（二）空间序列的数据
　　相比之下，空间序列的可听化作品则相对较少。其中较为典型的是Reveal网站关于美墨边境墙的报道《墙》（The Wall）。这篇报道获得了2017年全美网络新闻奖作品“音频数字叙事卓越表现奖”。其难点、亦是其创新之处在于，将美国—墨西哥之间近2000英里的空间障碍以听觉的方式呈现出来。创作者们计算了边界的起点与每段围栏（包括行人围栏、车辆围栏和围栏间隙）边界的起点之间的距离，以及该段的长度，然后以每秒10英里的速度移动，将距离转化为时间。比如从边界起点20英里处开始的10英里长的围栏所代表的音符将在第2秒开始播放，并持续1秒钟（Briggs & Corey， 2017）。参数映射上，依然采用MIDITime工具，低音符代表了较高的行人围栏，较高音调的钢琴叮铃声代表较低的车辆围栏，轻快的键盘声则代表没有围栏的边界。在后期处理中，创作者使用了声道分离帮助听众区分行人围栏和车辆围栏。因而，在倾听这面墙时，实际上听众体验的是从西向东，在美国—墨西哥边境的低空飞行。
　　此外，创作团队还发起了#WallRapChallenge活动，以上述创作的音乐为曲调，邀请听众为其填词，并支持在Instagram、脸书或推特等社交网络上分享自己的嘻哈和说唱歌曲。整体看来，这篇报道充分调动了地图、文本、声音等多种媒介元素，协作完成并整体上提升了用户对美墨边境问题的地理感知。同时，邀请用户为旋律填词的方式能够与用户展开深层次的互动，通过填词内容探知用户对于边境墙的态度，从而将数据解释与个人表达结合在一起。
　　（三）可视化与可听化的交融
　　早期的数据可听化新闻报道常常以单一的听觉方式呈现，也导致一些问题。比如，较为主流的参数映射技术要求用户对音乐乐理有基本的了解，识别音符、音调所象征的意义，而听众并不一定具备这样的素养；其次，声音和数据之间的映射关系是被任意分配的，它们之间本身可能缺乏情感或认知上的关联（Hermann & Ritter， 2004）。因此，即使有报道辅助说明了其参数映射关系，但是单纯依靠听觉对于理解新闻内容来说，仍然存在难度。
　　另外一方面，采用可听化并不意味着抛弃已经较为成熟的可视化技术。事实上，越来越多的新闻从业者将可听化与可视化相结合，从而发挥更为强大的叙事力量。2019年澎湃新闻“美数课”栏目出品的新闻报道《53027条留言背后，网络树洞里绝望者的自救与互助》中，收集了因抑郁症自杀的网友“走饭”生前的所有微博文本并对其进行了文本情感分析，通过数据可听化技术制成了一段长达16分钟的可视化视频（图2　图2见本期第72页）。除了使用较为明快和低沉的音调表示情绪起伏之外，可视化元素能够帮助读者辨别音符所对应的文本内容和情绪状态。这种视听结合的“情感乐章”在丰富用户感官体验的同时，也在创造一种独特的情感体验，有助于读者以同理心去理解抑郁症患者以及为自杀倾向所困扰的群体。
　　除了搭配可视化技术营造多感官的叙事体验之外，可听化也被新闻报道用来克服二维图表和动态视频的弊端。《金融时报》在2019年推出的实验性作品《可听化：将收益率曲线转化为音乐》（Sonification: turning the yield curve into music）便是将1979-2019年四十年间的收益率曲线做成了动态视频（图3　图3见本期第72页），并采用了可听化工具WebMidi.js生成MIDI音符以标记收益率曲线变化过程中的关键节点，从而强化了视觉效果。
　　此外，端传媒2016年的报道《131年香港气温狂想曲》、奈特-莫兹拉（Knight-Mozilla）新闻技术合作项目制作的《过去20年美国大规模枪击死亡人数》（U.S. mass Shooting fatalities: the last 20 years）等均在可视化与可听化交融的方向上做出了有益的探索。
　　
四、数据可听化的感受力：新闻美学向度的挖掘
　　得益于操作工具的成熟以及新闻界的开源创新，数据可听化逐渐成为常规化的新闻实践。2015年，Reveal开发了开源Python包MIDITime，为前述多个数据可听化作品提供了技术支持，并提供了清晰的步骤引导。2019年，在谷歌新闻倡议（Google News Initiative）的支持下，西蒙·罗杰斯与纽约数据设计工作室Datavized合作创建了开源网站TwoTone，致力于将数据转化为声音以更好地理解数据，破除了数据可听化的技术门槛，让可听化得以真正地走进新闻操作的日常。
　　如果将数据可听化放在更为广泛的新闻创新实践中，会发现它与新闻游戏、VR新闻一样，都致力于丰富新闻的外延，让新闻变得更加可感。平台渠道、技术手段、媒介实践的融合造就的多种新闻形态与交互方式早已溢出了传统新闻的边界（陆晔，周睿鸣，2018），而数据可听化也是这种创新大潮的表现之一。不难发现，当数据被转码成为音符，对于信息的感知重点也从理性的知晓转向感性的体验，这种声音体验的核心在于感受力（affect），即响应周围事物并与之共振，它也是一种先于思考而发生、超越意义和表征的思维范式（王婧，2017：4-5）。文字报道中所要求的理性、严谨和客观被悬置，音符间的节奏感、诗意和美学等元素被突出，并最终诉诸新闻内容的感受力。获得2019年度（凯度）信息之美奖“特别类”银奖的作品《通勤》（Commute）便将这种美学理念发挥到了极致。它由数据可视化专业公司Dataveyes出品，融合数据可视化与可听化，探索了通勤过程中城市公共交通线周围的噪音污染。用户可以选择法国巴黎M4、M5、M6、M1、M7、M9这六条地铁线中的任意一条，以两种观看模式（波浪状或螺旋状）聆听地铁沿线的噪音污染（图4　图4见本期第73页）。
　　在《通勤》中，算法匹配收集的分贝和谐波频率（五声音阶系统）让收集到的噪音污染数据被转化成一种和谐的旋律，音乐所及之处可以看到其所在的地铁线路以及声音分贝值，使得影响健康的噪音污染变得真实而可见。主创团队希望以此方式为市民提供有形、可测量的论据，从而将这一不受重视的议题带至大众视野（Dataveyes， 2019）。目前，他们正在考虑向公众开放这一项目，这样每个人都可以上传日常旅行中的噪音污染，从而自动生成公共交通线路中的“指纹”。
　　
五、讨论
　　2018年，一项针对Z世代（出生于1995-2009年之间的一代）的调查报告显示，这些第一代数字原住民的新闻消费习惯和其他代际相比，在新闻获取渠道、新闻视听、新闻与娱乐比重等方面有了较大不同。对于趣味和交互的关注让感官新闻学（sensory journalism）成为未来新闻业的重点（Parnters，2018）。这意味着新闻报道不仅要理性地传达知识，更需要让新闻可感，并让用户产生共情（empathy）。
　　数据可听化因应了这一新闻消费趋势，并将视障人群带进了体验数据新闻的世界。传统的新闻报道在涉及这些议题时将信息的精确程度凌驾于情感的卷入之上，其代价便是与广泛的公众参与背道而驰（Wodak， 2018）。而可听化所创造的毋宁说是一种印象或感觉，它带来的是全新叙事和听觉体验。在报道天体物理、地质科学、气候变化等普通公民难以理解的科学领域时独具优势。它和VR新闻、新闻游戏等新闻实践一起，共同动摇了传统中从业者习以为常的新闻理念，而将追求美学、趣味和公众参与放在了重要位置上。
　　但是另一方面，作为工程文化和新闻文化相糅合的产物（Appelgren， 2018），可听化仍然在沟通公众这一层面存在一定困难。科里认为，可听化在运用时间序列的数据中较为成功，但是要展示空间等无序或缺乏模式的数据时，传播效果仍然不尽如人意（Smith et al.，2019）。在新闻报道中，除了给出详细的说明之外，还需要克服前面提到的乐理素养和参数映射上的困境，才能够最大程度上发挥数据可听化在美学和情感方面的独特价值。■
　　
参考文献：
方洁（2019）。《数据新闻概论：操作理念与案例解析》（第二版）。北京：中国人民大学出版社。
陆晔，周睿鸣（2019）。新闻创新中的“协作式新闻布展”——媒介融合的视角。《新闻记者》，（9），8-19。
王婧（2017）。《声音与感受力：中国声音实践的人类学研究》。杭州：浙江大学出版社。
沃尔特·翁（2002/2008）。《口语文化与书面文化：词语的技术化》（何道宽译）。北京：北京大学出版社。
Appelgren, E. (2018). An Illusion of Interactivity: The paternalistic side of data journalism. Journalism Practice, 12(3)308-325.
Bonet FilellaN. (2018). Data sonification in creative practice. PhD Dissertation, University of Plymouth, Plymouth.
Brodeur Parnters (2018). Gen Z and the Age of Sensory Journalism. Retrieved from https://static.ptbl.co/static/attachments/188937/1538515292.?1538515292
BriggsJ. & CoreyM. (2017). Sounding out the border wall. Retrieved from https://www.revealnews.org/blog/sounding-out-the-border-wall/
Commute by Dataveyes (2019). https://iibawards-prod.s3.amazonaws.com/uploads%2F2019%2F85c01a9%2FCommute_Abstract.pdf].
Corey, M. (2015). Turn your data into sound using our new MIDITime library. Retrieved from https://www.revealnews.org/blog/turn-your-data-into-sound-using-our-new-miditime-library/.
DoucanK. (2019). Sonification: turning stories into sound. Retrieved from https://www.rjionline.org/stories/sonification-turning-stories-into-sound.
FergusonS.Martens W. & Carbrera, D. (2011). Statistical sonification for exploratory data analysis. In HermannT.Hunt, A. and Neuhoff J. G. (Eds.). The Sonification Handbook (pp. 175-196). Berlin, DE: Logos Publishing House.
Gambini, L. (2019). A decade of working in data journalism: what has changed? Retrieved from https://medium.com/we-are-the-european-journalism-centre/a-decade-of-working-in-data-journalism-what-has-changed-8d950d99935e.
Hermann, T.& Ritter, H. (2004). Sound and Meaning in Auditory Data Display. Proceedings of the IEEE, 92(4)730-741.
Hermann, T. (2008June). Taxonomy and definition for sonifications and auditory display. Proceedings of the 14th International Conference on Auditory Display. Paris.
LastM. UsyskinA.(2015). Listen to the sound of data. In Baughman, A. K.GaoJ. PanJ.& PetrushinV. A.(Eds.). Multimedia Data Mining and Analytics: Disruptive Innovation (pp. 419-446). Switzerland: Springer.
Kaper, H. G.Wiebel, E.& TipeiS. (1999). Data sonification and sound visualization. Computing in Science & Engineering1(4)48-58.
KramerG.et al. (1999). Sonification report: Status of the field and research agenda. Report Prepared for the National Science Foundation by Members of the International Community for Auditory Display.
RogersS. (2019). Sonification: Make beautiful music with your data. Retrieved from https://medium.com/@smfrogers/sonification-make-beautiful-music-with-your-data-d8fd59b84f3fRomansB. (2007) Data sonification. Retrieved from https://www.wired.com/2007/04/data-sonification/
Schedel, M. A.(2014). Sounds of Science: The Mystique of sonification. Retrieved from https://soundstudiesblog.com/2014/10/09/sounds-of-science-the-mystique-of-sonification/
Smith, M. et, al. (2019). Data in the air: A guide to producing data journalism for radio. Retrieved from https://datajournalism.com/read/longreads/data-in-the-air.
WalkerB. N. and Nees, M. A. (2011). Theory of Sonification. In HermannT.Hunt, A. and Neuhoff J. G. (Eds.). The Sonification Handbook (pp. 399-427). Berlin, DE: Logos Publishing House.
Wodak, J. (2018). Shifting baselines: Conveying climate change in popular music. Environmental Communication12(1)58-70.
Worrall, D. (2018June). Sonification: A Prehistory. Proceedings of the 24th International Conference on Auditory Display (pp. 177-182). Michigan.
　　
方惠系暨南大学新闻与传播学院讲师。本文为广州城市精神与城市形象研究基地自设项目（GZYJ202004）、国家社科基金重大项目“视觉修辞的理论、方法与应用研究”（172DA290）的阶段性成果。