■杭敏
　　【本文提要】融合新闻报道中，为读者与受众提供沉浸式体验是其重要内容，本文呈现了国内外融合新闻中的沉浸式体验与报道案例。在专业新闻报道方面，沉浸式的理念与数据可视化技术相结合，可以帮助读者理解专业数据与资讯。在综合性新闻议题的报道中，沉浸式的理念与多媒体手段相融合，能够使读者与受众获取更加丰富与多元的信息。而随着虚拟现实技术的进一步发展与应用，沉浸式新闻报道更为受众增添了身临其境的感受，使受众体会到全方位的新闻现场带入感。本文对国内外媒体的沉浸式报道实践进行了梳理与分析，同时也提出未来沉浸式新闻报道在受众接受意愿、新闻价值增值、受众使用行为与浸入度，以及新闻伦理等几方面的研究议题。
　　【关键词】沉浸式体验 沉浸式报道 融合新闻 多媒体 数据可视化 虚拟现实技术
　　【中图分类号】G209
　　随着数字技术的发展，应用多媒体手段和数据可视化技术而进行的融合新闻报道越来越为常见，而在这其中，构建真实、多元与身临其境的新闻场景，为读者和受众提供沉浸式体验，也成为融合新闻报道实践中的重要内容。
　　所谓沉浸式体验（immersive experience），指的是让读者与受众置身于新闻事件丰富而多元的信息环境中，产生浸入式的感受与思考。①互联网技术应用于新闻报道使信息的多元化呈现成为可能。而在过去的十几年中，沉浸式体验作为吸引读者与受众的新闻报道创新要素，已引发学界与业界的研究与讨论。比如Stienstra（2001）探讨了利用数字技术提升广播电视报道中的沉浸式体验、②Wall & El Zahed（2014）研究了传统媒体新闻网站内容服务的沉浸式体验设计，③Yau & Al-Hawamdeh（2001）讨论了如何在新闻教育中融入沉浸式体验教学元素等议题。④
　　随着新闻报道创新的不断推进，沉浸式体验与沉浸式报道也成为更受关注的研究与实践议题。在新媒体融合报道的实践中，数据可视化技术的应用使新闻内容的呈现增加了3D立体维度，让读者获得了阅读文字报道之外的信息沉浸式感受。同时，越来越多的媒体使用视频、音频及图像融合的方式，借助数据创造新闻事实的虚拟场景，以互联网为平台，为受众提供沉浸式的多媒体融合体验。相较于以往传统文字或视频报道，这些创新报道方式兼具形式生动、内容深刻与信息多元的特点，使读者和受众沉浸在新闻场景中，从而更加接近新闻事实。
　　新闻报道经常希望创造连接受众与新闻故事的最佳联系方式。早在二战报道中，Martha Gellhorn就提出“场景创造体验”，强调场景设立的重要性。⑤Walter Cronkite也认为，在报道中，为受众提供充分的信息来营造场景，构建“在现场（You are there）的沉浸式体验至关重要。⑥MSNBC技术主编Jonathan Dube提出沉浸式体验能使读者最大限度地“接近事实（Close to truth）”。⑦随着沉浸式体验元素在新闻报道中的广泛体现，沉浸式新闻（immersive journalism）的概念也应运而生。沉浸式新闻为受众提供第一视角的体验，其核心思想是构建新闻现实的虚拟场景，使受众进入其中，并以身临其境（being there）的方式从视觉、听觉乃至心灵感受方面，获得对新闻事件的认知。虚拟现实（virtual realityVR）技术的应用进一步提升了受众的沉浸式体验，也使沉浸式报道成为当前新闻报道创新发展中的重要趋势。⑧
　　本文聚焦融合新闻中的沉浸式报道案例。主要分析了数据可视化技术创造的沉浸式体验、多媒体融合技术下的沉浸式体验，以及虚拟现实技术应用下的沉浸式体验案例。借助国际媒体的典型素材，对融合新闻中的沉浸式报道进行梳理，并分析未来的发展方向与研究议题。
　　数据可视化技术创造的沉浸式体验
　　对于新闻报道尤其是专业新闻比如财经新闻报道来说，数据起着至关重要的作用。然而对于很多受众来说，数字是抽象的、专业化的，因此，如何将数据更加清晰形象地呈现给受众，是专业财经媒体报道中所面临的重要问题，而利用数据可视化的呈现方式来提供3D的多维信息，为受众创造沉浸式的体验，则是近年来解决这一问题的一种创新思路。数据可视化的沉浸式报道，以数据三维图创建新闻场景，使受众对数据有了更加清晰的认识，对新闻事件也有了更加准确的把握。
　　（图1　图1见本期第77页）来自《纽约时报》，该报于2015年3月18日在其网站上发布了题为“预测经济未来走势的3D图：国债收益率曲线”。⑨国债收益率曲线是研究、分析和预测宏观经济的重要指标，每条线的陡峭程度可以反映当前经济体的主流对于未来经济发展走向的判断和预期。
　　这一报道主要围绕一幅3D图，辅以聚焦该图细节的五幅附图（图2-A为报道发布当天为止的国债收益率曲线；图2-B着重分析了收益率较低的几个点；图2-C为美联储提高利率时短期利率增长情况；图2-D着重说明了25年来十年期长期利率的变化情况；图2-E以俯视的角度看长期国债收益率），以及介绍德国（图2-F、2-G）、日本（图2-H）情况的三幅附图，每幅图配有50-100字不等的简单说明。点击图表右上方文字可以选择不同图表来进行查看。
　　国债收益是判断宏观经济发展的重要指标。国债交易员每天看到的大多是当天国债市场收益率的走向和当天市场总体上对于未来短期和长期的判断，而这篇报道中的3D曲线图将1990年至2015年每天不同到期年限的收益率呈现出来，通过对过去数据的分析，来预测通货膨胀率和经济增势等未来经济走势。同时，这篇报道也通过对比德国和日本的国债收益情况展示了全球经济走势。国债收益率与利率联系紧密，因此该图在一定程度上也可以反映美国短期利率与长期利率之间的关系。这样一来，这个宏观经济的分析报道与普通公民的经济活动息息相关，对读者产生了极大的吸引力。
　　在以上的案例中，数据可视化技术为读者构建了关于一个复杂的专业性概念的新闻场景。这一场景通过3D技术在新闻网站上进行立体呈现，3D图中既有深入分析，又有在纵向维度上对历史数据的回顾，以及在横向维度上与其他国家的比较。这些三维的可视化图表使读者可以沉浸在数据所创造的专业氛围中，既不觉得乏味，又能激发思考，收获了对专业性议题的系统性认知。这一报道也成为体现媒介信息立体沉浸感的一个成功案例。
　　多媒体融合技术下的沉浸式体验
　　除了数据可视化技术之外，多媒体融合技术以更加生动与多元的形式创造了沉浸式的新闻场景，使受众获得富饶的信息与多元的感知。借助多媒体融合技术，受众不必拘泥于新闻报道的叙述顺序，而是可以按照自己的喜好和兴趣，选择想要了解的内容，打破了传统的线性新闻呈现规律，增加了新闻报道的吸引力。
　　图3是来自英国《卫报》的案例。该报以原美国中央情报局（CIA）成员爱德华·斯诺登披露的美国国家安全局（NSA）的“棱镜”监听计划为基础，对政府监控进行报道和反思。报道运用多媒体融合的方式，使受众获得了沉浸式的体验。⑩
　　这篇报道由六个部分组成，每个部分都由文字报道、视频和图表构成。值得一提的是，这篇报道中的所有视频都是人物采访，并且将人像置于白色背景上，非常简洁，但却具有很强的冲击力。报道开头是一个27秒的简短视频，展示了文中涉及的六位采访者，引用了两位受访者的原声，分别陈述对政府监控行为的支持和反对态度。
　　斯诺登向《卫报》披露了“棱镜计划”，使该报成为第一个曝光相关文件的媒体，因此对于这个事件本身，《卫报》掌握了大量的第一手材料。然而这个专题性报道没有局限于事件本身，而是将公民信息安全问题扩展开来，详细描述了NSA的运作方式、政府监听事件出现的原因、各方的反应以及事件披露造成的影响。六位受访者的采访视频则根据报道的展开被剪辑成为一个个20秒左右的小片段，并置于相关位置，将整篇报道串联起来。采访对象包括国会议员、前NSA总顾问、技术人员和“棱镜”事件的主要报道者等，涉及不同角度、不同立场，使得整篇报道显得更加平衡客观。
　　视频的嵌入则使整篇报道“活动”起来，让严肃、沉重的信息更易接受；所有视频的格式和表现模式统一，都是受访人的上半身，直接嵌入白色报道背景中。在这一案例中，文字、视频、图片等不同的多媒体元素结合，为读者创造了生动的新闻场景，使读者获得了沉浸式的体验，也获取了更加丰富的信息。
　　图4是来自德国《ZEIT》（《时代在线》）的案例。该网站在2014年10月29日推出专题报道“分裂的国家”，[11]以纪念10月3日德国国庆节。这篇纪念德国柏林墙倒塌25周年的专题报道，从多方面对比了柏林曾经处于东西德地区的现状，并在文字报道中穿插了图表和视频，提供了沉浸式的体验。
　　报道由两幅互动式地图、四幅信息图像、两个视频和文字报道构成。其中的导语指出，1989年柏林墙倒坍后，德国采取很多措施来消除冷战的伤疤，然而从数据上来看，差异依然存在。
　　这则报道旨在展示原东西德地区现今仍然存在的巨大差异。整篇报道所运用的图表和视频，均穿插在文字中间。报道的一大特色是没有长篇文字阐释，基本都是一两段文字，后续一个与该段文字内容呼应的可视化展示。文字与可视化交替出现，大大增加了文章的可读性。文中图表与文字内容一致，但数据更为详尽具体，因此对文字报道来说是非常好的补充方式。报道中的图表大多旨在展示当今状况，而两个视频则很清晰直观地呈现了25年以来的变化，是对主题最好的呼应。读者沉浸在多媒体方式构建的场景中，通过对历史与现状的思考以及对东西德的比较，可以更加深刻地理解报道的主题。
　　除了可视化技术的运用，多媒体融合报道也常常采用与卫星图像相结合的方法。这种技术在涉及地理区域的报道中尤为常见。图5是来自ProPublica的案例。这篇报道运用文字与卫星互动式地图相结合的方式，揭示了美国路易斯安那州的德拉克罗瓦地区，由于过度的能源开发和堤坝建设，湿地被河流淹没面积渐渐缩小的问题。[12]ProPublic是美国一家独立的非盈利的新闻编辑机构，为公众利益进行调查报道，与多家新闻机构进行合作报道。这篇报道题为《消失的土地》，页面分为两部分，左边是卫星地图，右边为文字报道。地图同时也是互动式图表，上方是时间轴，移动时间轴可以在卫星地图上看到土地的变化情况。而文字报道则以当地居民的生活变化为主线，描述了该地区近50年的变化，由自给自足、可以居住的湿地变为水域，特别是2005年卡特里娜飓风后，大部分原住民选择不再回去，文章结尾得出令人扼腕的结论：二三十年后，这片湿地可能将不复存在。
　　报道中卫星互动式图表非常清晰地呈现了30年间土地的流失情况，让读者意识到水土流失问题的严重性和紧迫性，提供了有关该问题的历史背景，而文字报道则从居民个人入手，两个部分相辅相成，整篇报道借助多媒体的手段，让读者沉浸在新闻场景中，身临其境地感受到了报道主题中凸显的土地流失问题，同时也激发思考，达到了很好的信息传递效果。
　　总的来看，应用多媒体融合技术来提供沉浸式新闻体验具有明显的优势：首先，多媒体融合报道聚集了海量信息。通过图像、声音、照片、动图等多种形式传递资讯，多管齐下，极大地增加了新闻的信息量。同时，多媒体报道方式的应用也增加了新闻内容的可读性，使受众沉浸于富饶的信息之中，体会到获取信息的知识性与趣味性。其次，应用多媒体技术可以使信息通过交互体验的方式得以呈现。融合报道赋予受众充分的参与机会与选择权，使其可以自主决定阅读的顺序、内容、速度和形式。受众可以根据自身需求选择愿意深入了解的内容，使信息价值被最大化利用和最有效传播，既体现了互动性，也增加了新闻现场的带入感。
　　
虚拟现实（VR）技术应用下的沉浸式体验
　　随着Virtual Reality（VR） 技术的发展，沉浸式体验的理念也不断和VR技术相结合，应用在新闻报道中，形成沉浸式虚拟现实融合报道，以进一步提高受众身临其境的参与感、互动感和真实感。
　　由美国南加州大学安妮博格新闻与传播学院（USC Annenberg School of Communications and Journalism）以及MxR Lab合作的一篇报道食物救助站风波的新闻被认为是较早的利用VR技术来实现沉浸式新闻报道的案例。[13]在这篇报道中，实验者利用了VR技术和3D游戏的呈现技巧，将发生在洛杉矶唯一神教堂（First Unitarian Church）前食物救助站的风波进行了现场呈现，受众可以通过佩戴专用眼镜，了解这个新闻事件的细节，走进新闻发生的情境中，对相关人物进行模拟式采访，由此体验到更为强烈的现场感。这则新闻在当年的桑达斯电影节（Sundance Film Festival）播出当视频中的人物晕倒时，一些观众竟然试图伸手去搀扶他们，而在新闻节目结束时，也有不少观众因为感动而落泪。
　　由于VR技术综合利用计算机图形系统和各种现实及控制接口设备而生成可交互的三维虚拟环境，在提供受众沉浸式感受方面具有独特的优势；而随着VR技术的普及和设备成本的降低，也有越来越多的国内外媒体将其应用在新闻报道实践中，形成了一种强化参与性体验的创新报道方式。图7是《纽约时报》开设的VR频道，其宗旨是将受众置于新闻故事的中心，并体验沉浸式的效果。《纽约时报》提供的一则虚拟现实体验式报道以三个孩子为中心，展现他们身处的环境——千疮百孔的教室和一片致命的沼泽，已有超过130万人观看这部名为《流离失所》 的报道，报道试图通过年轻流亡者辛苦的劳作来揭示全球难民的状况。
　　VR应用与新闻报道的结合在国内媒体报道中也越来越多见。在2016年的两会报道中，在一档《人民大会堂全景巡游》的节目中，受众可以选择身份，通过“总理、省长、群众、记者、外宾、黑衣人”等角色的换位来体验不同角色在不同位置上对于会场内部的视角感受。受众还可以在不同身份的视角里，游览两会新闻中心的建筑结构和每个会场。受众甚至可以“站”上主席台，体验总理作政府工作报告时的“最佳视野”。 这样的沉浸式方式不仅拉近了受众与“高端神秘会场”的距离，也让新闻报道更“接地气”。
　　
沉浸式报道的未来发展与研究方向
　　总的来说，沉浸式报道聚集海量信息，综合运用多媒体的互动式呈现方式，为受众营造了第一视角的阅读氛围。一方面，通过模拟新闻场景，这种创新报道形式为读者提供了更加接近事实的体验，使读者身临其境，参与感与互动性大大增强；另一方面，多媒体融合的方式也增加了报道的信息容量，使大量复杂信息得以更加简洁明了地呈现。
　　然而，我们也可以看到，随着沉浸式体验与报道实践的不断拓展，需要进行专业性观测的研究议题也不断出现，亟待学界和业界共同关注与探讨。关于沉浸式报道的第一类议题关乎受众对于创新性新闻方式的接受意愿（intention adoption）。过去的半个多世纪以来，当创新性媒介表达方式出现时，技术创新与扩散理论（Innovation Diffusion Theory，IDT）[14]一直指导着研究者和实践者对于受众接受意愿的探索。究竟是什么样的要素决定了受众接受一种新的媒介表达方式是新闻内容生产者、传播者和新媒体运营者所共同关注的议题。继Rogers之后，Technology Adoption Model（TAM），[15]Unified theory of acceptance and use of technology（UTAUT）[16]等模型也为这一议题的研究提供了理论基础。因此，对于受众接受意愿的研究将成为对沉浸式新闻研究的基础性议题。
　　关于沉浸式新闻的第二类研究议题关乎新闻的价值增值。Picard（2010）等学者曾提出，新闻内容可以为受众提供从“信息获取”到“知识体验”再到“理解接受”的金字塔形结构的价值增值路径。沉浸式新闻报道如何在信息、知识和理解维度体现新闻报道的创新性与价值增值，是关于新媒体内容价值研究的一项有意义的探讨。
　　关于沉浸式报道的第三类议题与受众的使用行为及投入度相关。技术的发展使新闻报道方式不断创新，也使我们对于新闻内容与传播的研究增添了更多手段与方式。近年来，Google、Amazon等领先媒体不断尝试使用眼动仪（eye-tracking）和面部解码（facial coding）等方式来研究受众对于新媒体内容的使用及浸入度。这样的创新方式也可以应用在对于沉浸式体验与沉浸式新闻的研究中，来获知在沉浸式新闻阅读和体验的过程中，受众显性与隐性的接受特性与投入度，以帮助新闻内容生产者和传播组织者调整相应的报道与传播策略。
　　关于沉浸式报道的最后一类议题，也是目前最受关注的讨论之一是沉浸式新闻报道的伦理问题。由于沉浸式报道为了给受众带来身临其境的感觉，往往需要还原或者重构新闻现场，而在现场重构中如何保持新闻的真实性极具挑战。此外，在沉浸式报道尤其是VR技术应用的沉浸式报道中，也有观点质疑VR新闻是否会对公众具有更大的操作性，是否具有更强的把关和议程设置的显化功能，以及是否会有将“公众”（public）退化成“群众”（crowd）的风险等等。[18]以上这些议题需要研究者进行规范化的讨论，也需要进行基于数据与案例调查基础之上的实证性研究与分析。技术的发展为新闻报道的创新提供了土壤，新闻与数据数字技术相结合，也不断推出创新的呈现方式，这些都丰富了受众的感知与体验，同时也为新闻传播的研究提供了前沿性的议题，开拓了新闻研究的思路与方法，也将使这一领域的研究越来越富有挑战性。■
　　
　　
①Jackson, N. J.& Campbell, S. (2008). The nature of immersive experience. Available on-line at: http://immersiveexperience. pbwiki. com.
②Stienstra, M. A. (2001). Creating an immersive broadcast experience. In Proceedings of the ninth ACM international conference on Multimedia (pp. 455-456). ACM.
③WallM.& El ZahedS. (2014). Embedding content from Syrian citizen journalists: The rise of the collaborative news clip. Journalism.
④Yau, J. T. K.& Al-Hawamdeh S. (2001). The impact of the internet on teaching and practicing journalism. Journal of Electronic Publishing, 7(1)
⑤De la Pe?a, N.Weil, P.LloberaJ.Giannopoulos, E.Pomés, A.Spanlang, B.... & Slater, M. (2010). Immersive journalism: immersive virtual reality for the first-person experience of news. Presence: Teleoperators and Virtual Environments, 19(4)291-301.
⑥PlimptonG. (Ed.). (2003). The Latin American Writers at Work. Modern Library.
⑦De la Pe?a, N.Weil, P.LloberaJ.Giannopoulos, E.Pomés, A.Spanlang, B.... & Slater, M. (2010). Immersive journalism: immersive virtual reality for the first-person experience of news. Presence: Teleoperators and Virtual Environments, 19(4)291-301.
⑧Sirkkunen, E.V??t?j?H.Uskali, T.& Rezaei, P. P. (2016). Journalism in virtual reality: opportunities and future research challenges. In Proceedings of the 20th International Academic Mindtrek Conference (pp. 297-303). ACM.
⑨A 3-D View of a Chart that Predict the Economic Future: The Yield Curvehttp://www.nytimes.com
⑩NSA Files: Decoded What the revelations mean for you.
　　http://www.theguardian.com/world/interactive/2013/nov/01/snowden-nsa-files-surveillance-revelations-decoded
[11]A Nation Dividedhttp://zeit.de/feature/german-unification-a-nation-divided
[12]Losing Ground, http://projects.propublica.org/louisiana/#delacroix
[13]Hunger in LA, http://www.multiplejournalism.org/case/hunger-in-la
[14]RogersE.M. (1962)Diffusion of InnovationsThe Free Press of GlencoeMacmillan CompanyNew York, NY.
[15]Davis, Fred D.Richard P. Bagozziand Paul R. Warshaw. “User acceptance of computer technology: a comparison of two theoretical models.” Management science 35.8 (1989): 982-1003.
[16]Venkatesh, Viswanathet al. “User acceptance of information technology: Toward a unified view.” MIS quarterly (2003): 425-478.
[17]PicardRobert G.（2010） “Value creation and the future of news organizations: Why and how journalism must change to remain relevant in the twenty-first century.” diva-portal.org.
[18]KoolH. (2016). The Ethics of Immersive Journalism: A rhetorical analysis of news storytelling with virtual reality technology. Intersect: The Stanford Journal of ScienceTechnology and Society9(3)；邓建国：《时空征服和感知重组—虚拟现实新闻的技术源起及伦理风险》，《新闻记者》2016年第5期
　　
杭敏/清华大学新闻与传播学院副教授，清华大学全球财经新闻项目主任、传媒经济与管理研究中心副主任。