容积捕获:数字新闻的立体景观、六度自由与索麻困境
■杨奇光 苏娟
【本文提要】容积捕获作为数字时代的新型摄影术,主要依托摄影测量法动态捕捉3D影像,基于这一新技术生成的容积视频可超越以往360度全景视频的三个自由度进而达到六度自由。以容积捕获技术为基础的“容积新闻”被认为是一类全新的数字新闻样态,藉由数字建模构筑立体化新闻场景,用户可“步入”新闻现场“触摸”被摄对象。不同于既往虚拟现实新闻的“沉浸式”指征,容积新闻转向以空间叙事和用户主导为核心逻辑的数字新闻创新范式,具备成为独立的、成熟的数字新闻样态的实践可能。与此同时,容积新闻的适用题材、消费场景及其自身可能存在的信息过载、“索麻”体验以及对人类用户生理带宽的冲击等问题值得反思。
【关键词】数字新闻 容积捕获 容积新闻 空间叙事 空间新闻
【中图分类号】G210
一、引言
物理学中的“容积(volume)”是指一种物质所占据三维空间的量化指标,近年来“容积”这一经典物理学概念逐步旅行至摄影领域并催生了“容积捕获(volumetric capture)” ①这一数字时代的新型摄影术。商业杂志《福布斯》的一篇文章更是大胆直言“未来世界将是‘容积化’的世界”(Hackl, 2020),容积捕获因而也被视为元宇宙(metaverse)、镜像世界(mirrorworld)和空间互联网的重要变革力量。作为新型摄影术的容积捕获技术正在重构互联网空间的视觉场景,依托摄影测量法(photogrammetry),摄影师们从全角度捕获现实世界的3D图像,经后期编辑加工最终生成可供观看者从不同角度浏览的“容积视频(volumetric video)”(Brown Institute, 2021;Hackl, 2020)或“自由点视频(Free Viewpoint Video,简称FVV)”(Muenster, 2022)。
与此前受到热捧的VR(Virtual Reality,虚拟现实)、AR(Augmented Reality,增强现实)、MR(Mixed Reality,混合现实)相比,“容积捕获”技术结合传感硬件设备、3D建模和计算机视觉算法,打破了以往二维平面化视频的感官局限。尽管既往虚拟现实类技术能够为用户带来身临其境的沉浸式感受,但用户所感知的对象往往依托于360度全景视频,这导致视频中被摄对象自身的三维立体容积影像无法被镜头再现,用户亦不能“触摸”或与被摄对象展开互动。基于容积捕获这一前沿技术,人、物、环境等要素可以被动态捕捉,并供用户在智能移动终端使用。简言之,容积捕获为传统视觉态内容赋予了动态的“空间深度”,从而进一步增进了用户的沉浸感和真实体验感。当前基于容积捕获技术制作的各类“容积视频”更多被应用于广告、电影等商业娱乐领域,例如借助容积捕获技术,大型商业公司可以模拟员工培训、客户沟通和品牌推广等场景(Hackl, 2020)。但是,容积捕获技术远不止于用来制造商业价值和娱乐效果,其亦为数字时代的新闻工作者和新闻编辑室提供了又一实践创新的契机。
二、数字新闻的视觉态演进与研究进路
视觉态的新闻生产离不开摄影术的发明,自法国人达盖尔于1839年发明了银版摄影法后,摄影术成为现代意义上视觉新闻的技术基础。20世纪20年代前后,能够使图像实现远距离传输的传真技术被发明,进一步提高了新闻摄影在新闻生产全流程中的传输速度,在摄影术和传真技术的协同作用下,读者能够快速获得关于新闻事件和新闻现场的视觉感官体验。伴随着摄影技术在新闻生产实践中的广泛使用,以新闻图片为核心内容的专题报道开始在报纸上占据越来越多的位置。在我国,《东方杂志》就曾记载了中西方新闻业对于视觉新闻文化的重视:“东西报社,均专设图影制版部,及图影储藏室……驻外职员,大都精于摄影,能随时随地,映得新鲜影片,于极短时间,制为悦目怡心之图像,达于阅者之前,而此一幅图像之效力,恒为长篇记事所不及”(王璋,1919:10)。
数字时代的新闻业及新闻产品是信息文明的产物,其生产、流通与分发的逻辑不同于此前工业时代背景下新闻业的内在规律(王润泽,2022),新闻的视觉形态也逐步从二维静态向动态化和多维化转向。21世纪以来,在各类虚拟现实技术应用于新闻生产实践创新的过程中,诸如VR、AR、MR等数字技术的发展为新闻的视觉表达提供了新可能(王晓培,2022),视觉化正在成为全球数字新闻业发展的重要趋势和重要指征。从早期蒙太奇、数据可视化再到虚拟现实的新闻视觉化进程中(常江,2017),媒体和用户的视觉审美逐渐从“眼睛观看”到“身体沉浸”。依托于VR技术的沉浸式新闻曾掀起全球性的“实验”浪潮,2016年被部分学者认为是VR技术的“元年”(VR技术在新闻生产领域大范围应用的关键一年)(O’Dwyer et al., 2020;Craig & Georgieva, 2018)。然而,依托虚拟现实技术的新闻产品也存在较为明显的局限,囿于拍摄时间和成本的限制,工程师们对拍摄对象进行3D虚拟建模往往困难重重。
当前已有部分研究注意到了容积捕获和容积视频所蕴藏的巨大潜力(Marconi & Nakagawa, 2021;李鲤,吴瑾,2020;Machkovech, 2017),但实际上,容积捕获及其应用仍处在实验性阶段(并没有走入学界和业界研究的中心),正如有学者所指出的,我们缺少对360度摄影、容积捕获这类技术在实践和学术层面的结构性认识,而这恰恰是技术创新融入现实新闻生产实践所必要的观念环节(Susana & María José Benítez, 2022)。有关容积捕获的少量学术研究主要来自商业和艺术领域(Roberts et al., 2022),目前较少有学者深入探究这一新技术之于数字新闻业的变革性影响,围绕容积捕获及其实践的讨论在国内学术界更为缺乏。由于容积捕获技术和容积捕获新闻的产制尚处于实验探索阶段,本研究主要基于质化文献分析和容积捕获技术在西方数字新闻生产领域的前沿实验性案例,对容积捕获可能影响数字新闻生产的未来图景及其伦理风险开展批判性研究,并思考数字新闻在实践创新中的未来路径与价值旨归。
三、“六度自由”的视觉拓深与容积新闻的诞生
与传统摄影术不同的是,容积捕获的实现通常需要使用两个以上(甚至上百个)高分辨率摄像头,进而从多个角度捕捉同一人体或物体的三维影像,最终经由三维空间扫描记录下摄像头周围所在区域的全部物理环境(Hackl, 2020;O’Dwyer, 2020;Schreer, 2019;Pagés et al., 2018)。在初始摄影素材拍摄完成后,工程师将对拍摄场景按照一定的序列进行处理并最终形成3D网格模型,智能化算法程序会寻找照片之间的相似区域,然后使用视差(parallax)或通过识别前景和背景中的对象间关系来创建深度,一套完整的容积视频生产流程通常包括“动态捕获、编码传输、用户使用和评价反馈”(van der Hooft, 2020)四个环节。容积捕获技术的特殊之处在于对“容积”或“三维”数据的捕捉——常规摄影术获得的是RGB颜色信息等,而容积捕获可在三维空间内实时获取“深度”信息。因此,容积视频能够超越以往360度摄影的三个自由度(3DoF, 3 degree of freedom),进而达到“六度自由(6DoF, 6 degree of freedom)”(Rossi et al., 2021;O’Dwyer et al., 2020)。这意味着,用户不仅能够在三维空间里实现XYZ三轴方向上的自由运动以及围绕三轴自由转动,还可以上下前后移动,于是人们不仅能在虚拟空间中“行走”,还能触摸到三维物体的表面并在虚拟空间中与其他人物互动。
布朗研究所(Brown Institute)将依托容积捕获技术生成的新闻直接命名为“容积新闻(volumetric reporting)”(Brown Institute, 2021),《纽约时报》研发团队(The New York Times Research and Development team,简称“R & D”)则称之为“空间新闻(spatial journalism)”(R & D, 2022)。尽管命名有所不同,容积新闻都被视为继虚拟现实新闻、沉浸式新闻后出现的一类全新新闻样态。在新闻业界,《纽约时报》是较早探索容积视频的专业机构媒体,早在2018年,作为纽约时装周报道的一部分,《纽约时报》(New York Times, 2018)就曾使用 100 多台摄像机拍摄了模特阿什莉·格雷厄姆(Ashley Graham)在T台行走的立体视频,观众可以借助移终动端设备将格雷厄姆女士的移动3D全息图(hologram)直接投影在自己的房间里或其他现实场景中,从而获得与模特同台走秀的临场体验。在新闻生产实践中,容积视频也因其“六度自由”和动态实时捕获的特性被认为是能够超越360度全景视频、真正实现沉浸新闻体验的变革性视觉技术(Marconi & Nakagawa, 2022)。
美联社(AP)在一份名为《动态叙事的时代:沉浸式3D内容世界中的记者指南》中,为数字新闻从业者如何进行容积新闻创作编制了记者手册,其中总结了容积捕获技术的两类使用场景(Marconi & Nakagawa, 2021)——第一种是构建模拟现实世界的三维全息影像,例如象征集团(Emblematic Group)的《孤独之境》(Emblematic, 2017)就是基于上述原理制作出的模拟现实类作品;第二种是基于现实影像创造虚拟三维环境,代表实例是美联社早期发布的《阿尔兹海默症:探索大脑》以及《走进亚马逊:垂死的森林》等容积新闻作品(TIME, 2019)。不论是前者通过容积捕获模拟现实,还是后者基于现实环境建构具备六度自由的3D场景,基于容积捕获和摄影测量建模技术的容积新闻都拓展了被摄对象和新闻场景的深度,同时依托六度自由实现了容积新闻的动态交互体验效果。
四、空间叙事逻辑与新闻用户的主体性重塑
传统视觉新闻的叙事逻辑是以蒙太奇式为主(常江,2017),即生产者通过声画剪辑来塑造故事,引领观者依循生产者所设计的思维路线实现观看体验,这是一种典型的传统线性叙事逻辑,观众观看的画面是被提前安排好且顺序固定的。基于线性叙事的影响及其所生产的意义体现了传统电视节目“冷媒介”的特征,观众事实上并不需要有太多思考亦不需要开展参与式活动。自2016年以来,虚拟现实新闻和沉浸式新闻的生产实践强调影像内容的“互动性”和“临场感”(苏米尔,2022),观众的思考和参与行为被调动起来并使得各类沉浸式媒介表现出“热媒介”的特征。作为新样态的容积捕获新闻,其延续了既往沉浸新闻的叙事特征,同时又通过空间叙事的逻辑结构重塑了新闻用户的主体性。
(一)容积新闻的立体景观与空间叙事逻辑
在叙事文本中,时间和空间是重要的双重向度,对于传统新闻叙事实践而言,空间和时间往往并非保持一种平衡关系,虽然空间问题并没有被完全置之不理,但文本中的空间问题并没有得到像“时间”一样的重视(卓拉·加百利,李森,2009)。根据空间叙事理论,任何一种叙事方式都存在空间性,比如,文字通过叙述、对话和散文等形式能够构建叙事中的静态实体空间、物体或事件发展演化的空间,并通过语言、视角和叙述顺序来塑造文本表达的空间。而相较于文字叙事在空间塑造中对“想象/联想”的依赖来说,图片和视频等视觉叙事形式则旨在通过增加信息内容,减少观者的参与和“想象/联想”的困难。但是,传统的视频叙事主要通过剪辑将不同的镜头进行“蒙太奇式”的拼接,镜头之间的运动和间隙以及屏幕画框都限制着观者的视线范围,即观者感知和想象的时空。以电影作品为例,相较于传统蒙太奇剪辑的电影作品而言,VR电影的叙事除了沉浸性、交互性显著外,也表现出空间展示能力的增强,这给空间叙事带来了可能性与可行性(李莹利,2022;徐涛,吴克端,2022;杨桃莲,钟浩,2022)。
然而,目前依托于360°摄影技术的VR电影或其他影视作品,虽然能通过多视角的视觉信息的拼接而搭建具有纵深关系的类立体空间以扩大视野、增加空间的信息量,但是因其多视角拼接的特性,360°视频塑造的观者空间与观者日常生活所体验到的时空仍有本质不同。基于容积捕获技术的容积新闻则更具有平衡空间叙事与时间叙事的潜质,在六个自由度和深度数据动态捕获的加持下,容积新闻塑造的叙事空间更为接近现实中的时空,也能够唤起用户已有的叙事联想能力。同时,容积新闻的文本表达不再依赖传统叙事中常见的时间标记,如借助“很久以前”等提示语句来推进线性叙事,而是转向通过吸引用户“进入”虚拟的新闻场景之中,依托用户的探索和发现来推进非线性叙事。在这一叙事逻辑下,空间不仅成为事件的背景,更是基本的交流媒介(Hameed & Perkis, 2018)。这种信息要素更为丰富、更具“故事性”的空间叙事建构了新闻的立体景观,让容积新闻不仅能持续获得用户注意力,且能通过提供更多的新闻信息增量让用户真正“身临其境”地触达具体新闻事件,这打破了传统新闻文字叙事依赖读者想象的限制,让用户沉浸于拟真空间中,通过身体的参与和空间感知能力获得沉浸感和临场感。
(二)“沉浸”之后:介入式新闻消费的体验再造
从容积新闻的传播效果和消费体验层面来看,容积新闻通过“空间叙事”逻辑进一步拓展了传统意义上的“沉浸”、“临场”等概念,新闻用户从单一的沉浸开始介入到新闻现场和新闻事件之中。“沉浸新闻”(Immersive Journalism)的概念最早由美国前《新闻周刊》记者诺妮·德拉佩纳(De la Pena)及其团队提出,即“可以获得新闻故事中所描述事件或情况的第一人称体验的新闻产品”(De la Pena et al., 2010:291)。实际上,学者们并没有对沉浸新闻形成明确统一的定义,与此相关的“VR新闻”(又称虚拟现实新闻)、“全景新闻”等概念也多成为沉浸新闻的代名词(Susana & María José Benítez, 2022;董卫民,2021)。
容积新闻的诞生一方面增强和延展了新闻沉浸体验,既往沉浸新闻的制作主要依赖360度摄影,经过拼接而成的球状全景影像边缘清晰度并不高,且摄像机往往处于固定位置,用户观看的视角基于固定的点位并会被出镜主持人牵着走,即只能以固定姿势“转头”观看,无法在“行走”中保持沉浸。另一方面,容积新闻还突破了此前人们对于虚拟现实和沉浸新闻的描述与理解,在容积新闻的界面中,用户可以主动移动身体同被摄对象开展互动,被摄对象和新闻场景都具备了可触摸的深度,这意味着容积新闻实现了用户从单一沉浸到介入式消费的体验再造。以《纽约时报》研发团队(NYT R & D)制作的《多利安飓风与沙洲社区》为例,《纽约时报》的容积捕获技术团队来到飓风过后的现场,利用无人机全方位拍摄地面各类残破的建筑,然后通过3D建模还原再现诸如房间内损毁的沙发桌椅等物件,用户可以通过头戴设备“步入”房屋内部,近距离“触碰”各类残骸(此前虚拟现实新闻仅能够呈现灾难全景,无法展示被摄对象的三维立体肌理)。
介入式新闻消费的实现基础是“容积新闻”这一数字新闻的新样态对于现实新闻场景空间仿真感的提升,用户与新闻场景、新闻人物的边界被逐步打破,用户和生产者得以实时共同创作和体验新闻作品。其中,容积新闻为用户提供了一个能让用户感知到的虚拟空间环境,即容积新闻所塑造的场景具有物质性、可信性和可感知身体所有权的空间属性特点,这彰显了传统意义上虚拟环境框架中较为缺失的空间存在特性(Slater & Wilbur, 1997)。从前文所述的空间逻辑来看,容积新闻是超时空的,其赋予了用户将已有认知与虚拟空间实践联结起来的可能性,从这点来说,容积新闻突破了既往沉浸新闻的指征,从而具备成为独立的、成熟的数字新闻样态的实践可能。
(三)用户主体性在容积新闻中的重塑
既往虚拟现实技术和沉浸新闻的出现打破了原有蒙太奇式的叙事逻辑,虽然依托360度摄像机所得的全景视频在一定程度上抑制了生产者对叙事的控制,但是全景摄影技术的视角单一性也意味着后期制作仍需要画外音、文字,甚至是出镜主持人来建构完整的语境,这限制了用户在虚拟空间的行为自主性,新闻用户的实际体验和对意义的理解依然是由生产者界定的(郝昌,马俊,2021;常江,2018),用户也会因此有“出戏”的感觉而让沉浸感断裂。
容积新闻的动态捕获和六度自由性能优势则进一步打破了传统视觉态新闻的叙事逻辑,在以容积视频为基底的容积新闻产品中,观众真正意义上成了具有完全自主性的“用户”(刘鹏,2020),如何获得新闻报道的整体故事、何时与新闻报道中的人物进行对话也都将取决于用户的选择。基于“技术可供性”的视角,用户通过对技术性能的感知得以在虚拟新闻场景中自由移动视角、自主探索新闻环境、完成与新闻报道对象的交互式体验,这种从沉浸到介入、充满参与感的空间消费体验与以往线性的、被动的和以生产者为本位的消费体验迥然不同。基于此,容积新闻不仅形成了新的新闻叙事方式和逻辑,还将促成和培育新的用户消费体验方式,即新闻事件互动介入的、虚拟化具身式的新闻体验方式。正如《多利安飓风与沙洲社区》的制作者所指出的,新闻业的宗旨之一是尽可能忠实地记录历史,摄影记者一直在寻求新技术来帮助他们捕捉更多细节并更快地发布新闻,传统摄影记者在2D相机镜头限制下开展工作已近200年时间,容积捕获技术的出现极大拓展了新闻场景的空间深度,用户和观众不但能看到以往新闻图片中的新闻场景而且还能“穿越”其中(Boonyapanachoti et al., 2020)。事实上,容积新闻对传统视觉态新闻叙事方式和逻辑的改变程度远比互联网对印刷新闻的叙事改变更为剧烈,当然,这种剧烈的改变并不必然意味着更好传播效果的实现,传统新闻编辑室在容积新闻生产中主动或被动失去的叙事控制权可能会带来新闻传播的负面效果,比如用户陷入“无意义”的虚空或社会共识的消解。
五、容积捕获与索麻体验困境
容积新闻在对传统视觉新闻的内容场景、叙事逻辑和新闻样态带来颠覆性变革的同时也存在着一定隐忧——尽管容积新闻高度还原了客观世界的场景,提升了用户的互动性体验效果,但这也给基于容积捕获技术产制出的容积新闻产品带来了潜在的伦理问题。一方面,容积捕获可能因其带来的过于逼真的仿真体验而将新闻报道的负面影响成倍放大,从而影响用户和社会的心理健康,甚至给记者和编辑室带来威胁。特别是对于涉及灾难、死亡等议题的新闻报道来说,如果不能妥善处理容积捕获的动态影像,而一味诉诸感官刺激和体验,则极易引发人们的心理创伤(trauma)。另一方面,容积视频中的3D影像和深度信息具有可复制性和可编辑性,对这些数据的不当处理可能会引起深度造假(deepfake)和隐私侵犯等信息伦理问题(Mystakidis, 2022),事实上,深度造假的数字技术已然打破了传统新闻机构对经验事实的把控,导致“即使眼见也不能为真的困境”(白红义,2022)。上述这些隐忧问题还需要我们针对容积捕获技术和容积新闻制定出细致合理的标准和道德规范。需要说明的是,这种隐忧其实早已暴露在近年来的虚拟现实新闻和沉浸式新闻生产实践活动中,容积捕获技术、容积视频以及容积新闻产品的出现无疑放大了诉诸感官体验的数字技术的局限及其可能后果,但也正因此,新技术的迭代也再度赋予我们检视和研判视觉态新闻乃至数字新闻未来走向的入口。
如果说以上是对容积新闻可能引发伦理问题的预测,那么结合当前较为有限的容积新闻实验案例来看,更应引起关注的是容积捕获技术是否真正能够带来真实性的还原以及可能引发的伦理问题。从360度摄影到容积视频,人类的视觉范围逐步扩张且早已突破了人体肉眼视域的生理极限,但是这种视域的扩张是否能带来进阶的“沉浸感”则值得存疑。容积捕获技术的六度自由和实时动态捕获特性所能创造的全身沉浸的体验存在危险性,这是否会成为赫胥黎《美丽新世界》中“飘飘欲仙的、麻醉性的、欢愉的幻觉”的“索麻”,并成为个人逃避现实、消弭神圣和世俗界限的技术通道?人类其实从未舍弃过对人际传播体验的渴望(段鹏,李芊芊,2019),容积新闻对于现实中的人际传播所产生的影响也应被新闻从业者和研究者进一步关注。
不可否认的是,视觉新闻在塑造景观和塑造拟态世界中起到重要作用(石谷岩,2018),在由技术营造的虚拟现实环境中,用户的沉浸状态是外部情景和主体认知的协商结果,从360度全景视频到容积视频的突破只是意味着外部情景世界的仿真和再现程度的增强,但最终的使用体验依然需要考虑用户对容积视频形态的认知和在自主性的主导交互行为中所获得的满足感。当前已有部分学者在研究中发现所谓“沉浸感”可能只是媒体从业人员的主观想象,事实上一些用户并没能在其中获得真正沉浸(常江,2018)。对于“沉浸感”的质疑以及对索麻体验的伦理性担忧反映出用户主体认知与沉浸新闻的不协调性,即用户并不习惯这种呈现视听新闻的方式。事实上,沉浸感本身也是比较复杂和含混的概念,有学者指出沉浸感不仅包括系统沉浸感(system immersion),也包括吸收与参与(absorption & engagement)、战略沉浸感(strategic and tactical immersion)、想象沉浸感(imaginative immersion)、挑战沉浸感(challenge-based immersion)、幽默沉浸感(ludic immersion)和叙事沉浸感(narrative immersion)(Hameed & Perkis, 2018)。这提醒我们应反思此前研究中关于“沉浸感”的笼统表述可能忽视了不同技术及行为主体的差异性,沉浸感并不一定是“越现实,越沉浸”的,而更可能是和叙事中的可信度相关的,这也回应了“为什么对外界的仿真并没有带来用户的沉浸感提升”等质疑。同样,容积新闻也面临着类似的悖论性问题:容积新闻所带来的潜在消费体验是否能被用户所感知到?从沉浸到介入的转变是否真的能够无限接近新闻现实场景从而增益用户的信任感?
基于此,对于容积新闻这一“新新闻样态”潜在的风险而言,还需要具体考虑两方面,一是诉诸容积捕获技术的新闻产品可能提供了用户并不需要的信息,用户对信息认知不足的局限会使得容积新闻成为一种信息过载的产品甚至会使用户陷入索麻困境(Cheng, Wang & Zhao, 2022;Hidalgo, Majuelos & Olivares-García, 2022)。虽然有学者从“心流”模型的视角提出,依托虚拟现实技术的作品如果提供的信息容量越大、创作过程越复杂,那么对受众官能的调动和思维的激发越活跃,从而有助提升用户的沉浸程度(苏米尔,2022),但用户的认知能力未必能处理如此复杂的信息,结果反而可能是容积新闻产品因信息过载而加重了用户的心理和认知压力,最终用户可能以“不舒适”为由退出容积新闻的体验。特别是当一些媒体已经开始考虑将容积捕获技术运用于新闻报道当中时,容积捕获所带来的新闻分发、流通、反馈以及信息过载等问题值得关注。二是人们在电视新闻时代形成了依赖于“意义喂养式”的被动视听新闻接收习惯,在容积新闻的观看体验中可能并不习惯主动探索和寻找意义。那么容积新闻的流通和消费是否能改善或者培养用户新的新闻视听习惯仍存在较大不确定性,即便如前文所述“未来世界将是‘容积化’的世界”,但个人的认知习惯和新闻消费的习惯养成仍需时日。此外,容积新闻需要个人更多的“生理带宽”去获得所谓的主导性体验,也并不是所有的新闻内容都适用于以容积视频的形式呈现。对于个体用户来说,那些难以通过文字和图片这类二维内容获得感受的新闻题材,比如登月、北极南极探险、自然灾害等或许是容积新闻更适宜的报道对象或议题。
六、结论与讨论
本研究通过对容积捕获技术的学理性引介和国外媒体的实验性案例分析,结合虚拟现实新闻、沉浸式新闻以及视觉新闻的发展逻辑,对容积捕获及其可能给数字新闻带来的创新进行阐释。容积新闻的性能优势在于,一方面基于对被摄对象和运动轨迹的六度还原,容积新闻能够模拟和再现更加逼真的客观世界环境;另一方面,结合计算机算法生成的动态3D全息空间模型为新闻用户的交互体验提供了可能。尽管业界应用容积捕获技术开展新闻报道的实践才刚刚起步,但不妨碍我们以预测和批判的视角讨论容积新闻作为一类新型数字新闻样态所潜在的风险隐患和伦理问题。在此基础上,本文进一步提出以下问题以供探讨。
从VR、360度视频到容积捕获技术,新闻业界对于新技术的吸收、借鉴和采纳不可不谓不迅速,但在新技术的应用过程中往往表现为一种“实验性”——数字技术的使用高度依赖于新闻媒体机构聘请的专业工程师(往往缺少新闻教育或新闻报道的经验)及其在新闻编辑室开展的各类探索性实验。这是由于在短时间内,包括容积捕获等在内的前沿技术使用成本相对较高、用户接受的门槛也较高。也正因如此,自容积捕获技术问世后,其使用主体依然主要集中于Intel、Meta和谷歌等科技巨头,而像美联社和布朗研究所这类新闻专业领域的主导参与者则较少。无论是此前的沉浸式新闻实践,还是当下更为前沿的容积新闻生产实践,新技术使用不可避免地需要跨学科、跨组织和跨国家地域的合作。如前文所述,容积捕获进入新闻生产领域后,将改变传统的叙事方式和叙事逻辑,这需要擅长图像艺术、游戏开发和动作设计等领域的学者和新行动者共同参与,唯此才有可能实现数字新闻的可持续性创新。另外,对于高成本的新技术应用和新技术人才培养来说,倡导新行动者参与的数字新闻协作也更容易发挥技术和人才要素的聚合性优势。
数字时代的新闻创新依托数字技术的发明迭代和实验探索,促成了新闻业自身“实验式文化”的兴起。从实验到实践,数字新闻的创新还需要跨越不少障碍,对容积新闻而言,如何确立新闻生产的规范?如何重新建构容积新闻从业者的身份认同?如何在技术变革的背景下重塑新闻业的职业权威?新闻从业者和研究者又该如何积极开展对话、促进理论与实践的有效结合?这些问题既是对每一次新技术之于传统新闻业影响的发问,同时也是数字新闻创新发展应关切之方向。正如王辰瑶(2021)所述,新闻创新研究应关注对新闻业未来有影响或有助益的“新行动”,在环境变化、价值规范和经验世界中理解、讨论、探索新闻创新。
在新闻价值判断等具体微观问题上,“可分享性”(shareability)“不寻常性”(unusualness)“猎奇性”(singularity)(Harcup & O’Neill, 2017;Bender et al., 2016:128;Dick, 2014)是数字时代新闻价值判断呈现的新面向,那么容积新闻的价值判断是否也遵循这些标准?对于注重“沟通性”与“共情性”的中国新闻价值判断标准而言,容积新闻的价值标准又该如何描述和阐释?此外,我们也应意识到虽然容积新闻具备重塑真实性环境的潜力,但新闻从业者对于事实本身的调查依然重要,有关新闻真实性问题的探讨也迎来了理论检视的新机遇。未来研究还可以从用户接受层面探究用户在容积新闻中的感知效果,从而结合实证研究提出容积新闻质量评价和传播效果评估的有效标准。对于容积捕获这一前沿技术的研究还应避免技术中心主义的立场,研究视角应关照智能技术带来的技术人化语境,从而更好地助力数字新闻的全球性创新实践。■
注释:
①本文使用“容积捕获”一词直译“volumetric capture”这一英文表述,主要考虑到“容积”是“volume”一词对应的中文词汇,能够有效涵盖依托容积捕获技术所拍摄的各类三维物体或生命体。当前一些中文新闻报道中还会使用“动作捕捉”(简称“动捕”)这一表述,但该词仅囊括了能够发出动作的生物体,却没有包含其他一般性无生命物体,而无生命物体或空间环境也是容积捕获的对象之一,因而本文使用“容积捕获”这一中文表述。
参考文献:
白红义,王嘉怡(2022)。数字时代新闻真实的消解与观念重构。《新闻与写作》,(7),14-25。
常江(2017)。蒙太奇、可视化与虚拟现实:新闻生产的视觉逻辑变迁。《新闻大学》,(1),55-61。
常江(2018)。导演新闻:浸入式新闻与全球主流编辑理念转型。《编辑之友》,(3),70-76。
董卫民(2021)。沉浸式新闻(VR/AR):演进历程、创新路径及行业影响。《未来传播》,(4),41-47。
段鹏,李芊芊(2019)。叙事·主体·空间:虚拟现实技术下沉浸媒介传播机制与效果探究。《现代传播(中国传媒大学学报)》,(4),89-95。
郝昌,马俊(2021)。基于AI和3D扫描技术的VR全息直播系统的设计实现与应用。《广播与电视技术》,(11),21-27。
李鲤,吴瑾(2020)。沉浸式新闻:概念辨析、叙事重构与观念反思。《中国出版》,(18),21-25。
李莹利(2022)。虚拟现实电影空间叙事与调度方法研究。《西部广播电视》,(18),109-112。
刘鹏(2020)。“全世界都在说”:新冠疫情中的用户新闻生产研究。《国际新闻界》,(9),62-84。
石谷岩(2018)。视觉文化中的反凝视及其批判性思考:基于对《新闻联播》“中美贸易战”报道的分析。《新闻春秋》,(4),87-92。
苏米尔(2022)。VR影像“交互式沉浸”理论溯源与时空衍化。《中国出版》,(3),36-40。
王辰瑶(2021)。站在新起点上的新闻创新研究。《新闻记者》,(11),3-7。
王润泽(2022)。实践转向与元问题聚焦:对新闻学知识体系创新的思考。《新闻记者》,(2),14-19。
王晓培(2022)。数字新闻生产的视觉化:技术变迁与文化逻辑。《新闻界》,(2),12-20。
王璋(1919)。为今日报界进一言。《东方杂志》,16(5),10。
徐涛,吴克端(2021)。基于空间结构的VR电影叙事语言研究。《电影文学》,(4),19-24。
杨桃莲,钟浩(2022)。空间叙事视域下VR电影叙事创新研究——以VR电影《黑客军团VR体验》《全侦探》为例。《东南传播》,(9),23-26。
卓拉·加百利,李森(2009)。朝向空间的叙事理论。《江西社会科学》,(5),32-43。
BenderJ. R.DavenportL. D.Drager, M. W.& Fedler, F. (2016). Reporting for the Media. 9th ed. Oxford: Oxford University Press.
Boonyapanachoti, M.CohrsJ.KimM.Koppel, N.McKeague, M.Porter, L.Z.Rambelli, G. & WilhelmB. (2020). Reconstructing Journalistic Scenes in 3D. Retrieved July 212022from https://rd. nytimes. com/projects/reconstructing-journalistic-scenes-in-3d.
Brown Institute (2021) Announcing “Volumetric Reporting”: Talks and Workshops on Applications of Volumetric Capture in Journalism. Retrieved July 152022from https://brown. stanford. edu/volumetric-reporting-talks-and-workshops-on-applications-of-volumetric-capture-in-journalism/.
Cheng, Y.Wang, Y.& Zhao, W. (2022). Shared Virtual Reality Experiences During the COVID-19 Pandemic: Exploring the Gratifications and Effects of Engagement with Immersive Videos. International Journal of Environmental Research and Public Health, 19(9)50-56.
Craig, E. & GeorgievaM. (2018). VR and AR: The Art of Immersive Storytelling and Journalism. Retrieved May 202022from https://er.educause. edu/blogs/2018/2/vr-and-ar-the-art-of-immersive-storytelling-and-journalism.
De la Pena, N.Weil, P.LloberaJ.Giannopoulos, E.Pomés, A.Spanlang, B.Friedman, D.Sánchez-Vives, M.& Slater, M. (2010). Immersive Journalism: Immersive Virtual Reality for the First-person Experience of News. Presence: Teleoperators and Virtual Environments, (19)291-301.
DickM. (2014). Interactive Infographics and News Values. Digital Journalism, 2(4)490-506.
Emblematic(2017). After Solitary. Retrieved July 222022from https://emblematicgroup.com/experiences/solitary-confinement/.
Hackl, C. (2020). What Is Volumetric Video and Why It Matters to the Enterpris. Retrieved May 222022from https://www. forbes. com/sites/cathyhackl/2020/09/27/what-is-volumetric-video--why-it-matters-to-the-enterprise/?sh=6964f16a5f03.
HameedA. & Perkis, A. (2018). Spatial Storytelling: Finding Interdisciplinary Immersion: 11th International Conference on Interactive Digital Storytelling, ICIDS 2018Dublin, IrelandDecember 5-8.
HarcupT. & O’Neill, D. (2017). What Is News? News Values Revisited (again). Journalism Studies18(12)1470-1488.
Hidalgo, A. L.Majuelos, I. M.& Olivares-García, F.J. (2022). The Decline of Immersive Journalism in Spain since 2018. Revista Latina De Comunicación Social, (80)15-27.
MachkovechS. (2017). Volumetric Capture Is the Swift Kick in the Butt VR so Desperately Needs. Retrieved July 152022from https://arstechnica.com/gaming/2017/03/volumetric-capture-is-the-swift-kick-in-the-butt-vr-so-desperately-needs/.
Marconi, F. & Nakagawa, T. (2021). The Age of Dynamic Storytelling: A Guide for Journalists in a World of Immersive 3-D Content. Retrieved May 302022from https://www.amic.media/media/files/file_352_1328.pdf.
MuensterS. (2022). Digital 3D Technologies for Humanities Research and Education: An Overview. Applied Sciences, 12(5)2426.
MystakidisS. (2022). Metaverse. Encyclopedia, 2(1)486.
New York Times (2018). The Times Introduces First Volumetric Augmented Reality Experience. Retrieved July 152022from https://www.nytco.com/press/the-times-introduces-first-volumetric-augmented-reality-experience/.
O’Dwyer, N.YoungG. W.JohnsonN.Zerman, E. & Smolic, A. (2020). Mixed Reality and Volumetric Video in Cultural Heritage: Expert Opinions on Augmented and Virtual Reality. In Rauterberg, M. (eds) Culture and Computing. HCII 2020. Lecture Notes in Computer Sciencevol 12215. Springer, Cham.
Pagés, R.AmplianitisK.Monaghan, D.Ondrej, J.& Smolic, A. (2018). Affordable Content Creation for Free-viewpoint Video and VR/AR Applications. Journal of Visual Communication and Image Representation, (53)192-201.
R&D (2022). Showcasing 29 Published Experiments in AR Storytelling. Retrieved July 152022from https://rd. nytimes. com/research/spatial-journalism.
Roberts, J. C.ButcherP. W. S.& Ritsos, P. D. (2022). One View Is Not Enough: Review of and Encouragement for Multiple and Alternative Representations in 3D and Immersive Visualisation. Computers11(2)20.
Rossi, S.ViolaI.Toni, L.& P. CesarP. (2021). A New Challenge: Behavioural Analysis Of 6-DOF User When Consuming Immersive Media. IEEE International Conference on Image Processing (ICIP)3423-3427.
Schreer, O.Feldmann, I.RenaultS.Zepp, M.WorchelM.Eisert, P.KauffP. (2019). Capture and 3D Video Processing of Volumetric Video. In IEEE International Conference on Image Processing (ICIP). 4310-4314.
SlaterM. & Wilbur, S. (1997). A Framework for Immersive Virtual Environments (FIVE): Speculations on the Role of Presence in Virtual Environments. Presence Teleoperators Virtual Environ6(6)603-616.
SusanaH. D.& María José Benítez, d. G. (2022). Immersive Journalism: Advantages, Disadvantages and Challenges from the Perspective of Experts. Journalism and Media3(2)330.
TIME (2019). Inside the Amazon: The Dying Forest. Retrieved July 152022from https://www.nytco.com/press/the-times-introduces-first-volumetric-augmented-reality-experience/.
van der HooftJ. & Vega, M. T.WautersT. & Timmerer, C. & BegenA. C. & TurckF. D. & Schatz, R. (2020). From Capturing to Rendering: Volumetric Media Delivery with Six Degrees of Freedom. IEEE Communications Magazine. 58(10)1-7.
杨奇光系中国人民大学新闻与社会发展研究中心研究员、中国人民大学新闻学院讲师;苏娟系中国人民大学新闻学院硕博连读研究生。本文为中国人民大学科学研究基金(中央高校基本科研业务费专项资金资助)项目“数字时代新闻价值的历史流变与理念创新研究”(23XNA031)的阶段性成果。