上周三，我们举办了第七期纪录Talk“新媒体纪实影像创作”，邀请到三位年轻的新媒体艺术家吴桐、Carrie WANG和刘广隶与我们分享了当下新媒体影像创作有哪些新形式，不同媒介的优势和局限，他们各自如何运用新媒体技术进行纪实影像创作，如何运用技术叙事等内容，让我们对新媒体影像创作有了更多的了解。
演讲者
吴桐
https://www.tongwumedia.com/work △ 讲座截图
什么是新媒体？
吴桐 ：新媒体 在现代生活语境中，有很多不同的定义。 在创作的框架下，我们谈到新媒体，强调的“新”字指的是在创作过程当中，我们使用有别于“旧”的传统媒介的新兴创作媒介。 新兴的媒体我们可以理解为是基于数字技术在软硬件上的发展，网络技术以及其他现代信息技术或通信技术，具有互动性和融合性的媒介形态。
新的媒体的定义会随着时代的变化不断更迭， 但大部分新技术的发展都是跌宕起伏的，并不是直接线性的前进。
△ 讲座配图 ©吴桐
什么是新媒体艺术？
吴桐 ：新媒体艺术，是一个综合性术语。 概念本身并不新，但随着上世纪五六十年代数字技术的兴起，逐步形成这样的一个艺术门类。 “新媒体艺术”这个概念被提出后，它的发展就和时代的数字技术发展紧密相连，往往是那些源自于科学研究或者工业生产上的新兴技术来进行创作。 并通过新的媒体、新的数字技术以及新形成的交互形式来制作、传播和体验的创作形式。
像电子艺术、交互艺术、计算机动画艺术，网络艺术、故障艺术等等的类别。 随着近几年游戏引擎还有实时动态追踪技术的发展，以及对新媒体艺术门类关注的热度上升，大规模沉浸式的体验成为一种非常吸引眼球的新的艺术体验形式。 TeamLab这种沉浸式艺术展就是一个非常典型的例子。
△ 讲座配图 ©TeamLab
新媒体艺术，是艺术和科学相结合的产物。因此，很多新媒体的作品在探索技术之余，也都表现出了对新兴技术本身还有这种不断变化、复杂的表达形式的关注和反思。当然，它也会常常介入传统媒介的艺术实践。 新科学在各种艺术实践中经常充当了创新的引擎，灵感的储存库。而反过来，新媒体艺术对于科技的创意性使用，也促进了新兴技术更快地去度过早期的起伏，进入更为成熟的一个阶段。所以它们其实是一个互为补充、互为促进的关系。
以新的媒介去反思，去介入传统的艺术创作的例子。 意大利的艺术家大卫·夸尤拉（David Quayola)，他的作品以机械为媒介去重新演绎古典时期的人去创作雕塑的这样的一个制作过程。 大家在北京SKP-S里面可以看到这个作品。
△ 《雕塑工厂》 ©David Quayola
新媒体影像艺术”新“在何处
吴桐 ： 对于新媒体艺术的观众而言，新媒体为影像提供了全新的传播载体，你可以以非常新颖的方式去体验一个作品。而对于创作者来说，新的数字技术和媒体培养的一些新的交互习惯 ，比如观众开始习惯戴VR头盔，或者是开始习惯AR（增强现实）是一个怎样的交互形式。这些技术培养的新的交互习惯，也为创作者提供了一个新的构造故事的方 法。 同时，新的媒体和新的技术本身也提供了内容创作的工具。 虚拟现实 、 增强现实 、 网页 ，还有 交互装置 是四个现在在新媒体的艺术节展上比较常见呈现作品的方式。
VR虚拟现实 ，我们通过佩戴虚拟现实的头显，追踪用户的头部和手部的运动数据，去产生一个虚拟世界，提供用户关于视觉和听觉感官的模拟。它的亮点在于，你可以在VR世界里面构建一个不受物理空间、时间限制的沉浸式叙事，同时它也提供了一个角色扮演类的观影形式。创作者在创作过程中，可以决定让观众何时何地以及何种形式或者角度去介入。这就极大丰富了我们在创作一个故事中可以想象的体验。 当然VR到目前为还是有很多局限性，比如沉浸式的体验难以共享。对展览的环境要求比较高，比如周遭会有很多的人排队或者在走来走去，这就非常影响完全沉浸的观影体验。 同时，它创作的周期会比较长，创作的难度大，而且相对付出的创作成本更高一些。 最后现在依然还是没有办法解决的，VR头显的舒适度相对来说差一些，这就限制了你在VR中能够去构造的叙事长度。 ▼ 作品分享： 加拿大日籍艺术家Randall Okita（冲田兰道尔）的VR作品《The Book of Distance》。
△ 《距离之书》（The Book of Distance , 2020）海报 ©NFB
这部作品观众扮演的就是一个沉浸式的观察者，房间里有很多当时的档案和照片，你可以在虚拟世界中拿起来阅读。其中有说到有很多过往只是存在在记忆当中，所以就需要通过像3D建模等方式去重新演绎这段记忆。 AR增强现实 ，借助手持或者头戴的设备输入影像的位置，去分析你跟现实世界的相对位置，或者是一些相对的地点，让屏幕上的虚拟的世界能够和现实世界的场景相结合。因为它常常借助的是手持设备去实现各种交互，像手机或者是平板这样的手持设备的高度普及，以及这些设备本身内置就有很多功能，所以AR在商业上作为导航，或者在社交媒体上的滤镜，在游戏中和在利用新媒体去做新闻报道的这些领域，它的应用其实更加广泛。 与VR相比，AR有一个非常不同的亮点，就是它其实适用于在地性非常强的故事，基于特定场所、特定地点的这种影像体验和记忆史的故事。 同时，因为你只是手持一个设备，非常方便你去引导观众利用空间的移动去进行叙事的创作和进行一些抽象概念的解释。相对于VR的创作，AR的创作成本更小一些，难度更低一点。 当然，创作的周期也就更短一点。 它的局限性当然也很明显，因为本身媒介的原因，对于中长度的叙事性支持相对较弱。 最大的一个问题，在我看来它难以和我们日常当中使用手持设备的体验区分开来。 这就导致了当我们在体验一个AR作品的时候，很难以一个非日常的心态去观看一些作品，也就限制了许多故事题材的创作。 第三就是关于它的观影体验，受制于手持设备的屏幕尺寸，当你拿着手机在互动的时候，可能声音听得不清楚，又或者是你可能看到的变化仅仅存在于你的屏幕中，当你放下的时候，你的观影体验就会被暂时的切断。 而刚才提到的VR作品《The Book of Distance》在Oculus 和Viveport的平台上线，也做了一个电脑的版本，在Steam上有。 所以VR的故事适配性还是相对比较高的，而AR作品就比较难适配到其他的媒介。
△ 《南华一百年》 ©纽约时报
《Race a Gold Medalist》（挑战短跑冠军）是通过百米奥 运金牌的运动员的跑步数据，鼓励大家对短跑冠军去发起一个挑战，跑一跑通过AR展现你们之间的差异。
△ 《挑战短跑冠军》 ©纽约时报
网页 ，随着互联网的普及，网页成为了一个非常普遍的传播载体。网页本身的交互语境，使它可以在前端编程语言的艺术介入下，成为一个非常有想象力的事实载体。 它的亮点也很明显，网页开发其实是一个高度成熟的一个开发环境。 而且网页非常易于分享，同时你也可以把它适配到不同的展示环境中。 我个人非常喜欢艺术家Yehwan Song，她在社交媒体上更新的内容对网页有一些有趣的想象。
网页的局限性和AR有点相似，它难以和日常使用电脑端或手机端设备的体验区分开来。 其实亮点跟局限性之间的边界没有太明确，完全取决于你想要用网页去做一个什么样的故事 。
交互装置 ，将观众定义成了作品的一部分，它的亮点就是你可以通过互动性去构建特定的叙事体验，互动也可以成为故事本身在讲述的一个重要的部分。而交互装置的一个局限性，就是它没有办法像其他三个媒介一样，对观众的体验有一个时间上的线性控制。我们走进一个有交互装置的展览空间的时候，观众可能在任何一个时间段去体验交互装置，所以可能你并没有办法确保观众在体验上能够完全按照你所设计的流程去体验。当然你也需要将一些观众无法预测的反应纳入创作的一部分，观众没有做一些相对的反应的时候，整个故事表达的完整性和有效性就大打折扣。 交互装置的创作成本非常高，包括制作的成本，安装的成本，还包括展出后存放的成本。 通过创作理解人与技术的关系
吴桐 ：我的个人互动影像装置《环形监狱》（Penopticon，2019），是在2019年阿姆斯特丹国际电影节Doc Lab单元的参展作品。2018年我们开始观察到全球监控摄像头数量增加和功能的升级，人在日常生活中被观察，成为了一个新的生活日常。2016年开始，谷歌、微软、亚马逊等科技公司，开始提倡面向个人用户的机器学习的模型服务，例如人脸识别开始变得更大众化和日常化。但是相对来说，对机器学习模型使用的规范和使用的道德讨论又相对滞后。 在这个背景下，我们意识到被观察成为了生活的日常，这样的单向过程无法了解观察者发生了什么，而一直处于被观察者的角色。所以我们希望能够通过一个艺术作品去创造一个双向的观察体验，观察者同时也能成为一个被观察者，这两个身份能够有一个互相的流动。 △ 《环形监狱》阿姆斯特丹展厅 ©吴桐
当时在阿姆斯特丹作品的展厅设计，右边三个屏幕形成的一个略微凹形的屏幕，左边整个走廊是我们合作的摄影艺术家的作品。作品是关于双胞胎的，有很多镜像，或是双生的概念一直在反复出现在图片中。 我们在整个走廊上布置了4个监控摄像头，当观众走到我们最后三个屏幕的装置面前时，我们在上面放了一个小的网络摄像头，这个摄像头会重新再去捕捉一次你的人脸。当小男孩走到我们装置面前时，屏幕上开始显出他的照片。同时其他的几个格子里面展示的是我们在监控大街上的监控摄像头预先录制的镜头，共同构建了一个时时刻刻在监视这样的一个感觉。 旁边又有一个小女孩走过来，她的脸也开始出现在屏幕。如果两个人走过，是能够把两个人的监控照片都提取出来，呈现在屏幕上的。最后当所有的观众都离开时候，整个屏幕就会又回到最初始的状态，循环播放这些监控的视频。 这是我们第三次展览作品时的设计，中间也经过了很多迭代。一开始我们的屏幕设计是将投影投在一个白色的纸板上，我们用白色的纸板去拼成一个略微凹形的，像半球形的一个形态。
△ 《环形监狱》设计初期概念图 ©吴桐
在不同节展展览的时候，我们都要去考虑现实的情况，根据当时的场景去做一些动线的重新布置，或者考虑当时实际的灯光和网络情况，对整个作品去做一些调整。 在展览的实际过程中，和预想不同，我们发现大家对于人脸识别更多的是充满了喜悦和快乐。他们会经常过来问我监控摄像头放在哪里，要去哪儿多走一走才能被拍到更多的照片。这其实跟我想要讲的故事初衷产生了一点矛盾，但是这也就促使我去思考，可能很多时候我们对于一个技术的理解只是存在，我们会有非常片面的一些理解。 当你在创作作品的过程中，观察观众的反应，理解他们为什么会对技术产生这样的情绪，其实会帮助你在后续复盘作品，或者是在创作下一个作品的时候，更好地去理解人和技术之间到底能构成怎样一个关系。 如何选取合适的媒介进行创作
吴桐 ：要让自己回归到一个讲故事的人的角色里面， 在创作过程在平衡这故事性和新奇性的时候，最后还是要回到”故事性“这样一个核心的创作思路。 我觉得要感受媒介本身构建的语境，我为什么需要媒介？ 可以参考我提到的媒介的亮点和局限性，你要去感受媒介它本身构建的语境是不是和故事适配的，以及最后清楚你希望你的观众从作品当中去感受什么，当你观察到你的观众在作品中得到的感觉和你实际想要构建的故事有差异的时候，其实这就是一个非常好的参考，去重新调整自己叙事的方法。
演讲者
Carrie Wang
https://carriesijiawang.com/ △ 讲座截图
人工智能带来的思考
Carrie Wang :《和艾利克斯的一场面试》（http://theinterview.ai/），是一个在浏览器上的互动体验，它看起来是一个有点好笑的游戏， 模拟了一场由叫做艾利克斯的人工智能主导的工作面试。
在这个作品里，我试图去想象一个已经比较成熟的人工智能HR系统，让参与者接受人工智能HR的面试，去体会完全被数据化、量化，被他们不明白怎么运作的算法衡量价值的场景，然后去想象如果每一天你都被这种机器算法衡量是什么感受。
近两年市面上已经多了很多用人工智能招聘的真实工具，我的作品中虚构的AI体验更像是集合并夸大了这些工具的特点，来表现在这种系统当中作为被测试方一种荒诞的感受。在面试zho，艾利克斯会要求你大声说话来分析你的声音和数据，也会通过面部识别来判断你的笑容是不是够灿烂，因为公司都想要正能量的人。在面试的主体部分，你会被要求不停地玩一个不相关的图案类型游戏。 在最后一部分，艾利克斯会问你 一些很私人的问题。 面试结束后，艾利克斯会根据搜集到的数据给你一个综合评分，决定你是否被录用。 这个作品是由Mozilla基金会（foundation.mozilla.org）的创意媒体资助完成的。我 花了大概八个月的时间来构想、设计，做用户调查，反复试验，是在 2020年6月完成的。 我得到的反馈里面，最让我开心的是，有一些公司的HR会给我发私信。 他们以前觉得引进一个AI系统是很棒的事情，马上就要去做，但他们现在会稍微再想一下，或者去调查一下这个AI系统是否公平，给人的体验怎么样。 △ 《An Interview with Alex》用户反馈 ©Carrie Wang 我是用一个叫做p5.js的免费创意编程语言来写的整个代码，p5.js 是一种 JavaScript 语言，特点是很容易和网络结合，做一些浏览器里就能体验的互动。 比较值得提的是面试最后的环节，我用了网络语音识别的API来记录下用户说的一些关键词。我有一个词库，包含被认为是正能量和负能量的单词，用户说的关键词会被用来跟词库里面的词进行比对打分，用来判断这个人是正能量的还是负能量的。 整个体验的算法都是非常简单和不准确的，因为我想呈现出一种荒诞的感觉，所以艾利克斯给用户打分的环节是有很大的随机性和不合理的地方，而且面试非常难，大部分人都会得到一个失败的结果。所以这个作品想让大家突出感受到不合理的地方，让大家以后在使用这些AI产品的时候，能用一种反思的心态去思考他们到底好不好。 在语言算法中迷失又找到自我
Carrie Wang :《失而复得》是一个关于语言算法对人类语言的理解，还有一种生活在中文和英文语境之间的人的感受的作品，也 是一个表演性质的影像作品。我和我的两个朋友Stephen和Yiran 都是在中文和英文双语环境里生活，但是我们的经历又各不相同。 我是在美国读大学、工作，一直生活到现在；Yiran 是小学的时候移民到美国的； Stephen是出生在美国，长大后才开始学中文的。
△ 讲座配图 ©Carrie Wang
作品的形式是我们三个分别先用自己的母语讲述自己在中英文文化中的体验，我和Yiran母语都是中文，Stephen的母语是英文。 △ 讲座配图 ©Carrie Wang
在这种来回反复的机器聆听和翻译当中会出现很多错误，一开始错误比较少，而到后面会堆积得越来越大，这一些语言原本的意义就会逐渐消失。 但是我们三个在这个过程当中，又获得了对自己身份的另一个角度的一种认知，也感受到了我们的存在和更大的技术系统之间的关系。在作品里使用的语音识别和谷歌翻译两个AI推动的技术都是美国人开发的，你会感觉它变成了对大的社会制度的隐喻。 当我们说的不能够被准确翻译的时候，我们自己的存在也很有可能不能准确地被所谓的主流社会系统理解。我们三个总共重复了6- 10次不等。 演讲者
刘广隶
http://guangliliu.com/
△ 讲座截图
介入虚与实
刘广隶 ：这两年我的工作重心放在影像上，更多的是探寻媒介发展是如何影响我们记忆世界以及去思考未来的。
我关注的是三个“虚”，也就是“虚假”“虚构”和“虚拟”以及它们跟现实之间的关系。 在我的作品《非常，非常，非常地》中，里面的三维垃圾的模型都是我破解一个游戏得到的。虽然作品最后输出的形式是影像，但是我在制作过程中用到了不同的技术，甚至于这些技术背后的逻辑也会指引着我用不同的方式跟现实发生互动。可能我不太喜欢用“破解”这个词，实际上我是使用了别人的一些游戏资产，对我而言更多的像是在回收一些虚拟的三维垃圾。 环境议题也是大家关注了很多年的热题，但是为什么我们还需要花费很多的资源在大型的三维游戏当中去重新生产 这些所谓的垃圾，对于我们来说又意味着是什么？而我们在这些虚拟空间中的行为，是否结构性地和我们所处的现实发生关系？ △ 讲座配图 ©刘广隶
影像生产工具—观看现实的方法
刘广隶 ：2020年我制作的短片《直到海里长出森林》，我将一些我所找到的以及在法国视听中心拿到的关于柬埔寨红色高棉事件的历史影像，结合了虚拟游戏引擎，重新让这些历史资料在虚拟的语境里面发声。
我在法国尼斯求学的时候结识了这位老先生，他是一个曾经在柬埔寨生活的华裔，通过他我更多地了解了当时在东南亚华裔族群的生活，以及红色高棉发生之后，这个群体有怎样的心路历程，最后如何逃离灾难重新展开自己的生活。 在我接触这个主题的时候，我做了很多的调研，接触到很多历史影像。我发现我接触到的这些影像，没有任何一种是可以代表所谓的客观的历史。每种影像制作背后都有非常具体的意识形态作为指引，每一种图像的制作背后都有非常清晰的动机，而我再重新去处理和梳理这些线索的时候，我觉得我不能直接使用这些影像作为我叙事的佐证，而是需要给它们另外一个背景，让它们在这个背景里重新被发现。 在具体制作的时候，整个项目是在游戏引擎Unity里完成的。在制作的过程中，有一部分技术的使用对整个项目的底层逻辑很重要，但是在最终的片子中是看不出来的。比如我可能在2015、2016年用当时还不太完善的摄影测量的技术，捕捉了自己的虚拟人形象，做了3D模型。像Ragdoll的制作也是游戏制作里面比较标准的流程，也就是虚拟人物的每一个身体部分如何能够去跟三维场景互动。我又使用了一些射击游戏里面的武器系统，把它改造成一个拍摄系统。从影像制作的渊源上来说，拍摄以及射击都是用 “shoot” 这个词，因为摄影机的装置和最早的机关枪的装置有很多相似性。最终我将这个我自己可以操控的虚拟化身放到我制作的虚拟场景当中去。我操控这个人物，在虚拟场景中进行二次拍摄。 当然，我作为一个持摄影机的人，在最后展示的影像里是不可见的。 △ 讲座配图 ©刘广隶
在预告片中，老先生讲述是用潮汕话，因为我不懂潮汕话，我跟他的对话大部分是使用普通话完成的，包括采访资料。最后我希望整个影像呈现出来的是有一定距离感的。我使用大量虚拟影像和历史影像的结合，有些片段甚至我会把历史影像投到真实的树林上，再去拍摄，我都是希望能够跟历史影像本体拉开一定的距离。 对我而言，历史并不是在接触某个故事或者某段具体的历史情境 ，它需要观众自己或者创作者作为具体历史的观察者，不断地调整自己的位置，去尝试更加客观地看到一些信息 ，它是一个流动的状态。 在做技术测试的时候，虚拟化身包括手持摄影机都要跟场景发生互动，这个过程会有意外的事情发生。我觉得这对于所谓的纪录片的制作是非常重要的，比如人物摔倒，一些技术故障，这可能才是整个项目里面比较有意思的点。虽然这些部分在最终的影像呈现中是不可见的。 吴桐老师分享的《距离之书》（The Book of Distance, 2020） 对我启发也很大。我一开始有意愿将整个项目做成类似的互动性、沉浸感更强的作品，但是我开展这个项目时，正好是欧洲第一波疫情最严重的时候，甚至展览里都不太能使用VR眼镜，所以最后用了另外一种沉浸的媒介，也就是电影。电影可能算是比较早期的能够给观众以沉浸感的公共的艺术媒介。 关于具身化的问题，吴桐老师提到的VR眼镜体验不太好，很多时候视域比较窄，因为刷新率不够，会有眩晕感，所以不是一个完备的具身的体验。 杨洋 ：观众有一个问题:" 新媒体技术的出现在哪些层面影响了我们对真实的感知？ 创作者在使用技术的时候，如何平衡技术真实和故事真实或者感受真实的界限？" 吴桐 ： 从去年开始，运用人工智能的生成式的图像或视频开始爆发性地增长。 这种技术在创作纪实影像中的好处非常明显，比如对记忆的重现之前只能通过受访者录音采访或者动画去呈现，而现在可以用生成式的内容弥补视觉上的缺失。 但是在这个过程当中确实也会有一个最大的问题，基于真实的语音或者文字去生成图像，能不能作为纪实影像的一部分？对于记忆的重新演绎跟重新塑造是不是可行和可接受的？但是我觉得不去考虑机器学习这些复杂的方面，其实我们本身在收集受访者语音材料的时候，或者在采访他们关于之前记忆的时候，就像刚才刘广隶老师说的，这已经是被人为过滤过的记录。这一方面的真实性和生成式技术提出的真实性的挑战，他们是不是一个相似的问题。 Carrie Wang ： 我觉得技术本身的发展不是问题，只要大家的信息差能够补上。 比如早期出现电影的时候，甚至出现摄影的时候，就已经让人对真实性，对影像的再制作产生怀疑。 一直以来，摄影被认为是一种最真实的记录。 但在数码摄影出现之后， Photoshop出现之后，我记得大家也曾经有过类似的讨论。 作为这一方面的从业人员，我觉得我们有义务去更多地传播这方面的知识，告诉大家可能会有什么陷阱， 但这个过程也很难。 特别鸣谢此次活动媒体支持
（从左至右按首字母排序：凹凸镜、乘法口诀Hardfilm、 光影之前观影团、露水电影、木子纪录、摄影笔、真实影像）
推广|合作|转载 加微信☞zhanglaodong
