实时视听表演中的多模态映射:功能性共依、中介因果性与后媒体美学

《Organised Sound》:Mapping codependency: Intermedial causality in real-time audiovisual performance

【字体: 大 中 小 】 时间:2026年10月01日 来源:Organised Sound 0.5

编辑推荐:

  本文考察多模态映射(multimodal mapping)如何在实时视听表演(real-time audiovisual performance)中作为协作方法论(collaborative methodology)发挥作用。本文探讨功能性共依(functio

  
本文考察多模态映射(multimodal mapping)如何在实时视听表演(real-time audiovisual performance)中作为协作方法论(collaborative methodology)发挥作用。本文探讨功能性共依(functional codependency)与实时风险(real-time risk)如何创造艺术家之间的纽带,成为基本的叙事与戏剧构作向量(narrative and dramaturgical vectors),并揭示塑造当代实践的技术系统的美学影响。基于对连接性(connectivity)和延迟(latency)的技术研究,研究人员考察这些系统的作曲可供性(compositional affordances)及其如何塑造表演者与观众的体验。研究人员将远程信息表演(telematic performance)视为中介性(intermediality)的使能条件,并通过两个建立在递归映射过程(recursive mapping process)之上的实时表演构建论证。第一个表演聚焦于在远程信息数据传输(telematic data transfer)的一般约束下,捕获小提琴弓(violin bow)的姿态数据(gestural data)并将其转换至用于书法绘画(painting calligraphy)的机器人系统;第二个表演在动能雕塑(kinetic sculpture)、机器视觉(machine vision)、生成音乐(generative music)与视频映射(video mapping)之间构建更长的因果链(chain of causality)。研究人员详述一个四阶段多模态映射方法(four-stage multimodal mapping methodology),并反思表演者与观众如何感知实时系统中的依赖链(chains of dependency),反思在复杂系统中解释因果性与意图的更广泛妄想性模式识别倾向(apophenic tendency),以及这对重新思考后媒体美学(post-media aesthetics)意味着什么。
研究背景与问题:COVID-19大流行加剧远程信息系统(telematic systems)的使用。物理距离、共同在场中断和移动受限使地理分布式艺术家采用低延迟网络(low-latency networks)、基于传感器的生态系统和实时数据交换协议维持集体表演实践。此复兴促使本研究:通过远程信息系统解析艺术姿态,研究人员重新考虑多模态映射和多媒体性的可供性,探索分布式表演系统美学可能。研究人员将网络传输视为中介性作曲实践使能条件,将分布式系统与远程信息系统差异视为美学和通信延迟问题。映射预设并表达源之间距离,坚持每种媒介和链接信号独特性,成为理解、中介和协作行为,抵抗将异质信号还原为最低公分母。虽然系统启用新中介互动,但暴露限制:技术连接提供功能,形式如何?连接如何塑造表演内容与意义?如何设计多模态映射以在表演者间结构真正艺术共依,并塑造艺术家与观众对因果和意义链感知?为此,研究人员分析两个现场表演的迭代原型、排练和执行,发展情境化方法、概念词汇和戏剧策略,通过四阶段策展结构——数据捕获、数据传输、信号变换与映射、驱动执行——将映射框定为组织逻辑而非纯技术程序。贡献:先验确立功能性共依为内置作曲原则,而非回顾性读取;将妄想性模式识别(apophenia)重构为积极美学条件。

关键技术与样本:研究采用两个实时视听表演的迭代原型、排练与执行,并抽象四阶段多模态映射框架:信号捕获、数据传输、信号变换与映射、驱动执行。信号捕获使用 MetaBow 获取小提琴弓惯性运动数据及音频特征如根均方(RMS)功率;数据传输使用 Open Sound Control(OSC)、Digital Multiplex Signal(DMX)、WebSockets、JackTrip 和 AllHands;信号变换与映射使用 TouchDesigner、MadMapper、SuperCollider 和 Max;驱动执行包括 UR3e 机器人臂配书法笔、360°投影、动能雕塑、DMX 烟雾机、摄像头、生成音乐、视频映射、大语言模型(LLM)生成双语文本和色键(chroma-key)。观众反馈样本来自 Remote Gestures 后香港浸会大学可视化研究中心 2024 年 6 月的非正式匿名问卷,n = 7。

研究结果:后媒体理论方面,声音艺术和计算机音乐中远程信息与互动实践长期涉及分布式能动性、反馈和涌现,声音被理解为关系过程;多模态映射常见但常聚焦单个乐器或互动,很少先验形式化为策展原则。研究人员论证美学意义可源于操作机制,连接与映射本身是作曲策略。后媒体视角关注转码后不同艺术媒介互操作,但媒介差异未消失;作品美学意义在于数据平滑互操作与每种媒介抵抗特殊性之间摩擦。妄想性模式识别作为美学条件方面,当系统内部操作超出人类解释,意义、因果和意图被主动建构;认知理论认为知觉是建构性最佳猜测。分布式声音实践方面,早期网络化共依实践、生态系统声音、映射和交互机器学习;早期远程信息理论关注在场、作者身份和集体经验;近期研究扩展至传感器、物理计算、机器人、沉浸音频和环境数据,但多朝向互操作、可扩展和基础设施稳健。映射、交互与声音作为过程方面,映射长期被视为作曲和组织核心;声音被理论化为过程;框架将映射先验作为策展框架,形式化共依并创造共享责任和美学后果。分布式能动性与观众感知方面,中介表演被视为人类和非人类行动者组合;研究关注映射结构如何塑造艺术家协作和观众感知,观众是否直接理解映射或通过推断到达。

多模态映射框架:框架形式化如下作曲方法,四阶段:信号捕获识别并获取艺术家实践中具美学意义数据流,优先具身姿态和材料过程;数据传输确保捕获信号在表演者、设备和处理环境间可靠低延迟传输,协议按时间敏感性和语义角色选择;信号归一化与映射是中心作曲层,将输入信号归一化为另一艺术家媒介的控制参数,通过非线性关系、阈值和约束映射嵌入依赖;驱动与输出使映射信号成为声音、图像或物理运动变化,输出有意具材料和通常可读,闭合反馈回路。

案例研究1:远程信息小提琴-机器人表演。概念与系统架构:Remote Gestures 2024,连接两位小提琴手、作曲家、图形艺术家和配书法笔 UR3e 机器人臂,将小提琴表演链接生成视觉过程和机器人绘画;两位小提琴手使用 MetaBow 同步表演,姿态数据以 OSC 传输,高保真音频经 JackTrip;数据路由至 TouchDesigner 共享编排环境,运动数据、音频特征和机器人控制参数联合处理并重分配至沉浸视觉、机器人书法驱动和现场音乐响应。多模态映射:前半场二重奏,一位在 360° 影院内,另一位异地;加速度计数据映射为直方图式轨迹,每玩家线条绕圆周移动可视化一分钟演奏;RMS 功率映射到 RGBA(Red, Green, Blue, and Alpha)通道,耦合声音强度与图像亮度和色调。后半场,两小提琴手同地,弓运动映射到 UR3e 工具中心点(TCP)平移和旋转,故意耦合两个加速度计轴;旋转无平移产生悬置抽象运动,平移无旋转导致机械绘图,只有耦合才符合小提琴手预期。UR3e 关节配置和力限制严,超限触发停机;研究人员将旋转自由度动态约束为 TCP 绝对位置函数,接近工作空间极限时相应方向许可旋转逐步减少。音频振幅以阈值映射到笔垂直位置,只有音频电平超过预定义值笔纸接触,使表演者预先定位笔并保留声音对书写时刻控制。表演与感知观察:约15分钟,在浸会大学可视化研究中心 360° 影院多次呈现。表演者与观众出现一致感知不对称:前者体验弓姿态与机器人运动直接可读耦合,观察者初觉机器人行为不确定或部分自主。小提琴手开场本能夸张姿态,无意识外化映射逻辑;随熟悉增加,姿态表达更克制。三个层次:映射的作曲意图、表演者体验、观众从效果推断,三者不必一致。开场披露,随后渐向不透明;可读性成为作曲。非正式观众反馈 n = 7 一致认为机器人书法最显著,但框架主要结果不在观众理解,而在映射结构表演后果。嵌入依赖约束个体自主,要求持续协商和相互注意,塑造即兴动态,将共依呈现为具身且感知上有后果条件。表演维度超越线性或层级因果链:人类通常首先行动,但后续姿态已在闭环中;表演者部分通过读取屏幕累积视觉轨迹来演奏,将机器人臂而非弓视为所操控乐器,并持续调整即兴以适应机器人运动和臂产生附带声音。控制和响应实时共同构成,是循环因果,表演者在环内而非在环上。研究人员将此框定为特定共依形式:不对称但真正互惠耦合,而非对称交换。

案例研究2:多模态映射作为集体叙事生态。从技术交换到叙事涌现:manteia 2024 将框架扩展至更大合奏和更异质媒介;所有表演者、乐器和观众共享单一场所,映射链表达距离是中介间而非物理分离。项目始于一系工作坊,参与者阐述实践并协作识别潜在信号交换点;表演概念和叙事逻辑通过迭代实验涌现,最终形成45分钟表演,主题围绕占卜、人工智能和妄想性模式识别。系统架构与映射:信号经中央计算机运行 MadMapper,通过 OSC 和 DMX 映射重定向各艺术模态;表演如 Rube-Goldberg 机器展开为因果事件生态,一艺术家数据成为下一输入。媒介包括动能雕塑、湍流烟雾、生成音乐、AI 生成声音、视频和文本、口语词、身体兼作投影面。部分耦合相对可读,如从烟雾读取图案;其他如这些图案生成声音抵抗稳定解释,凸显系统随机行为。密度使观众无法实时推断线性关系,但因果预期与剧本神谕和占卜主题鼓励构建自身叙事。具体耦合:动能雕塑到声音,雕塑径向臂旋转捕获为离散电位计值,转子接触麦克风,经 OSC 传输映射到空间化作曲的基频、泛音、底鼓和持续合成参数,臂运动门控超低音阵列;沉重周期性机器成为声音建筑指挥。烟雾到声音和灯光,DMX 控制烟雾机产生湍流羽流,由 360° 光学相机捕获,在 SuperCollider 中分析为粒子位置、速度和角度,驱动自适应颗粒声音合成模型并递归驱动 DMX 雾、风扇和灯光;空气作为不稳定、不可重复媒介提供系统随机活性。语言模型到剧本和声音,微调大语言模型生成双语文本投影两侧屏幕,由扮演神谕的表演者朗读和演唱,经 Max 中实时拼接和颗粒人声合成过滤;生成语言经合成再人声发声,凸显机器占卜主题,使语义漂移可听。身体到图像,神谕表演者穿色键绿色服装,在 TouchDesigner 中键控为移动投影面,AI 实时生成影片合成其上,使身体成为物理在场与生成运动图像之间的门户。媒介绑定在持续微观到宏观依赖中,无单一媒介单独行动,移除任一节点重构整体。相互依赖成为作曲方法定义性约束,也是表演中艺术家间异常亲密来源,每人可听可见依赖他人。此场景中妄想性模式识别作为美学方法而非知觉缺陷;通过将复杂性和部分不透明纳入映射结构,框架主题化现代对智能且不可捉摸技术系统的遭遇。多模态映射作为连接基础设施、戏剧装置,以及计算文化中分布式能动性概念隐喻。依赖绝对:无动能雕塑信号不可能声音生成,无烟雾轨迹信号颗粒声音合成不能运作,表演者需要 LLM 产生剧本,动画师需要表演者身体创建色键以揭示作品。

讨论总结:两个案例展示框架从紧密耦合表演者-机器互动扩展至广阔表演生态。映射作为策展和作曲结构,组织异质媒介关系,强制功能共依,重新分配人类和技术行动者能动性。框架直接回应相关工作中技术相互依赖与美学后果之间缺口,显示连接结构本身成为意义生成主要场所。关键,共依成为作曲原则;表演展开其戏剧和感知后果。第一,技术共依转变协作实践。通过延伸因果路径,系统迫使参与者发展对他者姿态、材料和失败模式的情境理解。不同于模块化或松散耦合系统,映射链使每个组件结构上具有后果。产生共享风险条件,将协作与注意、响应和协商责任对齐。“保持信号活着”统一多样艺术家,使后媒体分布式能动性论述可操作,使系统架构成为艺术关系主动决定因素而非背景条件。案例也展示叙事连贯性可作为系统设计涌现属性,而非预先强加主题、独立于形式。戏剧结构通过映射系统可供性和约束演化。参数耦合、归一化、阈值和约束决策直接影响节奏、张力和断裂,确认映射作为作曲策略,形式通过互动发现。最重要,作品揭示观众美学框架随系统复杂性增加转变。两表演中,观众以妄想性方式理解作品,从感知推断模式、意图和能动性;变化的是推断register。第一案例耦合可渐进读取,推断接近系统实际结构,基础可读性和现场性感。第二案例密度和间接性将同一推断推过即时理解,提升到不同质性层面,模式与能动性归于不透明系统。远非沟通失败,这种妄想性参与是作品主要美学条件,将观众注意从系统如何运作转向为何如此行为。两个案例标记故意光谱两点;第一倾向披露和渐进可读性,第二倾向不透明。无优劣;可读性是作曲策略之一,符合非叙事框架、开放作品和知觉现象学。不透明极限接近不可叙述世界,配置“defies and surpasses premises of intuitive, everyday experience”且保持认知抽象。第二表演停止在极限之前,观众妄想性推断阻止。叙事恰在因果追踪失败处持续。披露-不透明光谱构成的是系统因果结构与仍可讲述故事之间距离。框架与更广泛计算系统遭遇共鸣,这些系统即使超出理解仍有体验后果。多模态表演因此成为排练和反思这些条件的场所,邀请观众以具身和时间性形式参与不确定性、投射和能动性归因。即使大部分不可见,映射协议对感知和解释施加形成性影响,通过结构而非解释塑造意义。

结论翻译:本文引入多模态映射作为作曲方法论,用于开发跨声音、图像和物理驱动运作的深度整合协作表演系统。通过两个案例研究,本文表明技术依赖链如何作为跨距离、媒介和学科边界艺术交流的结构化机制。映射不被定位为添加到原本完整作品上的工具层,而是生成性约束,通过其中介形式、叙事和协作被主动生产。研究结果表明,围绕共依组织的系统在合作者之间创造强制亲密和共享责任条件,引发模块化或层级组织媒介配置中不易产生的参与模式。通过允许叙事和意义通过系统行为和关系互动涌现,此类实践支持保持适应性、偶然性并抵抗固定解释的表演。对观众而言,从可读因果向知觉不透明的移动将现场性和能动性重构为体验现象,既基于推断、投射和协商注意,也基于可观察控制。通过强调既结构化又部分不可访问的映射协议,本研究对电声视听作曲、中介性和人机协作的持续辩论作出贡献。此类系统的美学潜力不在透明、同步或技术展示,而在中介空间中依赖、模糊和风险的精心编排,其中声音、图像、姿态和计算作为相互条件力量运作。尽管本文讨论的实施位于音乐、机器人和沉浸媒体,其底层原则扩展至后媒体条件下广泛中介和网络艺术实践。更根本,使此类系统成为可能的条件基于数字作为表征环境的独特地位,能够编码和操作其他表征环境,Handelman 和 Weatherby 将其描述为定义性辩证属性,“in that it unifies number as representation (data) and number as operation (syntax, procedure, logic)”,这一条件允许异质符号、感官和物质系统被折叠入单一递归中介场。未来工作将扩展至协作和持续全球项目,通过工作坊引入跨文化艺术家,研究文化假设如何影响系统使用与理解,并探索不透明水平如何被作曲,以及自主系统中能动性的伦理与美学维度。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号