《Multimodal Technologies and Interaction》:The Emergent Rhythms of a Robot Vacuum Cleaner—An Empirically Grounded Account of Agential Realism
Linus de Petris,
Siamak Khatibi and
Yuan Zhou
编辑推荐:
本文基于以下论点展开:复杂交互系统的设计应从创建线性事务性交互(linear transactional interactions)转向组织关系复杂性(relational complexity)。立足于Karen Barad的能动实在论(agential r
本文基于以下论点展开:复杂交互系统的设计应从创建线性事务性交互(linear transactional interactions)转向组织关系复杂性(relational complexity)。立足于Karen Barad的能动实在论(agential realism),研究人员认为,设计师的角色不应是预定义交互,而应策划物质-话语条件(material-discursive conditions),使有意义的关系得以涌现。为探索这一实践的经验与时间维度,研究人员进行了一次探索性工作坊,设定了涌现游戏动力学(emergive gameplay dynamics)的条件,并就能动实在论的预见性(anticipation)展开讨论。参与者利用定制游戏并构建自己的物理控制器,以预见并适应不断变化的游戏条件。结果表明,关系约束的改变,而非明确的预编程目标,驱动了非预定义游戏节奏的出现。研究发现为能动实在论的预见性理解提供了实证基础,表明交互系统的身份在于其展开的过程性模式(processual patterns),而非静态的最终状态。基于这些发现,研究人员提出了三条设计原则以供进一步探索:为关系涌现而设计(Design for Relational Emergence)、为重新联结而设计(Design for Re-membering)、为涌现模式而设计(Design for Emergent Patterns)。最后,基于生成式人工智能(Enactive AI)和储层计算(reservoir computing)的原则,研究人员概述了一种用于非线性计算架构的概念性方法。
在设计复杂交互系统时,传统方法通常依赖线性因果关系和预定义目标。主流逻辑认为交互是独立实体间的事务,事件链A导致B具有可预测性。交互被视为发生在不同实体之间,其中一方(原因)修改并作用于另一方(结果)。从能动实在论的视角看,因果关系并非存在于孤立的实体之间。因果性的时间性内在于现象之中,其中原因与结果的确定是在临时性的语境展开中做出的。能动的内行动(intra-actions)是因果关系的实现方式,其中痕迹留在了作为观察能动性的“结果”上,这些能动性构成了并揭示了作为“原因”的实体的特定特征。因此,因果关系并非线性事务,而是世界的一种特定物质化,源于“能动切割”(agential cuts)(语境性的重构)。这也意味着能动性(agency)并非主体拥有的属性,而是从物质-话语安排中涌现的实现过程。内行动中至关重要的是“痕迹留在身体上”:身体作为世界特定模式而差异化地物质化,其结果是所实施的特定切割和重新配置。原因与结果通过内行动而涌现。在人机交互(HCI)领域,笛卡尔式的主体与物质客体的二分法曾受到批评。Paul Dourish将具身交互(embodied interaction)定义为“通过与工件的深度交互来创造、操作和共享意义”,这一定义已得到广泛认可,并强调了意义建构并非纯粹认知活动。Wakkary等人的Morse Things作品是尝试重新思考人与物关系的一个绝佳例证。他们的工作强调了这些实体的纠缠,认为物品“受限于人类,同时也塑造了成为人的意义”。另一个例子是Gemeinboeck在人机交互中提出的关联-表演性美学框架,其中设计重点从设计一个主体转向探索人类与机器人之间社会能动性涌现的动态。随着系统与人类能动性及物质条件日益纠缠,事务性观点显得力不从心。它无法捕捉到交互的结果不是固定输出而是持续生成过程的涌现动态。研究人员先前工作的主要论点是,交互并非发生在独立实体之间,而是构成实体本身的过程。这一视角取自Karen Barad的能动实在论,意味着设计师的任务不是定义交互,而是创造物质-话语条件,使预期和非预期的关系得以展开,交互得以涌现。研究人员将此称为组织关系复杂性。其对“组织”一词的使用基于Edgar Morin关于复杂性的工作。Morin提出了一种复杂性的合理性,与能动实在论产生深刻共鸣。从这个角度看,组织是“一种在所有层面上持续生成和再生的活动,基于计算、战略规划、沟通和对话”。研究背景:迈向非因果计算与预见性。本研究是追求非笛卡尔和非因果的计算设计、复杂交互系统及人工智能方法这一更广泛努力的一部分。传统研究和计算传统严重依赖线性因果关系。计算机从根本上被概念化为图灵机,基于预定义规则在无限的线性时间带上操作符号。同样,人工智能模型和自主决策算法常利用马尔可夫过程的逻辑,其中状态变化创建线性事件链,转移到下一状态的概率仅取决于当前状态。能动实在论所描述的现实的关联性、共同构成性质与我们计算机器的线性因果关系之间的明显鸿沟,构成了一个引人入胜的探索领域。在能动实在论下,因果关系并非从原因到独立实体的直接状态传递。相反,因果结构是通过特定的内行动实现的。正如Scholz所论证的,能动实在论挑战了传统的定量科学概念和测量,认为我们必须假设在一定范围内的不确定性,而非对某个真实预存分数的不确定性。在预见性方面,研究人员积极参与了新兴的跨学科领域——预见性研究。正如该领域最著名的研究者之一Mihai Nadin指出的,预见性经常且错误地与预测(prediction)混淆。Nadin认为,非生命系统可能是确定性的和可预测的,而预见性则是生命的一个基本本体论实体。能动实在论的视角挑战了这种严格的笛卡尔边界。在能动实在论下,生命与非生命的区别在预见性方面并非先验给定。例如,人类从来不是孤立的生物实体;我们始终已经纠缠,是情境化的主体,由我们的物质-话语环境共同构成。因此,预见性不是仅限于人类生物学的内在认知属性,而是一个整体社会技术集合(socio-technical assemblage)所实现的关系力量。在机器人领域,诸如Williams和G?rdenfors等研究者也持类似扩展观点,认为预见性不应依赖于底层的因果模型。他们认为,预见性应被视为一种策略、一种主观立场以及在竞争情境中涌现的行为模式。此外,因果与非因果框架之间的张力正被科学哲学积极探索。例如,Alisa Bokulich区分了建模特定线性物理过程(如风形成沙漠沙纹)的因果解释与非因果解释(如“缺陷动力学模型”)。该非因果模型通过揭示独立于其具体因果实现的组织模式来解释沙纹形成,成功解释了水下和风吹沙纹。这一区分直接强调了本文所倡导的范式转变。传统人机交互关注事务性的用户-计算机交换,试图设计特定的预定义因果交互。研究人员提出的组织关系复杂性的方法与非因果模型一致。目标不是设计交互的具体因果步骤,而是策划物质-话语条件,使关系得以自组织。在理论计算机科学中,Baumeler和Wolf的工作表明这可以在计算上实现。他们提出了一个“非因果电路”模型,摒弃了固定线性因果顺序的假设,仅要求逻辑一致性。在其计算模型中,信息可以从“未来”循环回“过去”。尽管这主要是理论上的,但它表明计算不必在概念上受限于线性因果关系。此处还需阐明术语以避免哲学上的错位。当理论计算机科学或物理学等领域的“非因果”模型特指拒绝线性笛卡尔因果关系时,采用这些模型并不意味着完全放弃因果关系。在能动实在论中,因果关系仍然高度有效,但它不是线性事务;它是通过能动切割实现的世界特定物质化。原因与结果并非预存于其交互之前;相反,它们通过内行动动态涌现。因此,当研究人员寻求“非因果”计算架构时,实际上是在寻找支持内行动因果关系(intra-active causality)的系统,这些系统允许原因、结果、主体和客体在不断展开的语境中持续且暂时性地共同构成。研究目的与问题。通过在交互设计中引入能动实在论的预见性,研究人员旨在探索新的关系性相遇。例如,人工智能可以作为一个响应特定情境的节奏、停顿或物质-话语能力的共同创造参与者,而非一个具有固定输入-输出接口的工具。更少的预设能动切割将被做出,模糊主体与工具之间的区别。这种系统的价值在于展开关系的丰富性,而非预定义任务的优化和效率。研究人员从能动实在论及先前分析中带入本文的关键概念包括:预见性如何被视为一种动态塑造我们倾向的张力性力量,以及重新联结(re-membering)作为过去并非被回忆而是在当下被主动重新连接和重塑的过程。由于预见性不是纯粹的认知预测,研究人员认为它也应被用于动态交互系统和自主主体的设计。虽然先前工作为游戏设计背景下的能动实在论预见性提供了框架,但为这种涌现动力学进行设计的经验与时间维度仍很大程度上未被探索。为弥合这一差距,本研究提出以下研究问题:变化的物质-话语约束(如物理硬件和游戏规则)如何在复杂交互系统中重新配置预见性并实现涌现能动性?对这些涌现动力学的能动实在论理解如何转化为可行的设计原则,以鼓励关系复杂性而非事务性交互?支持并重视非线性、涌现的关系节奏(而非静态目标优化)的计算架构需要哪些概念属性?为解决这些问题,研究人员利用一个工作坊,参与者构建定制物理控制器以扮演机器人吸尘器的角色。工作坊的结果为系统身份和目标如何动态转变提供了定性分析材料。特别关注一个为“清洁”设计的系统如何基于关系重构转变为“格斗”系统。文章还将其发现提炼为三条可行的设计原则,以进一步探索组织关系复杂性:为关系涌现而设计、为重新联结而设计、为涌现模式而设计。最后,文章概述了支持非线性涌现动态的计算架构(提出了从稳态到流态的转变)的概念属性。核心概念、理论定义及其在本研究中的经验焦点(表格1)。材料与方法。作为研究人员论点的经验基础,将报告并展示在一次会议上安排的工作坊结果,该会议与研究人员先前的一篇论文相关。工作坊旨在从能动实在论的视角探索预见性。在那篇论文中,研究人员做出了预测与预见性的关键区分。与依赖因果模型预测不确定结果的预测不同,预见性被描述为一种创造未来的、具身化的和情境化的力量,运行于一个不确定的而非不确定的世界中。预见性不是被动的期望,而是当下的主动情感力量,它开启某些未来而排除其他未来。这与Nadin关于预见性的大量工作以及认知科学中诸如Varela等人的《具身心智》等方法产生共鸣。工作坊计划和实际执行的详细描述均已包含,以提供社会技术环境的全面视图。研究人员认为,只有深入参与结果产生的语境,才能充分理解这些结果。参与者。研究人员邀请会议参会者参加工作坊。邀请发送时附有声明:“能动现实如何塑造我们的游戏体验”,以及问题:“成为顶级机器人吸尘器需要什么?”。工作人员设置了20名参与者的上限,以便处理工作坊材料准备,并确保一个合理的人数在同一房间内分享、讨论并一起在共享屏幕上玩游戏。参与者可通过在线表单提前注册以预订座位。注册参与者收到确认和一篇相关文章的链接。只存储了注册人数以便在所有座位满员时关闭注册。最终,10名参与者参加了工作坊。数据收集。主要的经验材料包括通过书面现场记录和在准备、游戏及讨论阶段拍摄的照片记录的定性观察。为夯实这些观察,研究人员将定性记录与系统记录交叉参照:参与者的所有物理输入和数字动作均由Unity游戏应用程序记录。这使得研究人员能够回放每个环节,从而将参与者言语和行为的现场记录与数字环境的相应状态关联起来。研究人员试图用记录尽可能详细地捕捉整个上下文。除此之外,研究人员事先决定特别关注参与者通过语言和行动表达的两个方面:1. 主体与能动性:主体/客体关系如何展开,能动性如何分布。2. 涌现动态:重新配置的关系约束如何催生涌现的游戏玩法。解释性分析与替代解读。材料通过迭代且理论驱动的解释性过程进行分析。研究人员共同讨论各自的观察,回顾现场记录、照片以及游戏环节的数字回放。为分析变化的能动性和预见性,研究人员特别追踪了参与者在游戏过程中使用的动词(例如,从“按压”和“清洁”转向“阻挡”和“攻击”)。因为能动实在论的预见性是一种主动的、情境化的倾向,而非静态的预测,动词是至关重要的物质-话语标记。它们不仅表达了参与者的即时意图和期望,还表达了他们如何在不断展开的游戏语境中持续协商和实现其关系边界。研究人员认识到,涌现的变化(例如,从“清洁”到“格斗”)当然可以通过人机交互中常用的其他既有框架来分析,如活动理论(AT)、分布式认知(DC)、行动者网络理论(ANT)或吉布森的可供性。虽然这些框架提供了有价值的见解,但它们通常基于交互的认识论,依赖先验的本体论区分,将人类、工具和环境视为预存实体然后连接。AT将人类视为通过不同工具作用于客体的预存主体;DC在结构上分离的节点间映射认知负荷;而可供性虽然强调了主体与环境之间的关系,但保留了两者之间预存的边界。即使是ANT,虽然对称地对待人类与非人类行动者,但在方法论上追踪的是不同、互动的实体网络。相比之下,研究人员有意应用能动实在论焦点以优先考虑内行动——即关系项(relata)并不先于其关系而存在的前提。能动实在论之所以特别适合本研究,是因为它提供了词汇来捕捉研究人员在数据中观察到的流动本体论转变。例如,当参与者通过说“我没电了”将自己与硬件在语言上融合时,他们并非仅仅描述一个工具故障,而是实现了一个短暂的能动切割,其中“主体”的边界扩展至包括设备。能动实在论方法使研究人员能够将这些现象分析为现实的持续重构,而非强行将其归入预存的分析类别。工作坊计划。工作坊涉及一个定制设计的游戏。研究人员旨在通过策划一场让参与者介入社会技术安排的游戏来捕捉能动实在论的精髓。整个语境应以某种方式影响事件进程,例如参与者在房间内的组织方式、与数字游戏世界的交互以及参与者之间的交互和讨论。在游戏中,工作坊参与者扮演机器人吸尘器的角色,他们必须预见并适应不断变化的关系约束,从而产生既非明确编程也非严格可预测的独特涌现游戏节奏。游戏的数字部分使用Unity(版本6000.0.40f1)开发,设计为投射到足够大的屏幕上,以便所有参与者同时在同一房间内游戏。数字游戏世界包含三个Unity场景,从俯视角描绘不同的房间。游戏视图右侧是方形游戏区域,左侧是概览面板。在游戏区域中,参与者控制各自的吸尘器,在房间中导航并收集灰尘。在概览面板中,显示每个吸尘器的信息。图1显示了三个房间和概览面板,以及处于起始位置的机器人吸尘器。三个为游戏设计的Unity场景(房间):(a) 大厅:一个只有两个充电站的空房间。用于熟悉控制器和基本游戏机制。(b) 客厅:一个有家具的房间,类似客厅。家具成为障碍物,吸尘器在桌子下可能失去视野。此房间用于自由对战(FFA)竞赛。(c) 车库:一个类似杂乱车库的有家具房间。此房间用于团队游戏,观察到最显著的涌现转变。概览面板显示每个参与者的吸尘器,以及代表剩余电量和尘袋剩余空间的图标。每个吸尘器可通过不同颜色以及下方显示的名称来识别。命名惯例如下:“Vacuum01”,“Vacuum02”,……,“VacuumNN”。名称的结尾数字(NN)也显示在游戏区域中每个吸尘器的顶部。不同吸尘器的名称和颜色在整个工作坊中保持不变。唯一的例外是在团队游戏中,根据参与者被分成两个队伍,只使用两种颜色。每个吸尘器下方显示一个计数器,显示当前收集的灰尘量。在概览面板底部,一个倒计时器显示当前房间剩余游戏时间。在团队游戏中,概览面板底部显示每个队员累计灰尘的总分。此外,研究人员创建了定制电路板,以便参与者从一套零件中组装自己的游戏控制器。一个承载ESP32微控制器(型号LCKFB-ESP32S3R8N8,LCSC,深圳,中国)的主板被设计并使用Arduino库编程。图2显示了主板。创建了六种不同的小型输入板以支持不同模式的物理输入。图3显示了输入板。主板最多支持四个输入,编号为1到4。定制设计的主控制器主板承载着ESP32微控制器,充当机器人吸尘器的“大脑”或中央枢纽。四个带编号的输入引脚允许参与者组装独特的模块化配置,为随后的社会技术纠缠奠定了物质基础。该板可通过USB-C由参与者的移动电话、笔记本电脑或电源适配器供电。六种输入变体。从左至右:按钮(红、绿、蓝)、拨动开关、滑动电位器和旋转电位器。这些为参与者的交互提供了物理能力。这些组件不仅仅是工具,它们成为“重新联结”的物质场所,因为其被实现的目的根据不断展开的关系语境从“吸尘”转变为“阻挡”或“攻击”。主板通过USB-C供电,小型板通过连接至主板供电。OSC(Open Sound Control)消息作为UDP数据包从主板发送到运行Unity应用程序的计算机。在每个参与者的控制器上印有一个数字;与前面提到的机器人吸尘器命名中使用的数字相同。输入板设计用于支持不同类型的物理输入。六种输入板中的输入传感器包括三种不同颜色(红、绿、蓝)的按钮、一个拨动开关、一个旋转电位器和一个滑动电位器。技术系统架构概览如图4所示。为组织关系复杂性而设计的技术系统架构。包含OSC消息的UDP数据包通过WiFi发送,并通过以太网路由到运行Unity的计算机。Unity的游戏视图投射到大屏幕上。该设置促进了集体性的社会技术集合,其中个体能动性分布在物理硬件和数字游戏规则中。结果。在本节中,研究人员按时间顺序呈现工作坊结果,并以将观察结果与核心理论框架联系起来的总结结束。尽管环节产生了大量言语和行为记录,研究人员强调最具代表性和反复出现的例子。遵循既定的方法论,研究人员重点关注参与者如何通过言语和行动表达自己,特别追踪主体/客体关系的演变以及重新配置的关系约束如何催生涌现的游戏玩法。工作坊分为两个阶段:准备阶段和游戏阶段。为建立工作坊的初始社会物质条件,必须注意空间的物理和社会安排。物理房间足够小,能营造一种单一的凝聚力,促进所有参与者之间的无缝讨论。然而,在这个共享空间内,参与者自然地在不同的桌子旁自行分组为可观察的子群体。尽管由于会议历史,所有参与者之间存在一定程度的普遍熟悉感,但他们通过选择物理上靠近自己更熟悉、知道名字的人而聚集在一起。这种预存的物理和社会安排构成了初始关系基线,随后的游戏动态将在此基础上涌现并最终分化。准备。在第一阶段,通过研究人员的论文及其论点介绍了工作坊的目的。由于工作坊安排在论文在会议上发表之前,研究人员简要介绍了研究内容和论文论点。随后,参与者了解了研究人员准备的材料和游戏的基本原理。参与者被告知:你将扮演一个机器人吸尘器的角色。你有一个控制器板——这是你吸尘器的“大脑”。板的背面有一个数字;记住你的数字。你将从六种输入类型中选择四种。这些输入赋予你以下能力,但要到游戏开始你才会知道哪个输入编号对应什么动作。——向前驱动;——左转;——右转;——吸尘。你可以在左侧的概览面板中查看你的吸尘器状态。你有一个需要管理的电池。同时使用所有输入会更快耗尽电池。你有一个尘袋,吸尘一段时间后会装满。要为电池充电和清空尘袋,你需要前往充电站(注意:一次只能为一个吸尘器充电)。如果你的电池耗尽,你的吸尘器将停止。然后,你需要被推到充电站。参与者然后选择四个输入板并将其连接到主板。他们还被提供了纸板、剪刀、胶带和双面胶带,以构建一个控制器。他们可以根据自己的喜好切割和组装控制器。他们可以自由地将主板和输入板以任何方式固定在纸板上,仅受连接线长度的限制。图5展示了两个构建的控制器示例。参与者组装的物理控制器示例。这些工件作为纠缠的桥梁,人类与技术之间的“能动切割”变得模糊,这体现在参与者从第三人称描述(“我的机器人”)转向第一人称体现(“我没电了”)。在继续之前,研究人员就参与者到目前为止的预期进行了讨论。此时的预期是用与控制器或呈现的机器人动作相关的动词来表达的,例如“扭转”、“转弯”、“吸尘”和“按压”。参与者也表达了尝试其控制器的渴望。此时,屏幕上的机器人吸尘器未被称为一个主体。主体是参与者自己,表达了他们与作为客体的新建控制器相关的能动性。游戏。在游戏阶段,参与者以不同的配置一起玩游戏。首先,他们在客厅(Lobby)游戏,然后是客厅(Living room),最后是车库(Garage)(见图1)。在每个游戏环节之间,研究人员举行了一次讨论,以详细说明体验以及预期如何变化。在本节的下一部分,研究人员将根据所玩游戏房的时间顺序呈现观察和解释。最后,通过联系关键理论概念总结结果。客厅:游戏阶段从让参与者在客厅了解其控制器和吸尘器开始。在一段关于诸如什么输入对应什么动作、如何识别自己的吸尘器以及如何充电等事情的短暂困惑后,参与者熟悉了他们的控制器以及如何在房间里走动吸尘。他们还发现电池耗尽确实会导致吸尘器失去活力。此时,他们开始互相推着对方去充电站。研究人员在客厅花了大约15-20分钟,让每个人真正掌握游戏基础和他们的控制器。在继续之前,研究人员进行了另一次简短的讨论。此时,观察到预期通过新动词表达,如“探索”、“推动”(其他人以提供帮助)、“寻找”(自己的机器人)和“充电”。根据所使用的动词,物理控制器已开始(至少部分)具身化。一名参与者说:“我认为我自己构建控制器的事实使这更具沉浸感”。客厅:当切换到客厅时,参与者被告知要相互竞争,看谁能在5分钟内收集最多的灰尘。研究人员将其比作自由对战(FFA)模式,这是一个常用于无限制开放竞赛的术语。由于这个房间增加了家具,可能会碰撞甚至进入下方,失去屏幕上的机器人吸尘器的视野,研究人员让参与者试玩新房间约10分钟。再次进行了简短的讨论。预期通过新的动词表达,如“清空”、“除尘”和“排队”(充电)。在此游戏模式中,参与者已开始用“我”指代他们的吸尘器,现在带引号如“我没电了”和“谁能请帮忙把我推到充电站”。主体和能动性的表达现在是双重的。参与者大多将能动性归于自己,而他们的机器人吸尘器作为客体,如“哪个是我的机器人”、“我的机器人一直左转”或“我的机器人没电了”。他们是清洁工,而外部实体(机器人吸尘器)是帮助他们的工具。然而,有一些例子是用“我没电了”指代自己。在某些情况下,基于在房间中的物理位置指代其他玩家,向邻居寻求帮助。这得到了诸如“我会帮你推到充电站。你在哪?什么颜色?”的回应。因此,能动性部分归于一个包含人类和屏幕上机器人吸尘器的纠缠主体。物理控制器成为纠缠的桥梁。尽管并非所有话语都一致对齐,但这种能动性归属的转变在参与者中和游戏环节中反复出现,表明这是一种模式,而非孤立的语言事件。互相推动到充电站的社会动态并非明确的游戏规则;没有为此编程的奖励。参与者玩得越多,他们越一致地将自己表达为纠缠主体。执行动作的能动性越来越成为人类、屏幕机器人和控制器不可分割的集合。涌现的游戏玩法被观察到并表达出来,例如不得不排队充电。令研究人员惊讶的是,尽管是竞争性的,却有几个乐于助人的参与者将竞争对手推到充电站。车库:在最后的游戏环节,参与者被随机分成两支队伍。这意味着虽然团队成员在数字世界中分组在一起,但在物理房间中不一定如此。坐在你旁边的人不一定是你的队友,因为研究人员没有根据随机分组改变物理座位。团队被告知要相互竞争,仍然是在5分钟内收集最多灰尘的目标。团队分数(联合累计灰尘)实时显示和更新,以便参与者跟踪哪个团队领先。在第一轮5分钟结束后,参与者希望再进行一轮5分钟的团队游戏。最后举行了一次讨论。提出了几个有趣的话题。没有人再将他们的吸尘器称为独立实体。使用了更多动词,其中突出的是“阻挡”、“阻碍”和“攻击”。团队试图阻碍对方进入充电站或通过停留在里面进行阻挡。这使得团队尝试攻击以推开对手来释放充电站。房间的很大一部分从未被访问过。观察参与者之间的社会动态,它已从看向和交谈邻座,转向更响亮地对着屏幕说话,如“9号!试着阻挡另一个充电站”。毕竟,他们只能通过屏幕上吸尘器的名称认识一些队友。最后,一名参与者总结道:“灰尘突然没有意义了,我们忘记了除尘。”涌现出来的不仅是一种新的社会结构和一种新策略,还出现了一个新的竞争目标;一切都关乎阻碍、阻挡和攻击。参与者现在已与语境纠缠到如此程度,以至于他们通过屏幕用各自机器人吸尘器的名称相互交谈。游戏环节总结。通过将这些按房间观察结果映射回能动实在论框架的核心概念,工作坊的关系转变变得可见。内行动的前提贯穿始终。人类玩家、物理定制控制器和数字游戏规则并非作为独立实体运作,而是持续地共同构成一个不可分割的、涌现的集合。这种纠缠被清晰的能动切割所标示,最显著的是语言和行为上的转变,参与者停止将机器人视为外部对象(“我的机器人没电了”),并开始将其作为纠缠的主体来体现(“我没电了”或“我是9号”)。此外,预见性不仅作为一种认知预测运作,更作为一种主动的、情境化的力量。参与者通过构建控制器来物理地结构化其未来的游戏可能性,这是基于早期对“清洁”的预期,但这种预见性随着关系语境的变化而动态转变。随着语境转向车库,研究人员观察到了持续的重新联结过程;虽然控制器的物理物质性保持不变,但其意义被动态重构。一个为“吸尘”而构建和预期的控制器被重新联结并体现为“攻击”的工具。最后,穿越房间的进程说明了系统的涌现节奏和流态(homeorhesis)能力。关系约束的不断转变催生了不同的未编程节奏:大厅的探索性节奏、自由对战模式的帮助/聚集节奏,以及团队模式的攻击性/阻挡节奏。在这些更广泛的节奏内,局部节奏也得以实现,例如外出吸尘并返回充电的循环模式。关键的是,当个体玩家的电池耗尽时,这个节奏并非硬编码为自动重置;相反,它有时通过竞争对手将失去动力的吸尘器推到充电站的涌现社会动态得以维持。当约束在最后一个房间改变时,游戏没有中断,也没有强迫玩家回到原始的稳态(收集灰尘)目标。相反,系统表现出流态,无缝地稳定在一个全新的、深度纠缠的游戏轨迹上。讨论。研究人员有意将工作坊分为两个不同阶段,邀请参与者积极参与初始条件的创造。正如研究人员在先前工作中所论证的,使用Pelle Ehn的“设计物”,他们的目标是创建一个表演性集合(performative assemblage)。不是为参与者创造一个成品对象或预设体验,而是组织关系复杂性的初始条件,一个关系和交互可以涌现的“物”。这种设计目标的目的是在游戏过程中创造大量可能展开的关系的潜力。工作坊的结果意味着对研究人员框架的扩展,探讨了设计如何策划能动切割的条件,而非定义僵化的事务性交互。遵循这种设计实践还需要一种新的时间逻辑,所设计的系统也必须使用一种不同于从A→B→C的线性时间的新时间性。因此,研究人员提出一种基于能动实在论和Edgar Morin复杂性理论的不同方法。传统的项目模型是线性的和目的论的,因为它们朝着预定义目标前进。基于能动实在论以及Morin关于组织作为持续生成和再生活动的合理性,设计的对象和评估发生了变化。重点从为特定用户和用例创建成品制品,转向塑造整个社会技术安排的动态物质条件。目标不是预先确定和控制结果,而是培养丰富演变的关系范围。在游戏设计理论中,涌现通常被理解为由形式规则交互产生的复杂行为。尽管这些理论承认设计师无法完全控制最终体验,但它们通常将系统视为一个封闭的逻辑循环。此外,Gaver等人的模糊性概念指出,缺乏规定性意义允许用户构建自己的叙事。然而,研究人员主张,涌现不仅仅是关于缺乏对用户体验的完全控制或关于解释。涌现是系统组成部分及其关系的本体论转变。工作坊展示了一个游戏控制器如何根据系统展开的历史从清洁工具转变为攻击性器具。这发生在参与者在一段时间后体现了一个纠缠的主体/客体能动性,而这种能动性先前被归因于一个外部主体(机器人吸尘器)。就像Leibovitz在玩《塞尔达传说:黄昏公主》数小时后的深刻认识:我不是一个真正的主体,至少不是纯粹笛卡尔意义上的;我没有任何思想,全是广延。……最后,在肌肉记忆之类的东西首次在我的游戏中显现两小时后,我用我之前有意识避免的一个词来描述Link:我。为何需要能动实在论解释?团队模式中观察到的涌现转变(参与者放弃了收集灰尘的目标)或许可以通过既有的人机交互框架如活动理论(AT)、分布式认知(DC)、行动者网络理论(ANT)或吉布森可供性来分析。然而,研究人员认为这些框架不足以捕捉游戏中发生的深刻本体论转变,使得能动实在论的解释具有独特价值。AT视角会将参与者视为预存的稳定主体,使用控制器和屏幕上的吸尘器作为中介工具作用于一个客体(游戏目标)。在AT下,从清洁到格斗的转变将被简单地解释为活动客体的有意识改变,由团队游戏规则的引入触发。因为AT维持主体与工具之间的严格分离,它无法解释参与者宣布“我没电了”的语言和行为转变,也无法解释物理控制器如何被递归地赋予新意义。参与者不仅仅改变了他们的目标;他们的主体能动性在与硬件和软件的纠缠中被动态重构。DC视角将分析新“格斗”策略的认知负荷如何分布在人类、屏幕和定制控制器网络中。虽然DC擅长映射信息流,但它仍然将这些节点(人类、传感器、屏幕)视为根本上不同的、预存的实体,只是相互作用。同样,使用吉布森可供性的生态心理学视角可能认为新游戏规则仅仅突出了定制控制器的不同物理可供性。然而,可供性的概念仍然保留了感知主体与环境之间根本的、预存的边界,未能捕捉参与者、控制器和屏幕上数字吸尘器融为单一行动主体的深度本体论纠缠。即使是ANT,虽然对称地对待人类与非人类行动者,但以不同方式处理这种关联性。虽然ANT擅长追踪行动者如何通过其关联被塑造,但在方法论上依赖于识别离散的行动者来映射那些转译。相比之下,研究人员的发现强调了先于网络出现的机制:暂时性物质化地构成一个行动者或一个客体的能动切割。能动实在论主张关系项(主体和客体)并不先于其关系而存在。工作坊表明,玩家、定制构建的控制器和游戏规则并非作为独立实体互动;它们的显著性和意义通过内行动涌现,实现了临时的因果结构。物理控制器并未保持为一个静态工具只是被不同地使用;它的意义、显著性和物质影响被系统展开的历史本体论地重构了。虽然其他框架在其预期目的上非常有用,但它们不适合解释一个其身份不固定于其离散组成部分或预定义目标(例如,收集灰尘)的系统,而完全存在于其持续的生成过程和涌现的节奏中。研究人员主张,能动实在论具备解释这种深刻关系复杂性的独特能力。工作坊的结果为能动实在论的解释提供了实证支持。它表明,即使关系条件的微小变化也可能引发一系列改变,从而完全改变系统的目的和意义。指定一个目标(例如,收集灰尘)并不能保证那个目标与实际展开的能动性相关,从而构成系统。采用能动实在论迫使研究人员根本性地重新评估什么构成了一个成功的交互系统。该框架不是衡量效率、准确性或任务完成度,而是鼓励开发方法来重视系统产生的涌现节奏的关系复杂性。局限性与可推广性。尽管工作坊为研究人员的理论主张提供了实证基础,但这项探索性研究存在一些方法论局限。样本量小(N=10),参与者来自一个专注于游戏、娱乐和媒体的会议。参与者对交互系统的熟悉程度有利于快速参与定制硬件和游戏的复杂动态。然而,这也意味着观察到的行为可能无法完全代表公众如何与系统互动。此外,经验设置仅限于多人游戏环境,这自然鼓励角色扮演和竞争行为。本研究的主要贡献在于其理论和方法论框架。尽管存在局限,展示如何应用能动实在论解读为人机交互界提供了一个宝贵的视角。研究人员强调,他们不是在追踪十个个体的认知意图或主观选择以证明群体间的统计不变性。他们是在展示在这个特定社会技术集合内能动切割的过程性一致性。因为能动切割并非预存主体的故意选择,能动切割是由整个社会技术集合实施的语境性重构。所观察到的语言和行为转变被视为“身体上的痕迹”,是现象如何在实时物质化特定边界和能动性的经验证据。通过记录参与者群体中特定“能动切割”的反复出现(例如,从第三人称工具描述“我的机器人”到第一人称纠缠主体“我没电了”的语言转变),追踪了从事务性交互到关系复杂性的转变。通过将这些语言标记与记录的游戏环节相关联,研究人员观察到了底层过程性节奏的表现。通过记录这些节奏,研究人员观察到系统的身份是如何过程性地实现的。这种定性分析使研究人员能够将观察到的能动性微观转变转化为更广泛的设计原则,优先考虑系统持续的“生成”而非静态任务完成。结论。在工作坊中观察到的游戏涌现节奏揭示了事务性交互设计和线性计算模型中的一个缺口。通过分析这些模式如何出现,研究人员为一种新颖的方法奠定了基础,旨在设计系统不是为了解决任务,而是体现能动实在论有节奏的、重新联结的本质。无论是显式状态机还是目标导向的优化算法,它们都依赖线性因果关系和预定义目标。在这样的模型中,交互被视为一种事务,其中输入A被处理以实现目标B。如果研究人员使用这种逻辑来建模其工作坊,从“清洁”到“格斗”的涌现转变将被归类为失败。一个为灰尘收集优化的系统会将参与者在团队模式中的行为视为有意义的关系重构,而是视为偏离基本事实的噪音或错误。但研究人员的分析表明,这种偏离是系统对参与者变得最显著的时刻,甚至让他们忘记了原始目标。涌现行为不是一个缺陷;它是一种新的稳定的生成节奏。组织关系复杂性的设计原则。为了超越事务性交互模型,基于能动实在论的框架需要一种关于时间性和系统动力学的新视角。与能动实在论一致,诸如从吸尘到攻击的“能动切割”转变,并非有意识的人类决策,而是由整个社会技术集合实现的。追踪这些转变——被视为物质-话语的实现而非认知的人类选择——为系统身份如何过程性地构成提供了依据。这一依据构成了以下设计原则的基础,旨在让设计师探索涌现的系统动态而非优化预定义目标:为关系涌现而设计(拥抱非线性动力学)。传统交互系统通常依赖线性因果关系,其中系统状态仅由紧接的前一个状态引起,或者用户的认知选择导致可预测的事件链(A→B)。相反,研究人员提议为非线性动力学而设计,其中系统状态是其完整、当前关系组织的表达。观察:这在游戏条件改变时变得极为明显。在团队模式中,关系约束的简单重排导致先前的社会结构崩溃,新的对抗关系(“阻挡”、“阻碍”或“攻击”)涌现。系统的身份非线性地转变,最初的竞争目标被完全遗忘。观察到的涌现动态并非依赖于十个个体的主观意图,也不是系统中预编程规则的结果。参与者并没有决定感觉像一个吸尘器,软件也没有强制执行“攻击模式”。能动切割是由人类、物理控制器、数字规则和社会语境的内行动所绘制。设计含义:设计的对象必须从编写系统的最终形式转向组织初始的物质-话语约束。重要的是,为涌现而设计并不意味着没有规则或先验指令;而是关注这些规则的显著性、意义和被实现的相关性如何通过系统的关系配置的展开而随时间变化。不同的房间配置(图1),连同物理社会安排,作为语境性的“舞台”,允许系统的身份发生转变。当关系约束在车库房间(图1c)改变时,最初的目标崩溃,新的对抗关系涌现。为重新联结而设计(促进递归重构)。在事务性系统中,时间顺序移动,记忆被视为静态数据日志。相反,能动实在论系统通过递归重构运作,其中时间循环移动:过去并非固定,而是被当前内行动主动重塑并赋予新意义。观察:当参与者首次构建控制器时,它创造了一个不可逆转的历史性。最初,玩家使用的词汇严格与其硬件的物理材料性相关(“按压”、“推动”、“扭转”、“转弯”或“滑动”)。然而,随着系统历史进展到团队模式,这段材料历史被递归地重构;控制器被重新联结并体现为“攻击”和“阻挡”的工具。时间重构并非参与者决定改变其工具意义的有意识认知选择,也不是系统软件内预编程的状态转换。过去的内行动回响到现在,控制器的效用是由整个物质-话语安排共同构成的。设计含义:系统应被设计,使其过去通过结构耦合而非静态检索主动塑造其未来组织。通过允许系统重新联结,设计师可以创建架构,其中工具的意义在不断展开的语境中持续且暂时性地共同构成。输入板的选择(图3)和组装的控制器(图5)创造了不可逆转的历史性;尽管最初为吸尘而构建,但这些物理工件被重新联结——随着系统历史的进展,被体现为攻击的工具。为涌现模式而设计(重视过程性涌现)。在传统设计中,成功通过达到最优预定义状态来衡量。然而,在能动实在论下,一个过程的价值并非最终的稳定状态,而是持续的过程本身。系统的身份在于其变化的模式——它的节奏。观察:工作坊揭示了从未明确编程的独特节奏。最初的节奏基于与屏幕上机器人吸尘器作为独立实体的关系。这过渡到自由对战节奏,其中分离变得弥散,系统涌现为一个繁忙的社会技术集合。最后,激烈的团队节奏占据主导。这些节奏是系统流态能力的观察,意味着暂时稳定在新变化轨迹上的能力。节奏并非由参与者选择。它们是人类、控制器和社会语境纠缠的结果。节奏并未硬编码到游戏规则中。它们源于整个社会技术集合暂时稳定在不同节奏中。设计含义:为涌现模式而设计意味着通过整个社会技术集合的时间模式来表达动态。设计和参与者体验的真正价值不在于优化特定目标(例如,收集灰尘),而在于策划丰富而意想不到的涌现社会物质动态。技术和物理设置(图4)促进了涌现的节奏,例如将竞争对手推到充电站的帮助性社会动态。这些节奏从未被明确编程。这些模式代表了系统作为持续生成过程的真正身份。对计算架构的启示:从稳态到流态。采用这些设计原则对我们理解和构建支撑交互系统的基础计算架构具有启示意义。研究人员的结果表明,游戏的意义不在于达到静态的、预定义的状态(例如,最大化灰尘收集量),而在于系统支持转变的关系节奏的能力(例如,从除尘到探索到攻击)。为了构建组织关系复杂性的系统,研究人员主张将计算价值观从稳态(homeostasis)转向流态(homeorhesis)。虽然稳态是指系统通过修正偏差来维持静态内部状态的能力,但流态是指维持稳定变化轨迹或节奏的能力。当参与者放弃灰尘收集转而进行对抗性团队游戏时,系统没有崩溃;相反,它经历了一次流态转变,稳定在一个新的、稳定的生成节奏中。因此,研究人员主张动态交互系统不应仅仅通过修正偏差来回归现状(稳态)。相反,它们必须能够进行情感调谐,与变化的关系语境共振,暂时稳定在新的涌现轨迹中(流态)。将研究人员的发现转化为计算架构是一个需要进一步实证和技术验证的临时假设。然而,这种方法与生成式人工智能和认知科学中动态系统理论的传统高度一致。正如Varela等人所论证的,认知不是对预给信息的处理,而是通过具身行动实现一个世界。从这个角度看,主体并非被动反映一个独立的环境,而是通过其结构耦合将一个有意义的世界带入存在。为了在计算上实现这一点,必须摒弃通过僵化行为规则模拟能动性的做法。Froese和Ziemke通过区分行为自主性和构成自主性阐明了这一点,认为真正的生成需要系统主动生成其自身展开的条件。在研究人员持续的工作中,他们正在探索连续时间递归神经网络(CTRNNs)和储层计算(RC)作为满足这些条件的有前景的方向。正如Beer所展示的,最小认知行为可以从CTRNN与其环境的耦合动力学中涌现,而无需显式的内部表征。同样,RC模型基于高维动态记忆和非线性映射的原理运作。因为像这样的模型利用“消逝记忆”,其中先前的输入持续回响并影响当前状态,它们在数学上体现了能动实在论的重新联结和节奏本质,远胜于严格的算法逻辑。通过将这些模型与非因果电路的概念相结合,研究人员旨在开发不仅执行确定性交互,而且真正与其人类参与者融为一体的交互系统。