STT-CL：一个统一的时空任务框架，用于无词汇的多语言手语翻译中的持续学习

《IEEE Access》：STT-CL: A Unified Spatio-Temporal-Task Framework for Continual Learning in Gloss-Free Multilingual Sign Language Translation

　　

摘要：

手语翻译（SLT）本质上是一种跨符号系统的翻译过程，涉及视觉-手势语言系统和口语系统之间的意义转换。然而，大多数现有的SLT研究都集中在静态的双语环境中，忽视了实际应用中的动态和多语言特性。向多语言手语翻译的持续学习（CL-MSLT）方向发展至关重要，但由于灾难性遗忘、时空冗余以及跨语言的异质性，这一过程仍然充满挑战。为了解决这些问题，我们提出了STT-CL，这是一个基于时空任务的统一框架，采用两阶段设计。首先，通过将多粒度时空动态校准模块嵌入到视觉框架中，我们在预训练阶段有效过滤掉了无关信息。其次，为了使固定不变的视觉框架能够适应不同的手语系统而不导致遗忘，我们引入了语言引导的视觉提示调整机制来实现任务相关的上下文注入，并采用时空解耦的专家混合模型来隔离物理参数。借鉴认知翻译学中的抑制控制理论，该设计结构化地分离参数，以抑制逆向干扰，确保历史知识的保留。为了促进该领域的研究，我们基于SP-10数据集制定了严格的顺序协议，建立了CL-MSLT基准测试。大量实验表明，STT-CL能够实现先进的性能，在保持高翻译质量的同时有效减轻遗忘现象，适应各种任务组合。