标签： AGI

随着聊天机器人、语言模型和语音技术的快速发展，人们越来越渴望创造能够通过自然语言或直接语音与人类无缝交互的系统。本文将探讨如何将对话系统研究置于具身智能的更广阔背景下，借鉴神经生物学和神经心理学中的概念，定义一种能够融合手工设计和人工神经网络的行为架构，为未来模仿学习或指令学习等新学习方法打开大门。

传统对话系统的局限性

传统的语音助手通常采用一种简单的线性信息流架构，从语音识别到自然语言理解，再到对话管理和自然语言生成，最终输出文本或语音。这种架构虽然在处理简单任务方面表现出色，但面临着一些挑战：

• 数据依赖性强： 机器学习方法需要大量对话数据进行训练，这在一些领域难以获得。
• 奖励函数定义困难： 强化学习方法需要定义合适的奖励函数，这在复杂对话场景中非常困难。
• 可控性/可解释性有限： 基于统计的深度神经网络方法的可控性和可解释性较差。

另一方面，手工设计的对话系统虽然易于开发，可控性高，但扩展性存在局限，难以应对复杂多变的对话场景。

借鉴神经科学：Miron系统

本文提出了一种名为“Miron”的系统，其灵感来源于神经科学中的镜像神经元理论。镜像神经元在动物执行特定动作时以及观察其他个体执行相同动作时都会被激活，这表明动作理解和动作生成可能共享相同的表征。

Miron系统将这一概念应用于自然语言理解 (NLU) 和自然语言生成 (NLG) 模块，将一个特定的意图 (intent) 与一组用于识别和生成该意图的模板句子联系起来。每个Miron还包含一个可选的数据结构，用于描述模板句子中使用的命名实体 (named entities)，例如日期、地点、人物等。

Miron系统的优势：

• 统一识别和生成： Miron系统使用相同的模板句子进行识别和生成，简化了设计过程。
• 可扩展性： Miron模板可以生成大量句子，为统计 NLU 模型提供训练数据。
• 模仿学习的潜力： Miron系统为通过观察和模仿学习对话行为提供了可能性。

具身智能和多模态交互

除了文本对话，具身智能系统还可以通过虚拟化身或物理机器人与人类进行多模态交互，例如眼神、表情、手势等。Miron系统可以通过文本形式表示多模态信息，实现多模态交互。

对话/行为引擎：基于递归神经网络的架构

为了处理异步感知事件 (例如语音、传感器信号) 并生成相应的反应，本文提出了一种基于递归神经网络 (RNN) 的对话/行为引擎。该引擎将状态定义为规则，每个规则对应一个状态，当其条件满足时，就会执行一组关联的动作。

行为引擎的架构：

• 条件层： 包含识别到的 Miron 意图、动作完成反馈事件、命名实体状态和工作记忆状态。
• AND 层： 通过权重矩阵和当前激活的规则，确定哪些规则可以被激活。
• 预选层： 在多个规则可以被激活的情况下，随机选择一个规则。
• OR 层： 考虑所有激活的规则，最终确定下一个激活的规则。
• 动作层： 生成相应的动作，包括内部 Miron 意图、内部动作、工作记忆状态变化等。

内部语言：模拟人类的思考过程

人类可以通过“内部语言”进行思考，例如回忆记忆或想象场景。本文借鉴这一概念，允许对话系统通过内部 Miron 意图触发行为，就像外部用户发出指令一样。

模型驱动开发：图形化 DSL

为了简化对话/行为的设计过程，本文提出了一种图形化领域特定语言 (DSL)，允许开发者通过图形化方式创建对话/行为模型。DSL 包含 Miron 元素和规则元素，分别用于定义语言相关方面 (例如意图、命名实体、模板) 和行为逻辑 (例如条件、动作)。

对话设计：模块化和参数化

对话可以看作是机器和用户之间一系列言语行为的交替。为了简化对话设计，本文提出了一种基于回合制 (turn-taking) 的架构，将对话流程分解成多个模块，例如用户模型、响应模型、错误模型、情景分析模块、行为参数化模块和参数化行为模块。

虚拟接待员：应用案例

本文使用上述方法开发了一个虚拟接待员系统，该系统运行在一个展台上，由一个虚拟化身代表，用于迎接访客、收集信息、验证访客预约信息并联系相关人员迎接访客。

系统架构：

• 化身框架： 提供了用于创建虚拟化身的工具和接口。
• 语音技术： 集成了文本转语音 (TTS) 和语音识别 (ASR) 模块。
• 电话/邮件通信： 支持电话和邮件通信功能。
• 人脸识别和距离检测： 支持人脸识别和距离检测功能。

对话设计：

• 模块化： 将对话流程分解成多个模块，例如访客模型、情景分析模块、信息参数化模块和错误处理模块。
• 冗余设计： 通过提供多种信息和处理错误的方式，提高对话的可靠性。
• 非语言行为： 使用表情、动作等非语言行为，增强用户体验。

用户研究：

用户研究表明，虚拟接待员系统获得了较高的用户满意度，用户认为该系统易用、吸引人且能有效地完成任务。

总结和未来展望

本文展示了如何将神经科学中的概念应用于手工设计的对话管理系统，并提出了一种基于模型驱动开发和图形化 DSL 的设计方法。未来，学习方法将是实现可扩展对话系统的关键，而模仿学习、指令学习和课程学习将发挥重要作用。

参考文献:

• Alderson-Day, B., & Fernyhough, C. (2015). Inner Speech: Development, Cognitive Functions,
  Phenomenology, and Neurobiology. Psychol Bull., 141(5), 931-965.
• Bohus, D., & Horvitz, E. (2009). Dialog in the open world: platform and applications. In Proceedings of the 2009 international conference on Multimodal interfaces (pp. 31-38).
• Rizzolatti, G., & Craighero, L. (2004), The Mirror-Neuron System, Annu. Rev. Neurosci., 27, 169–92.
• Weinschenk, S. (2011). 100 things every designer needs to know about people. Pearson Education.

---

Q: 这篇论文试图解决什么问题？

A: 这篇论文探讨了如何将类似于大脑的概念引入到具身对话管理系统中，以提高与人类通过自然语言或直接语音进行无缝交互的系统的能力。具体来说，论文试图解决的问题包括：

对话管理的挑战：在聊天室、数字助手和自然语言用户界面系统中处理对话管理的问题，这通常涉及如何设计和实现有效的对话系统。

传统方法的局限性：传统的对话管理方法，包括手工设计模型、基于机器学习的解决方案和混合系统，都有各自的局限性，如数据需求量大、奖励函数定义困难、控制性和可解释性有限。

提高控制性和可解释性：尽管机器学习方法在模拟人类对话自然性方面具有吸引力，但它们在控制性和可解释性方面存在不足。论文提出通过引入神经生物学和神经心理学的概念，可以设计出既具有高控制性又能够适应未来新学习方法（如模仿学习或指令学习）的对话系统。

扩展到多模态交互：论文还探讨了如何将对话系统扩展到具身智能领域，包括虚拟助手和物理机器人，以及如何通过定义抽象层来统一处理多模态输入和输出。

简化对话系统设计：论文提出了一种基于神经行为引擎的方法，允许使用图形化语言创建混合主动对话和动作生成，这有助于简化对话系统的设计并提高其可扩展性。

降低计算资源需求：论文还关注于如何在计算资源有限的情况下构建对话系统，这对于工业应用来说是一个重要的考虑因素。

总的来说，这篇论文的目标是展示如何通过结合神经生物学的灵感和模型驱动开发（MDD）的方法，创建出既简单又具有高度控制性和可扩展性的对话系统。

Q: 有哪些相关研究？

A: 论文中提到了多个与对话系统、自然语言处理、神经生物学和人工智能相关的研究。以下是一些关键的参考文献和相关研究领域：

Mirror Neurons: Rizzolatti & Craighero (2004, 2007) 提供了关于镜像神经元的原始发现和理论，这些神经元在动作执行和观察时都会被激活。

Natural Language Understanding (NLU): 论文中提到了一些用于自然语言理解的简单方法，如 Canonico & De Russis (2018) 和 Abdellatif (2020) 的工作。

Dialog Management (DM) Systems: Masche & Le (2018), Burgan (2017), 和 Lee et al. (2010) 提供了关于对话管理系统的综述。

Natural Language Generation (NLG): Santhanam & Shaikh (2019) 和 Gatt & Krahmer (2018) 对NLG模块的不同实现进行了综述。

Embodied Intelligence: Pezzulo et al. (2011) 讨论了具身智能的重要性以及它如何影响社交机器人的设计。

Model-Driven Development (MDD): Rodrigues da Silva (2015) 提供了关于MDD的综述，这是一种用于设计复杂系统的方法。

Neural Networks and State Machines: Das (1994), Gile et al. (1995) 探讨了使用递归神经网络来表示有限状态机的方法。

Inner Speech: Vygotsky (1986) 和 Morin (2013) 讨论了内部语言的概念，以及它如何影响自我调节行为。

Evolution of Speech: Rizzolatti & Craighero (2007) 提出了关于人类语言发展的假设。

Social Bots and Chatbots: 论文提到了商业产品如 Apple Siri®, Amazon Alexa®, 和 Google Home®，以及它们在不同行业中的广泛应用。

Multimodal Interactions: 论文中提到了如何将对话系统扩展到多模态交互，包括虚拟助手和物理机器人。

Statistical Language Models: Theune (2003) 提供了关于使用统计语言模型的NLG方法的综述。

Reinforcement Learning: 在讨论机器学习方法时，论文提到了强化学习解决方案可能面临的挑战。

Neurobiology and Neuroscience: 论文中引用了多个神经生物学的研究，以展示如何从神经科学中获得灵感来设计对话系统。

这些参考文献和研究领域为论文提出的对话系统设计方法提供了理论基础和实践指导。

Q: 论文如何解决这个问题？

A: 论文通过以下几个关键方法来解决对话管理系统的挑战：

引入神经生物学概念：论文借鉴了神经生物学中的镜像神经元概念，提出了“Mirons”系统，以模拟语言理解（NLU）和语言生成（NLG）的相互关联。

混合主动对话和动作生成：通过一个基于图形语言的神经行为引擎，实现了混合主动对话和动作生成，允许系统根据手工设计的模型进行响应。

图形化对话模型：通过图形化对话模型，展示了如何使用受大脑启发的架构来提高对话系统的可用性。

模型驱动开发（MDD）：利用MDD方法和专门的图形领域特定语言（DSL），简化了对话系统行为的定义过程。

状态机和行为引擎：论文详细描述了一个基于递归神经网络（RNN）的行为引擎，该引擎允许并行状态和非确定性决策，以处理异步感知事件。

内部语言和反馈循环：通过内部语言和反馈循环的概念，模拟了人类的内部对话过程，允许系统在没有外部输入的情况下触发程序性反应。

多模态交互：论文讨论了将Mirons概念扩展到其他模态，如视觉和声音，以支持具身智能体的多模态交互。

虚拟接待员应用案例：通过一个虚拟接待员的实际应用案例，展示了所提出方法的应用，并进行了用户研究来评估用户体验。

用户研究和评估：通过使用系统可用性量表（SUS）、AttrakDiff量表和特定量表进行用户研究，评估了虚拟接待员应用的用户接受度和对话质量。

设计原则和方法：论文强调了设计原则和方法的重要性，以减少对话系统的自然复杂性，并通过模块化、参数化和规划来简化对话管理架构。

这些方法的结合，旨在创建一个既能够控制和解释，又能够适应未来学习技术如模仿学习或指令学习的对话系统。

Q: 论文做了哪些实验？

A: 论文中进行了一项用户研究来评估虚拟接待员应用的用户接受度和对话质量。以下是实验的详细步骤和结果：

参与者：

由于COVID-19大流行，参与者是从公司内部招募的20名志愿者，他们扮演访客的角色。

参与者包括40%的女性和60%的男性，平均年龄为34.5岁。

大多数参与者是德国人，还有来自法国、意大利、俄罗斯和中国的参与者，他们都精通英语。

测试任务场景：

参与者随机选择两个预定义的访客档案，包括访客姓名、公司名称和联系人。

他们需要尝试使用选定的档案与系统注册两次。

成功注册后，虚拟接待员会调用访客的联系人。

测试环境：

虚拟接待员的展位位于大楼入口大厅，靠近人类接待员的桌子。

测试环境没有控制背景噪音，可能存在侧边对话、自动门开关声、手推车滚动声等。

评估量表：

使用了系统可用性量表（SUS）、AttrakDiff量表和特定量表来评估用户体验。

SUS量表用于评估系统的整体可接受性。

AttrakDiff量表用于评估产品的实用性和吸引力。

特定量表包括30个问题，涵盖了用户界面设计的多个心理学方面。

测试结果：

所有参与者都成功注册。

SUS量表得分为90.3，表明系统处于可接受性量表的最高范围。

AttrakDiff量表显示系统在实用性方面的得分较高，但在“技术/人类”和“不要求/具有挑战性”的感知方面存在不确定性，这对于一个技术系统来说是积极的。

特定量表的结果与SUS和AttrakDiff的积极结果一致，特别是关于语音识别、语音合成以及对话理解和支持的问题。

结论：

用户研究的结果表明，虚拟接待员应用被用户高度接受，并且在对话质量方面表现良好。
这项用户研究提供了对虚拟接待员应用实际效用的实证评估，并帮助研究者了解其在实际环境中的表现。

Q: 有什么可以进一步探索的点？

A: 论文在最后一部分提出了一些未来可能的研究方向和进一步探索的点，主要包括：

学习方法的改进：尽管当前的学习方法通过大量训练数据来提高性能，但论文认为需要更多地从婴儿发展研究中汲取灵感，探索模仿学习、指令学习或课程学习等方法。

对话的自然性和可扩展性：论文指出，尽管手工设计的对话管理系统可以从生物学中获益，但未来的可扩展解决方案需要依赖于学习方法。

多模态交互的深入研究：论文提到了将对话系统扩展到多模态交互的重要性，这包括进一步探索如何结合语言、视觉和其他感官输入。

模型驱动开发（MDD）的进一步应用：论文提出MDD和图形化DSL可以帮助简化对话系统的设计，但需要进一步研究如何更有效地结合这些工具和方法。

内部语言和反馈循环的模拟：论文中提到的内部语言和反馈循环的概念可以进一步探索，以更好地理解和模拟人类的内部对话过程。

用户研究的扩展：论文中的用户研究为评估虚拟接待员应用提供了基础，但可以扩展到更多用户群体和不同环境，以获得更全面的反馈。

系统架构的优化：论文提出的虚拟接待员系统架构可以进一步优化，以提高性能、可靠性和用户体验。

隐私和数据保护：鉴于系统使用生物识别数据，如何确保用户数据的安全和隐私是未来研究的一个重要方向。

跨领域应用：论文中的方法和框架是否可以应用于其他领域，例如医疗、教育或客户服务，也是一个值得探索的问题。

技术集成：如何将最新的人工智能技术，如强化学习、深度学习和自然语言处理，更有效地集成到对话管理系统中。

这些探索点为未来的研究提供了方向，旨在提高对话系统的智能性、适应性和用户友好性。

Q: 总结一下论文的主要内容

A: 这篇论文主要探讨了如何将类似于大脑的概念引入到对话管理系统中，以提高与人类通过自然语言或直接语音进行无缝交互的能力。以下是对论文主要内容的总结：

背景介绍：随着聊天机器人、语言模型和语音技术的发展，人们对创建能够通过自然语言或语音与人类无缝交互的系统越来越感兴趣。

对话管理的挑战：讨论了对话管理在聊天室、数字助手和自然语言用户界面系统中的问题，以及现有的解决方案，包括手工设计模型、基于机器学习的解决方案和混合系统。

神经生物学启发：论文提出将神经生物学和神经心理学的概念引入对话系统设计中，以实现手工设计和人工神经网络的融合，并为未来的学习方式如模仿学习或指令学习铺平道路。

神经行为引擎：介绍了一个神经行为引擎，它允许基于手工设计模型使用图形语言创建混合主动对话和动作生成。

Mirons系统：提出了一个名为“Mirons”的数据结构，用于定义特定意图并将其与用于对话系统中感知和生成意图的模板句子列表相关联。

具身智能和多模态交互：强调了具身智能在社交机器人设计中的重要性，并提出了一个抽象层来统一处理多模态输入和输出。

行为/对话引擎：详细描述了一个基于递归神经网络的行为引擎，该引擎允许处理异步感知事件并产生适当的反应。

内部语言：引入了“内部语言”的概念，模拟人类的内部对话过程，允许系统在没有外部输入的情况下触发程序性反应。

模型驱动开发（MDD）：讨论了使用MDD方法和图形化DSL来简化对话系统行为的定义过程。

对话设计：提供了设计对话的指导原则和方法，包括模块化、参数化和规划。

虚拟接待员应用案例：通过一个虚拟接待员的实际应用案例，展示了所提出方法的应用，并进行了用户研究来评估用户体验。

用户研究：进行了一项用户研究，使用SUS、AttrakDiff和特定量表来评估虚拟接待员应用的用户接受度和对话质量。

结论和未来工作：论文总结了研究成果，并提出了未来可能的研究方向，包括改进学习方法、多模态交互和隐私保护等。

论文的内核贡献在于提出了一种结合神经生物学概念和模型驱动开发的对话系统设计方法，并通过实际应用案例和用户研究展示了其有效性。

近年来，Transformer模型在自然语言处理领域掀起了一场革命，其强大的能力让世人惊叹。但随着模型规模不断扩大，训练和部署这些庞然大物也变得越来越困难，尤其对于个人用户和小型机构来说。

为了解决这一难题，研究者们提出了各种解决方案，其中低秩分解成为了一个重要的方向。LoRA[7] 就是一个典型的例子，它通过在预训练模型的每一层学习一个低秩增量来实现高效的微调。

本文则更进一步，提出了一个全新的模型设计范式——垂直LoRA (VLoRA)[7]。它基于一个全新的视角：将Transformer模型看作是密集型期望最大化（EM）算法[7]。

Transformer：隐藏的EM算法

在监督学习中，Transformer模型的目标是最大化后验概率 ，其中 是输入， 是标签， 是模型参数。本文指出，Transformer模型的每一层实际上都是EM算法的一次迭代，前向传播对应于E步，而下一层与当前层权重差异则对应于M步。

这个发现揭示了Transformer模型中一个重要的规律：每一层都是基于前一层学习一个增量。而正是基于这一规律，VLoRA应运而生。

VLoRA：垂直分解，层层递进

VLoRA 首先定义一个全秩基层，然后每一层都基于上一层学习一个低秩增量，并使用LoRA分解来逼近这个增量。这种垂直分解的方式，使得模型参数数量大幅减少，同时保留了原始模型的性能。

与传统的水平LoRA相比，VLoRA 更加高效，因为它减少了模型的总体参数，而不是仅仅针对微调阶段。

实验验证：性能提升，更少参数

本文在图像分类任务上进行了实验，使用 CIFAR-10 数据集[31] 对 12 层的 Vision Transformer[32] 进行了训练，并比较了其 VLoRA 版本的性能。

实验结果表明：

• VLoRA 版本的训练损失和准确率虽然略低于原始模型，但在评估阶段却展现出更强的泛化能力，不容易过拟合。
• VLoRA 版本的最佳评估指标与原始模型几乎相同，但参数数量却大幅减少。
• 即使使用较小的低秩（例如 r=2），VLoRA 依然能有效地对每一层的权重增量进行建模。

未来展望：更轻盈，更强大

VLoRA 的出现，为构建更轻盈、更强大的 Transformer 模型提供了新的思路。它不仅可以用于降低模型的训练和部署成本，还可以提升模型的泛化能力，使其在更多场景下发挥作用。

参考文献

[1] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, 1(8):9, 2019.

[2] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, 33:1877–1901, 2020.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[4] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[5] Anthropic. The claude 3 model family: Opus, sonnet, haiku, 2024.

[6] Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, and Luke Zettlemoyer. Qlora: Efficient finetuning of quantized llms. Advances in Neural Information Processing Systems, 36, 2024.

[7] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. Lora: Low-rank adaptation of large language models. arXiv preprint arXiv:2106.09685, 2021.

[8] Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin De Laroussilhe, Andrea Gesmundo, Mona Attariyan, and Sylvain Gelly. Parameter-efficient transfer learning for nlp. In International conference on machine learning, pages 2790–2799. PMLR, 2019.

[9] Jonas Pfeiffer, Aishwarya Kamath, Andreas Rückl, Kyunghyun Cho, and Iryna Gurevych. Adapterfusion: Non-destructive task composition for transfer learning. arXiv preprint arXiv:2005.00247, 2020.

[10] Qingru Zhang, Minshuo Chen, Alexander Bukharin, Pengcheng He, Yu Cheng, Weizhu Chen, and Tuo Zhao. Adaptive budget allocation for parameter-efficient fine-tuning. In The Eleventh International Conference on Learning Representations, 2023.

[11] Sinong Wang, Belinda Z Li, Madian Khabsa, Han Fang, and Hao Ma. Linformer: Self-attention with linear complexity. arXiv preprint arXiv:2006.04768, 2020.

[12] Xiang Lisa Li and Percy Liang. Prefix-tuning: Optimizing continuous prompts for generation. arXiv preprint arXiv:2101.00190, 2021.

[13] Xiao Liu, Kaixuan Ji, Yicheng Fu, Weng Lam Tam, Zhengxiao Du, Zhilin Yang, and Jie Tang. P-tuning v2: Prompt tuning can be comparable to fine-tuning universally across scales and tasks. arXiv preprint arXiv:2110.07602, 2021.

[14] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. arXiv preprint arXiv:2104.08691, 2021.

[15] Nikita Kitaev, Łukasz Kaiser, and Anselm Levskaya. Reformer: The efficient transformer. arXiv preprint arXiv:2001.04451, 2020.

[16] Jialin Li, Qiang Nie, Weifu Fu, Yuhuan Lin, Guangpin Tao, Yong Liu, and Chengjie Wang. Lors: Low-rank residual structure for parameter-efficient network stacking. arXiv preprint arXiv:2403.04303, 2024.

[17] Misha Denil, Babak Shakibi, Laurent Dinh, Marc Aurelio Ranzato, and Nando De Freitas. Predicting parameters in deep learning. Advances in neural information processing systems, 26, 2013.

[18] Armen Aghajanyan, Luke Zettlemoyer, and Sonal Gupta. Intrinsic dimensionality explains the effectiveness of language model fine-tuning. arXiv preprint arXiv:2012.13255, 2020.

[19] Chunyuan Li, Heerad Farkhoor, Rosanne Liu, and Jason Yosinski. Measuring the intrinsic dimension of objective landscapes. arXiv preprint arXiv:1804.08838, 2018.

[20] Max Jaderberg, Andrea Vedaldi, and Andrew Zisserman. Speeding up convolutional neural networks with low rank expansions. arXiv preprint arXiv:1405.3866, 2014.

[21] Tara N Sainath, Brian Kingsbury, Vikas Sindhwani, Ebru Arisoy, and Bhuvana Ramabhadran. Low-rank matrix factorization for deep neural network training with high-dimensional output targets. In 2013 IEEE international conference on acoustics, speech and signal processing, pages 6655–6659. IEEE, 2013.

[22] Xiangyu Zhang, Jianhua Zou, Kaiming He, and Jian Sun. Accelerating very deep convolutional networks for classification and detection. IEEE transactions on pattern analysis and machine intelligence, 38(10):1943–1955, 2015.

[23] Jian Xue, Jinyu Li, and Yifan Gong. Restructuring of deep neural network acoustic models with singular value decomposition. In Interspeech, pages 2365–2369, 2013.

[24] Emily L Denton, Wojciech Zaremba, Joan Bruna, Yann LeCun, and Rob Fergus. Exploiting linear structure within convolutional networks for efficient evaluation. Advances in neural information processing systems, 27, 2014.

[25] Vadim Lebedev, Yaroslav Ganin, Maksim Rakhuba, Ivan Oseledets, and Victor Lempitsky. Speeding-up convolutional neural networks using fine-tuned cp-decomposition. arXiv preprint arXiv:1412.6553, 2014.

[26] Yong-Deok Kim, Eunhyeok Park, Sungjoo Yoo, Taelim Choi, Lu Yang, and Dongjun Shin. Compression of deep convolutional neural networks for fast and low power mobile applications. arXiv preprint arXiv:1511.06530, 2015.

[27] Xiangdi Meng, Damai Dai, Weiyao Luo, Zhe Yang, Shaoxiang Wu, Xiaochen Wang, Peiyi Wang, Qingxiu Dong, Liang Chen, and Zhifang Sui. Periodiclora: Breaking the low-rank bottleneck in lora optimization. arXiv preprint arXiv:2402.16141, 2024.

[28] Yang Lin, Xinyu Ma, Xu Chu, Yujie Jin, Zhibang Yang, Yasha Wang, and Hong Mei. Lora dropout as a sparsity regularizer for overfitting control. arXiv preprint arXiv:2404.09610, 2024.

[29] Soufiane Hayou, Nikhil Ghosh, and Bin Yu. Lora+: Efficient low rank adaptation of large models. arXiv preprint arXiv:2402.12354, 2024.

[30] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016.

[31] Alex Krizhevsky, Geoffrey Hinton, et al. Learning multiple layers of features from tiny images. 2009.

[32] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth 16×16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020.