标签: AI

  • SiLu:深度学习中的“平滑”激活函数

    近年来,深度学习领域取得了飞速发展,各种新技术层出不穷。其中,激活函数作为神经网络中不可或缺的一部分,也得到了广泛的研究和应用。SiLu 激活函数,也称为 Swish 激活函数,便是近年来备受关注的激活函数之一。它由 Google Brain 在 2017 年首次提出,并逐渐在深度学习模型中崭露头角。

    SiLu:Sigmoid 和 ReLU 的“完美结合”

    SiLu 激活函数的数学表达式为:f(x) = x * sigmoid(x),其中 sigmoid(x) 是标准的 Sigmoid 函数。简单来说,SiLu 函数将 Sigmoid 函数与线性函数相结合,既保留了 Sigmoid 函数的平滑特性,又具备 ReLU 函数的线性特性。

    那么,SiLu 究竟有哪些优势呢?

    • 无上界有下界: 与 ReLU 函数不同,SiLu 函数在负数部分仍然有输出,避免了 ReLU 函数在负数部分梯度为零的问题,有效缓解了梯度消失问题。
    • 平滑: SiLu 函数在整个定义域内都具有导数,这使得它在训练过程中更加平滑,更容易进行优化。
    • 非单调: 与 ReLU 函数相比,SiLu 函数是非单调的,这使得它能够更好地拟合非线性数据。

    SiLu 的应用:从 YOLOv5 到更广阔的未来

    SiLu 激活函数在深度学习领域已经展现出了强大的应用潜力。例如,在 YOLOv5 等目标检测模型中,SiLu 激活函数被广泛应用,并取得了优异的效果。

    为什么 SiLu 能够在深度学习模型中取得成功呢?

    • 缓解梯度消失问题: SiLu 函数在负数部分仍然有输出,避免了梯度消失问题,使得模型能够更有效地学习深层特征。
    • 提升模型性能: SiLu 函数的平滑特性和非单调特性,使得模型能够更好地拟合复杂的数据分布,从而提升模型的性能。

    结语

    SiLu 激活函数作为一种新型的激活函数,展现出了其独特的优势,并逐渐成为深度学习领域的重要工具。未来,随着深度学习技术的不断发展,SiLu 激活函数有望在更多领域发挥重要作用,推动深度学习技术的进一步发展。

    参考文献

    [1] SiLu 激活函数解释_silu 函数 -CSDN 博客
    [2] [CV – Image Classification] 图像分类之激活函数 SiLU – YOLOv7 使用的激活函数 – 知乎
    [3] [杂记] 激活函数 SiLU 和 Swish 的区别 -CSDN 博客

  • 算法交易:更复杂,更不可预测?

    近年来,算法交易在金融市场中迅速崛起,彻底改变了金融资产的交易方式。然而,算法交易带来的影响并非简单地提高了交易效率,而是带来了更复杂、更不可预测的市场动态。本文将带您深入探讨算法交易如何改变了金融市场的复杂性和不确定性。

    算法交易的兴起:从自动化到智能化

    算法交易是指使用预先编写的交易指令自动执行交易,这些指令会根据时间、价格、交易量等因素进行调整。算法交易利用了计算机的速度和计算能力,在交易速度和效率上远远超过了人工交易。

    算法交易的发展可以追溯到 20 世纪 70 年代,当时纽约证券交易所推出了“指定订单周转系统”(DOT)。随着全电子交易市场的兴起,程序化交易也随之出现,它允许根据各种因素自动执行交易。20 世纪 80 年代,程序化交易在标普 500 股票和期货市场之间广泛使用,形成了指数套利策略。

    21 世纪初,算法交易的复杂性和智能化程度大幅提升。2001 年,IBM 研究人员在国际人工智能联合会议上发表了一篇论文,证明了在金融市场中使用的电子拍卖的实验性实验室版本中,两种算法策略(IBM 自己的 MGD 和惠普的 ZIP)能够始终优于人工交易者。

    2005 年,美国证券交易委员会(SEC)实施了“国家市场系统法规”,改变了交易方式,例如“交易通过规则”,该规则规定市场订单必须以最佳可获得价格发布和执行,从而防止经纪公司从匹配买卖订单的价格差异中获利。

    随着更多电子交易市场的开放,其他算法交易策略也随之出现,例如:

    • 市场做市:通过持续发布高于当前市场价格的卖出限价单(或报价)或低于当前价格的买入限价单(或出价)来获取买入价差。
    • 统计套利:利用统计模型识别多个证券之间的价格差异,并通过同时买入和卖出这些证券来获取无风险利润。
    • 事件套利:利用特定事件(例如合同签署、监管批准、司法裁决等)来改变两种或多种金融工具的价格或利率关系,从而获取利润。
    • 高频交易:以高周转率和高订单交易比率为特征的算法交易形式。

    算法交易带来的复杂性和不确定性

    研究表明,算法交易虽然能够提高市场流动性,但也带来了新的复杂性和不确定性。

    微观层面的确定性与宏观层面的不确定性

    算法交易遵循预先设定的规则,在微观层面,算法的自动化行为使某些部分的交易动态更加可预测。然而,在宏观层面,整体的交易动态变得更加复杂和不可预测。

    更细致的市场洞察与更大的不确定性

    算法交易能够深入挖掘市场数据,发现人类交易者无法察觉的细微价格差异,从而在更细致的层面上进行交易。然而,这种更细致的市场洞察也带来了更大的不确定性,因为市场动态变得更加复杂,可能的交易结果也更加多样化。

    信息理论:理解复杂性和不确定性的关系

    信息理论为我们提供了一个框架,帮助我们理解算法交易带来的复杂性和不确定性的关系。

    • 信息熵:信息熵衡量的是一个随机变量的不确定性。信息熵越大,不确定性越大;信息熵越小,不确定性越小。
    • 预测复杂性:预测复杂性衡量的是预测一个动态过程所需的最小信息量。预测复杂性越大,动态过程越复杂;预测复杂性越小,动态过程越简单。
    • 剩余不确定性:剩余不确定性衡量的是在已知过去信息的情况下,对未来事件的不确定性。剩余不确定性越大,预测的准确性越低;剩余不确定性越小,预测的准确性越高。

    研究表明,算法交易会增加交易动态的预测复杂性和剩余不确定性。这似乎是一个矛盾,但信息理论解释了这种现象:算法交易创造了新的结构,但同时也增加了可能的交易结果,从而导致更大的不确定性。

    算法交易的未来:更复杂,更不可预测?

    算法交易的快速发展带来了新的挑战,例如:

    • 黑箱问题:算法交易的复杂性使得交易者难以理解算法的决策过程,增加了市场风险。
    • 系统性风险:算法交易的快速执行速度可能会导致市场波动加剧,甚至引发系统性风险。
    • 市场操纵:一些交易者利用算法进行市场操纵,例如“欺骗性报价”和“报价填充”。

    算法交易的未来发展趋势是更加复杂和智能化。随着人工智能技术的不断发展,算法交易将变得更加强大,也更加难以理解和控制。这将给金融市场带来更大的挑战,也需要监管机构和市场参与者共同努力,确保算法交易的健康发展。

    参考文献

    • Hilbert, M., & Darmon, D. (2020). How Complexity and Uncertainty Grew with Algorithmic Trading. Entropy, 22(5), 499. https://doi.org/10.3390/e22050499
    • The New Investor, UCLA Law Review, available at: https://ssrn.com/abstract=2227498
    • The New Financial Industry, Alabama Law Review, available at: https://ssrn.com/abstract=2417988
    • Virtu Financial Form S-1, available at https://www.sec.gov/Archives/edgar/data/1592386/000104746914002070/a2218589zs-1.htm
    • Wikipedia: Algorithmic trading
人生梦想 - 关注前沿的计算机技术 acejoy.com 🐾 步子哥の博客 🐾 背多分论坛 🐾 借一步网 沪ICP备2024052574号-1