分类: AI

  • 微软中国员工迁移海外:背后的原因与影响

    近日,多位网友在社交媒体上爆料称,微软中国区Azure云平台的AI团队为主的数百名员工收到公司邮件,询问他们是否愿意迁移至其他地区工作。目的地包括美国、澳大利亚、爱尔兰等国家。公司将负责亲属签证问题,员工需要在6月7日前给出答复。本文将探讨这一消息背后的原因及其可能带来的影响。

    微软的回应与员工的困惑

    对于这一消息,微软方面回应称,公司有一小部分员工得到可以选择国际轮岗的机会。员工可以选择接受轮岗,或者继续在现在的岗位工作。微软在运营管理全球业务的过程中,一直有向员工提供内部轮岗机会的机制。

    然而,一些员工对此表示困惑。一位微软员工对记者表示,这是5月14日刚出的消息,一些员工突然收到有关征询迁移至海外工作邮件,要求在6月7日前回答去还是不去。“大家都很懵”,此前并没有感受到任何预兆,尤其是拖家带口的员工,“需要考虑的事情更多”。有同事认为这是一种“变相裁员”,虽然可以选择不去,但也因此对留在公司的未来产生了担忧。

    迁移计划的具体安排

    据了解,微软中国C+AI的ML团队可以转到美国西雅图,Azure团队转到澳洲,DevDiv(开发平台事业部)则维持现状。已经有员工的家属表示,家属所在的小组被整个迁至澳大利亚,线上开会时“会上有300多号人”,涉及北京、上海和苏州的员工。两个人商量一整晚到凌晨三点,也没得出什么结论。

    另有接近微软人士表示,Azure ML和Azure Core(基础设施)这两个组中与AI业务相关的数百人获得“打包”出国的机会,目的地包括美国、加拿大、澳大利亚和新西兰,是指定的(目的地),并不能随便挑选。

    背后的原因

    全球业务整合

    微软在全球范围内进行业务整合,尤其是AI和云计算业务。这种整合有助于公司在全球范围内更有效地配置资源,提升业务协同效应。

    国际轮岗机制

    微软一直以来都有向员工提供内部轮岗机会的机制。通过国际轮岗,员工可以获得更广泛的工作经验和视野,有助于个人职业发展。

    亚太市场竞争压力

    根据国际咨询机构Gartner发布的最新云计算市场追踪数据报告,2023年,微软Azure在亚太地区云计算IaaS市场排名第三,份额为16.1%。阿里云排名第一,市场份额为22.2%,亚马逊AWS排名第二,份额为16.5%。微软在亚太市场面临激烈的竞争压力,可能希望通过业务调整来应对市场挑战。

    可能带来的影响

    员工心理压力

    员工突然收到迁移通知,且需要在短时间内做出决定,这无疑会给员工带来巨大的心理压力。尤其是有家庭的员工,需要考虑更多因素,如孩子的教育、配偶的工作等。

    公司内部稳定性

    这种大规模的迁移计划可能会影响公司内部的稳定性。一些员工可能会选择离职,而不是接受迁移,导致团队的不稳定和人才流失。

    对亚太市场的影响

    微软在亚太地区的云计算市场份额已经处于劣势,此次迁移计划可能会进一步影响公司在这一地区的业务发展。如何平衡全球业务整合与区域市场竞争,是微软需要仔细考量的问题。

    结语

    微软中国员工迁移海外的消息引发了广泛关注和讨论。这一计划背后有多重原因,包括全球业务整合、国际轮岗机制以及应对亚太市场竞争压力等。然而,这一计划也给员工带来了巨大的心理压力,并可能影响公司内部的稳定性和区域市场的业务发展。在未来的执行过程中,如何平衡这些因素,将是微软面临的重要挑战。


    参考文献

    • 社交媒体爆料
    • 微软员工采访
    • Gartner云计算市场追踪数据报告,2023年
  • LLAMA-NAS:让大语言模型不再“吃硬件”

    前言

    如果你觉得大语言模型(LLMs)像个贪吃的巨兽,那你就猜对了。这些能处理自然语言、复杂推理、情感分析等任务的模型,虽然能力非凡,但对内存和计算资源的“胃口”也惊人。以至于大部分硬件平台根本承受不起这顿“大餐”。为了让LLMs变得更“苗条”,我们提出了一种基于LLaMA2-7B的高效神经架构搜索方法——LLAMA-NAS。

    LLaMA2-7B的“减肥”计划

    一次性NAS:给模型做个“全身检查”

    我们的方法核心是一次性神经架构搜索(one-shot NAS),这个听起来就很酷对吧?具体来说,我们只对LLaMA2-7B模型进行一次微调,然后用遗传算法(genetic algorithm)来搜索更小、更高效的网络架构。结果显示,对于某些标准基准任务,预训练的LLaMA2-7B模型不仅“体型”庞大,而且“吃”得也多。通过我们的“减肥”计划,我们成功地将模型大小减少了1.5倍,处理速度提高了1.3倍,而准确度几乎没有损失。

    InstaTune:超级网络的“变形金刚”

    我们借鉴了InstaTune的方法,将NAS嵌入到微调阶段,使模型架构更具弹性,能够适应不同的任务、数据集和计算资源。在这过程中,我们并没有进行强教师或超级网络的知识蒸馏,主要是为了节省计算资源。

    搜索空间:模型参数的“百变金刚”

    在搜索过程中,我们使用了LINAS算法,这个名字听起来像某种神秘的武器。事实上,它确实很厉害,能够在多目标设置中优化模型大小和准确性。我们定义了一组允许的参数值,搜索空间包含了大约1.3 × 10^10种可能性。

    实验与结果

    AI2推理挑战

    首先,我们将方法应用于AI2推理挑战(ARC)任务,结果显示几个子网络架构在准确率和模型大小上都有明显提升。例如,一个子网络在准确率不变的情况下,模型大小减少了1.1倍。

    大规模多任务语言理解

    我们的方法在大规模多任务语言理解(MMLU)任务上也表现出色。多个子网络在准确率提升的同时,模型大小减少了1.5倍,处理速度提高了1.3倍。

    真诚QA和WinoGrande

    在真诚QA任务中,我们发现预训练的LLaMA2-7B模型明显过度参数化。通过我们的方法,找到的子网络在准确率提高3.6%的同时,模型大小减少了1.6倍。WinoGrande任务的结果也类似,我们的子网络在准确率不变的情况下,模型大小减少了1.1倍。

    比较与对比

    与剪枝和稀疏化技术的对比

    与LLM-Pruner和SliceGPT相比,我们的方法不仅在模型大小和准确率上更有优势,而且不需要额外的恢复微调步骤。

    量化:让模型“瘦上加瘦”

    我们还将INT8量化应用于搜索到的子网络,结果显示,量化后的子网络在准确率几乎不变的情况下,模型大小进一步减少。例如,一个子网络在量化后大小减少了2.5倍,准确率几乎没有损失。

    结论

    通过我们的LLAMA-NAS方法,我们不仅找到了更小、更高效的网络架构,还比剪枝和稀疏化技术更有效、更高效。而且,我们的方法不需要任何专用的软件内核或硬件,能够与其他量化方法无缝结合。随着对大语言模型的兴趣日益增加,我们的工作为自动创建能够在更便宜、更易获得的硬件平台上运行的网络提供了一条可行的道路。

    参考文献

    1. Anthony Sarah, Sharath Nittur Sridhar, Maciej Szankin, Sairam Sundaresan. “LLAMA-NAS: Efficient Neural Architecture Search for Large Language Models.”

    希望这篇文章能让你对我们的工作有更深入的了解,同时也希望你能像看完这篇文章一样开心。如果你对大语言模型的优化感兴趣,不妨试试我们的LLAMA-NAS方法,让你的模型也来次“瘦身”吧!

人生梦想 - 关注前沿的计算机技术 acejoy.com 🐾 步子哥の博客 🐾 背多分论坛 🐾 借一步网
Page Stats: PV: 1138 | UV: 714
Last updated: 2025-06-17 01:09:46
沪ICP备2024052574号-1