随着企业的成长，事情会变得更具挑战性，对一些企业来说，可能是上百个员工，而对一些企业来说可能是上千名，对另一些企业来说是又可能是上万个员工。

小米11首批35万台之后，已多次连续放量，不少人已经体验到2021年的新旗舰。我们通过对比小米11（骁龙888）和小米10 Ultra（骁龙865），可以看到骁龙888在GeekBench和RAR的单核测试上，给出了安卓阵营多年没出现过的25%单核性能提升

和X1同代的御用搭档A78，IPC比A77提升7%，主要负责提升能效比、节省芯片面积，以达到更好的面积和功耗均衡。总结：安卓阵营大跨越的一年这是小米多年来，首次在1年内发布两台数字系列旗舰，骁龙888机型的量产时间远比以前早，为下一代产品留下了充足的准备时间，不禁让人猜想，高通是不是在憋着什么大招。骁龙888在CPU单核性能和GPU性能上的提升，直接抬升了安卓旗舰日常操作的流畅度，以及应对跨平台大型游戏的能力。此外，骁龙888支持最高支持4*16bit 3200MHz的满血LPDDR5内存。对比三星上一代的7LPP，三星承诺同性能下的功耗降低20％，同功耗下性能提高10％，面积减少20％。

840MHz的Adreno 660，性能提升35%，能效比提升20%，且性能和能效比的提升能同时实现。反映到这一代旗舰手机的基础体验，骁龙888单核25%的提升，即便是出厂MIUI 12.0系统，依然让小米11的系统操作出奇地流畅。它将物理内核集抽象为处理器的逻辑网格。

如图展示了 Switch T5 Base 模型与 mT5-Base 在所有语言上的质量提升情况（负对数困惑度）。调查FFN层之外的专家层，初步的证据表明，这同样可以改善模型质量。为了解决这些问题，研究人员简化了MoE路由算法，设计了直观的改进模型，使通信成本和计算成本大幅度降低。研究人员假设，参数量与执行的总计算量无关，是可以单独缩放的重要组件，那么它可以通过设计稀疏激活模型来实现。

在大规模参数量和数据集的支持下，简单的体系结构将远远超过复杂的算法。时间的可扩展性从基于步数的设置中，可以观察到：样本效率提升未必能转化为时间上的模型质量提升。

研究人员有效地利用了为密集矩阵乘法（Dense Matrix Multiplications,一种广泛用于语言模型的数学运算）而设计的硬件，如GPU、Google的张量处理单元TPU。总结及未来研究方向研究人员表示，Switch Transformer模型是具有可扩展性的高效自然语言处理模型，它通过简化MoE，形成了快速理解、训练稳定且比同等大小模型更有效的样本体系结构。研究者还表示，Switch Transformer 架构不仅在具备超级计算机的环境下具有优势，在只有几个计算核心的计算机上也是有效的。最后研究人员指出，虽然Switch Transformer改进了训练程序，并对稀疏模型进行了扩展的研究。

在训练时间和计算成本都固定的情况下，Switch Transformer 的速度优势非常明显。在有限的计算量与工作时间下，Switch Transformer都得到了最优的结果。可以看到：在保持每个 token 的 FLOPS 不变时，拥有更多的参数（专家）可以提高训练速度。近日，Google将这一参数量直接拉高到了1.6万亿。

如图：预训练+微调的NLP方法，在处理下游任务时容易发生过拟合现象。但是，在非专家层设置较小的dropout率（0.1）和在专家层设置较大的dropout率（0.4），可以提高四个较小下游任务的性能。

使用表 7 中最优的蒸馏技术，可以将具备 11 亿参数量的模型压缩 82%，同时保留 37% 的性能提升。在自然语言领域，被称为史上最强NLP的GPT-3拥有1750亿参数。

具体优势如下：1、通道计算量大大降低，因每个样本仅需要一个专家通道参与计算。提升训练与微调技术稀疏专家模型相比普通Transformer更难训练，这是由于切换通道带来的不稳定引起的，同时，低精度计算会导致恶化softmax计算中的问题。MoE模型是指将多个专家或专门从事不同任务的模型放在一个较大的模型中，并有一个门控网络（Gating Network）来选择为任何给定数据要咨询哪些专家。2、每个专家通道所计算样本的batchsize被大大缩小(至少减半)。然后利用张量和计算按指定的维度进行切分，便于跨维度轻松划分模型。此外，研究者设计的大型稀疏模型可以被蒸馏为一个小而稠密的版本，同时还能保留稀疏模型质量提升的 30%。

同时，该模型在多项推理和知识任务中也带来了显著提升。蒸馏技术为了解决超大规模神经网络的部署问题，研究人员提出了多种蒸馏技术：将大型稀疏模型蒸馏到小型密集模型中。

这表明Switch Transformer能够有效的多任务和多语言。在分布式训练设置中，模型将不同的权重分配到不同的设备上，可以保证权重随着设备数量的增加而增加，同时保证每个设备上均有可管理的内存和计算足迹。

性能测试：预训练、微调和多任务训练论文中，研究人员对预训练阶段 Switch Transformer的预训练可扩展性进行了研究。3、在更小的capactiy factor下，Switch Transformer工作的效果更佳。

1月11日，Google在arXiv上发表论文《Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity》，提出了最新语言模型—Switch Transformer。微调针对 T5-Base 和 T5-Large 模型，研究人员设计了具备更多参数的 FLOP-matched Switch Transformer。该层对序列中的令牌进行独立操作。最后，通过在Colossal Clean Crawled Corpus上预先训练多达数万亿个参数模型来提高当前语言模型的规模，使速度比T5-XXL模型提高了4倍。

最极端的情况下，将模型压缩了 99%，且维持了 28% 的性能提升。同时，这些结果也让训练具有上千亿、上万亿参数量的模型成为可能。

此外还可以发现，专家数量的增加会导致更有效的样本模型。目前正在进行的方法有：正则化函数、适度的梯度裁剪等。

这说明该模型架构不只对预训练有用，还可以通过微调将质量改进迁移至下游任务中。研究员介绍称，Switch Transformer拥有1.6万亿参数，是迄今为止规模最大的NLP模型。

为了避免数据受限，他们采用了大型 C4 数据库，并以固定的计算成本测试了基于步数和时间的可伸缩性网原创文章，未经授权禁止转载这样可爱的存在，就是为了传递抚慰、减少孤独感而生，据说抚摸它时，它的尾巴就会轻轻摆动，这在众多硬核机器人中，可谓是一大亮点了。英伟达发布了 RTX 3060、3070、3080 三款游戏本芯片。

当地时间 2021 年 1 月 11 日，CES 2021（国际消费类电子产品展，International Consumer Electronics Show 2021）拉开帷幕。一是 Project Brooklyn，即一款带有带有显示屏的游戏椅——其滚动、可折叠的显示屏是一个 180 度的透明 OLED。

通用的汽车也会飞了近年来，包括宝马、吉利、小鹏等在内的一众厂商都开始了飞行汽车的探索之路。其实，除优必选之外，LG 也推出了一款带有紫外线灯的机器人 CLOi UV-C，这款机器人面向酒店、健身房等客流量大的场景，目的在于杀死有害细菌。

此次，通用汽车（General Motors）设计总监 Michael Simcoe也展示了被称为是 eVTOL（中文翻译过来是电动垂直起降机器人）的一款凯迪拉克电动飞行汽车概念，令人眼前一亮。化妆品有了智能的味道科技的进步、物联网的发展，一次次重塑着我们的认知。