摩尔定律的减缓和丹纳德比例缩放的失效：谷歌Pixel6手机

如果没有加速计算，人工智能的水平扩展根本不现实。

摩尔定律的放缓和登纳德缩放定律的失败：

人工智能需要加速计算：

每一代机器学习加速器都比前几代有所改进，使每个芯片速度更快，整个系统更大。

谷歌TPUv4系统：数据中心/云的大型模型加速器

截至 2022 年，具有数十亿或数万亿参数的模型在机器学习能力和准确性方面已显示出显着改进。

这些大型模型的高计算需求需要更加注重提高模型训练过程的效率，而基准测试是联合机器学习系统社区以实现更高效率的重要手段。

传统上，训练这种规模的模型需要花费数千万甚至数亿美元来建造一台超级计算机——只有少数公司才能负担得起。

为此，谷歌于2021年发布了TPUv4系统，即谷歌第四代张量处理单元（Unit系统加速器，TPU）。

客户可以使用高级 TPUv4 Cloud Pod 来训练大型模型，而无需安装和维护本地系统的成本。

左：TPUv4 PCB板； 右：TPUv4云芯片舱。 谷歌张量处理器：移动机器学习加速器移动设备上的机器学习能力也在显着提高。

谷歌 Pixel 6 手机采用了全新的谷歌 （谷歌 ）芯片，该芯片集成了强大的机器学习加速器，可以更好地支持重要的内置设备功能（上）。

谷歌Pixel 6手机使用的谷歌张量芯片

芯片是为那些需要 SOTA 机器学习技术的新颖体验而设计的——包括运动模式、面部不模糊、视频的语音增强/视频模式，并将应用于视频。

芯片是一款先进的片上系统 (SoC)，具有您期望从移动 SoC 获得的一切（CPU、GPU、TPU、图像处理器等）等等。 芯片运行 SOTA 机器学习模型的结果，但功耗比之前的 Pixel 手机要少。

新手机的核心体验领域（语音、语言、摄影和视频）本质上是异构的，这意味着它们需要整个芯片上的多种资源。 从12开始，谷歌就开始构建一个操作系统，为未来软件和硬件协同工作奠定基础。

Pixel 的新功能：运动模式。 支持计算摄影和视频功能。 的异构架构使用整个芯片来实现这一新功能，其质量迄今为止尚未达到。 由于芯片的子系统可以更好地协同工作， 可以更快地处理摄影任务。

此外，针对手机上对响应时间和功耗的要求，谷歌使用神经架构搜索（NAS）来自动化机器学习模型的设计过程，这鼓励搜索算法在满足要求的同时寻找获得更高质量的方法。延迟和功耗。 模型。

NAS 正在寻找 TPU 优化模型的示例。 每列代表神经网络中的一个阶段，点代表不同的选项，每种颜色代表不同类型的构建块。

NAS 从输入（例如图像）到输出（例如每像素标签预测）的路径表示候选神经网络。 在搜索的每次迭代中，使用每个阶段选择的块形成一个神经网络，搜索算法的目标是找到一个神经网络，该神经网络能够共同最小化 TPU 延迟和/或能耗并最大化准确性。

此外，谷歌利用机器学习来加速各种计算机芯片的设计，这也带来了好处，尤其是更好的机器学习加速器的生产。

参考

AI 博客：：从 2021 年起和 ()

数据中人工智能的崛起 | 博客

Cloud TPU v4 Pod，大型模型，v1.1 | 云博客

是一个for（博客。）

AI 博客：Pixel 6 上的 On-ML，带有 ()