模拟AI芯片的转折点

如果您希望可以时常见面，欢迎标星收藏哦~

来源：内容 编译自 IEEE 。

纳文·维尔马在普林斯顿大学的实验室就像一座博物馆，展示了工程师们尝试利用模拟现象而非数字计算来提高人工智能效率的各种方法。其中一个工作台上摆放着迄今为止最节能的基于磁存储器的神经网络计算机。在另一个工作台上，你会发现一个基于电阻存储器的芯片，它可以计算迄今为止任何模拟人工智能系统中最大的数字矩阵。

维尔马表示，这两种材料都没有商业前景。更糟糕的是，他的实验室这部分简直就是一片坟场。

多年来，模拟人工智能一直吸引着芯片架构师的想象力。它结合了两个关键概念，可以大幅降低机器学习的能耗。首先，它限制了存储芯片和处理器之间昂贵的比特移动。其次，它利用电流流动的物理原理，而不是逻辑上的1和0，来高效地进行机器学习的关键计算。

尽管这个想法很有吸引力，但各种模拟人工智能方案都未能真正降低人工智能令人咋舌的能源需求。维尔马对此心知肚明。他已经尝试了所有方案。

但一年前《IEEE Spectrum》杂志到访维尔马实验室时，他发现实验室后方有一块芯片，它代表着模拟人工智能以及实现人工智能实用化和普及所需的节能计算的希望。这块芯片不是用电流计算，而是对电荷进行求和。这看似无关紧要的差异，却可能是克服所有其他模拟人工智能方案所面临的噪声问题的关键。

本周，Verma 的初创公司EnCharge AI发布了首款基于该新架构的芯片 EN100。该公司声称，该芯片能够处理各种 AI 任务，其每瓦性能比竞争对手的芯片高出 20 倍。它被设计成单处理器卡，每秒可执行 200 万亿次运算，功耗为 8.25 瓦，旨在节省支持 AI 的笔记本电脑的电池寿命。此外，还有一款四芯片、每秒可执行 1000 万亿次运算的芯片，专门针对 AI 工作站。

在机器学习中，“很偶然地，我们的主要运算是矩阵乘法，”Verma 说。这基本上就是取一个数字数组，将其与另一个数组相乘，然后将所有这些乘法的结果相加。很早以前，工程师们就注意到了一个巧合：电气工程的两个基本定律可以精确地完成这样的运算。欧姆定律说，电压乘以电导就能得到电流。基尔霍夫电流定律说，如果一束电流从一束电线流入一个点，那么这些电流之和就是流出该点的电流。所以，基本上，每一束输入电压都会推动电流通过一个电阻（电导是电阻的倒数），电流乘以电压值，所有这些电流加起来得到一个值。算完了。

听起来不错？嗯，其实还好。构成神经网络的大部分数据是“权重”，也就是用来乘以输入的数据。将这些数据从内存移动到处理器逻辑中执行工作，消耗了GPU很大一部分的功耗。相反，在大多数模拟 AI 方案中，权重以电导值（上图的电阻）的形式存储在几种非易失性存储器中。由于权重数据已经存储在需要进行计算的位置，因此无需移动太多，从而节省了大量功耗。

免费数学与静态数据的结合有望实现仅需千分之一万亿焦耳能量的计算。可惜的是，这远非模拟人工智能所能达到的水平。

任何模拟计算的根本问题始终是信噪比。模拟人工智能在这方面更是难上加难。信号（在这里是所有乘法运算的总和）往往会被众多可能的噪声源淹没。

“问题在于，半导体器件本身就很复杂，”维尔马说道。假设你有一个模拟神经网络，其中的权重以电导的形式存储在单个RRAM单元中。这些权重值的存储方式是在RRAM单元上施加相对较高的电压，并持续一段规定的时间。问题在于，即使你在两个单元上施加完全相同的电压，并持续相同的时间，这两个单元的电导值最终也会略有不同。更糟糕的是，这些电导值可能会随温度变化。

差异可能很小，但请记住，该操作会将许多乘法相加，因此噪声会被放大。更糟糕的是，产生的电流随后会转换成电压，作为下一层神经网络的输入，这一步骤会进一步增加噪声。

研究人员从计算机科学和设备物理两个角度着手解决这个问题。为了弥补噪声的影响，研究人员发明了一些方法，将一些关于设备物理缺陷的知识融入到他们的神经网络模型中。另一些人则专注于制造行为尽可能可预测的设备。IBM在这方面进行了广泛的研究，并同时做到了这两点。

此类技术在小型系统中具有竞争力，即使尚未取得商业成功，这些芯片旨在为物联网边缘的设备提供低功耗机器学习。早期进入者Mythic AI已经生产了不止一代模拟 AI 芯片，但它所处的领域，低功耗数字芯片正在取得成功。

EnCharge 的解决方案通过测量电荷量（而非机器学习中“乘法累加”方法中的电荷流）来消除噪声。在传统的模拟 AI 中，乘法取决于电压、电导和电流之间的关系。而在这个新方案中，它取决于电压、电容和电荷之间的关系——基本上，电荷等于电容乘以电压。

为什么这种差异如此重要？这归结于执行乘法运算的组件。EnCharge 不使用 RRAM 等复杂且易受攻击的器件，而是使用电容器。

电容器本质上是由两根导体夹着一层绝缘体构成的。导体之间的电压差会导致电荷在其中一个导体上积聚。对于机器学习而言，电容器的关键在于其值（电容）由其尺寸决定。（导体面积越大或导体之间的间距越小，电容就越大。）

“它们唯一依赖的就是几何形状，也就是导线之间的间距，”维尔马说道，“而这正是CMOS技术中唯一能够控制得非常好的东西。” EnCharge在其处理器硅片上方的铜互连层中构建了一个精确赋值的电容器阵列。

构成神经网络模型大部分的数据，即权重，存储在数字存储单元阵列中，每个单元都连接到一个电容器。然后，神经网络正在分析的数据会通过单元内置的简单逻辑乘以权重位，结果会以电荷的形式存储在电容器上。之后，阵列会切换到一种模式，所有乘法结果产生的电荷都会累积起来，并将结果数字化。

虽然这项最初的发明可以追溯到2017年，对Verma的实验室来说意义非凡，但他表示，其基本概念却相当古老。“这叫做开关电容操作；事实证明，我们已经研究了几十年了，”他说。例如，它被用于商用高精度模数转换器。“我们的创新之处在于，弄清楚了如何在进行内存计算的架构中使用它。”

Verma 的实验室和 EnCharge 花费了数年时间证明该技术的可编程性和可扩展性，并通过适合与 2017 年截然不同的 AI 需求的架构和软件堆栈对其进行了共同优化。目前，最终产品已交由早期开发者使用，而该公司（最近从三星风险投资、富士康等公司筹集了 1 亿美元）计划进行新一轮早期合作。

但 EnCharge 正在进入一个竞争激烈的领域，竞争对手中不乏巨头Nvidia。在 3 月份的大型开发者大会 GTC 上，Nvidia 宣布计划推出基于其 GB10 CPU-GPU 组合的PC 产品，以及基于即将推出的GB300构建的工作站。

EnCharge 瞄准的低功耗领域将面临激烈的竞争。其中一些公司甚至采用了内存计算技术。例如，D-Matrix和Axelera就承接了模拟 AI 的部分业务，将内存嵌入计算，但所有操作都以数字化方式完成。他们各自开发了定制的SRAM存储单元，这些单元既可以进行存储和乘法运算，也可以以数字化方式进行求和运算。此外，还有至少一家更传统的模拟 AI 初创公司Sagence参与其中。

维尔马的乐观态度并不令人意外。他在一份声明中表示，这项新技术“意味着先进、安全且个性化的人工智能可以在本地运行，而无需依赖云基础设施。我们希望这将彻底扩展人工智能的应用范围。”

https://spectrum.ieee.org/analog-ai-chip-architecture

半导体精品公众号推荐

专注半导体领域更多原创内容

关注全球半导体产业动向与趋势

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4055期内容，欢迎关注。

『半导体第一垂直媒体』

实时 专业 原创 深度

公众号ID：icbank

喜欢我们的内容就点“在看”分享给小伙伴哦