（原标题：模拟内存诡计开yun体育网，还好吗？）

如若您但愿不错通常碰面，接待标星保藏哦~

开端：内容来自semiengineering，谢谢。

内存诡计 (In-memory computing，IMC) 的发展之路坎坷，最引东说念主留心的生意化尝试以失败告终。尽管一些公司照旧转向数字化，而另一些公司则十足捣毁了这项时间，但开发东说念主员仍在接力让模拟 IMC 取获班师。

对于 IMC（也称为内存诡计，或 CIM）的自制存在不对。有东说念主说，这一切都是为了减少数据出动，而数据出动是 AI 能耗的环节构成部分。“把 MAC（乘法/累加电路）放下来很容易，” Synopsys ARC AI 处理器居品司理 Gordon Cooper 说。“为它们提供数据并确保数据高效地流过它们要艰苦得多。”

其他公司则专注于诡计才略，每家公司都信赖我方开发的居品不错科罚这两个问题中最环节的一个，以致两个问题。然则，既能减少数据出动，又能实践低功耗 AI 诡计，同期兼顾老本和可制造性的优化电路仍然难以竣事。

Rambus的特起程明家 Steven Woo 暗意：“数据出动是要道问题，岂论是对于性能照旧功耗而言都是如斯。寰球上并不枯竭数据，尤其是对于这些大型 AI 模子而言，考研集相等无边。”

现在尚不明晰哪种方法才是科罚这一问题的最好阶梯，但 IMC 是一种可能的取舍。对于那些不知说念正在进行的玄妙创业责任的东说念主来说，这个话题似乎照旧反璧到研究实验室，哪里正在进行渊博责任。“我以为咱们还莫得十足走出研究阶段，” Cadence居品营销集团总监 Frank Ferro 说。

事实上，IMC 以致不在大多数想象师的关怀范围内。“咱们在客户的网站上莫得看到它，” Quadric积聚首创东说念主兼首席时间官 Nigel Drego 说。

然则，新的居品和方法正在尝试改动这一近况。

不啻一种含义

“内存诡计”一词至极变体对不同的公司有不同的含义。当其主见是将数据出动保捏在最低抑止时，它与“内存”或“近内存”诡计的认识密切联系。在这些情况下，它触及诡计发生位置隔邻的小块 SRAM。使用这种内存仍然需要数据出动，但与保存到 DRAM 比拟，距离较短。

“内存中”的认识将这一认识进一步发展，并透彻颠覆了这一认识。先前的方法是将内存放在诡计隔邻。IMC 则更多地是将诡计放在内存所在的所在。不同 IMC 之间的一个主要区别是，诡计是在内存阵列里面但在内存单位以外进行，照旧这些单位我方实践诡计。

另一个区别是诡计的性质——数字或模拟。数字 IMC 往往是那种在通盘这个词阵列中散布着几个数字门的类型。“你将存储单位与实践乘法的诡计元件和实践累加的诡计元件交错在一王人，并在通盘这些周围遗弃渊博其他数字逻辑来实践通盘其他操作，”Axelera 首席实践官 Fabrizio del Maffeo 暗意。

数字 IMC 背后的理念并不复杂——它仅仅将数字算术电路从一个所在出动到另一个所在。但这并不虞味着它很容易。构建高效的电路和用具仍需要渊博责任。仅仅它不像模拟那样病笃。

模拟诡计日常通过将存储单位视为具有可变内容来实践，这些内容不错通过感测流过存储单位的电流来测量。字线遴荐实值。在最著明的竣事类型中，字线和位线交叉处的每个单位本体上将输入电压乘以单位电导率，该电导率由存储的单位值缔造。通过允好多个字线同期处于活动景象，每个相乘电流的总额将成为乘积的完了总额。位线上的通盘单位都不错并行实践乘法。

Sagence 计谋与业务开发副总裁 Richard Terrill 暗意：“（闪存 IMC 科罚决议）基于将数亿个闪存单位遗弃在一个芯片上，以便咱们能够在现场完成通盘责任。”

图 1：经典的基于闪存的 IMC 架构。数字输入转机为字线上的模拟电压。与内存不同，多个字线不错同期处于活动景象。位线上的通盘单位提供输入电压乘以闪存单位电导率的乘积，该乘积由存储的权重细则。位线上的每个单位笔据单位电流孝顺电流，感测放大器将通盘这些电流相加以提供累积。然后必须将完了数字化并通过其他电路（举例激活函数）发送，然后将其路由回另一层或算作完整遣泄气送出去。开端：Bryon Moyer/Semiconductor Engineering

该时间的一个限制是它需要整数数据。这对于视觉来说很天然，但基于注重力的集中（举例大型言语模子 (LLM)）更通常使用浮点数据，这使得此类应用法子超出了该架构的范围。

咱们要科罚什么问题？

IMC 所要科罚的问题尚未明确界说或达成一致。天然通盘东说念主都痛快裁汰功耗是最终辩论，但存在争议的是主要问题是出动数据的老本照旧诡计的老本。

数字方法往往侧重于出动数据的老本，因为岂论数字电路是在内存阵列里面照旧外部，诡计才略都大体调换。这试图科罚内存带宽问题。Cadence 的 Ferro 暗意：“咱们每天都被超大限制诡计需要更多带宽的问题搞得头疼。”

Expedera首席科学家兼积聚首创东说念主 Sharad Chole对此暗意痛快。“瓶颈不再是诡计或内存，而是诡计和内存之间的带宽，”他说。

使用数字 IMC，诡计样式不会发生环节变化。“你领有的基本时间仍然与数字加快器调换，”Encharge AI 首席实践官 Naveen Verma 暗意。“通过在内存中插入 加法器，你本体上所作念的即是扩大内存，况且所破钞的能量与你在内存外部实践时所破钞的能量调换。与步骤数字诡计比拟，其自制是渐进的。”

也可能莫得一个正确的谜底。违抗，它可能取决于正在实践的模子的性质，尤其是 LLM。Expedera 的 Chole 解释说：“如若你的崎岖文长度很小，比如 256 个 token，那么权重就占主导地位。但是如若你生成了 32,000 个 token，那么激活就启动成为环节的部分。如若你的激活动作东导了力量，那么将权重存储在模拟域中的自制将无法对消这少量。”

争论的另一个方面是，将所需的通盘权重全部填充到内存中是否可行，这样就无需进一步出动。基于闪存的方法宣称具有非易失性的上风，因此权重即使在电源轮回后仍会保留在原位。但这意味着设备必须妥当最大的模子。另一方面，容量超过必要会猝然硅，尽管该分析假定想象中唯有一个模子。“咱们本体上最终存储了多个模子，”Sagence 的 Terrill 说。

其他东说念主则认为，将通盘这个词模子都存储起来是不切本体以致不可取的，而是取舍在处理经过中更新权重的法子。“IMC 研究照旧无为标明，权重不可恒久存储在内存中，”Verma 指出。“原因是不同位的数据触及的操作数目相等不同，如若每个位都分拨一个内存单位，那么一些内存单位将实践渊博操作，而另一些则大部分时刻处于稳重景象，从而导致硬件诈欺率低。”

如若这种不雅点是正确的，那么 IMC 就无法像东说念主们但愿的那样科罚分量出动问题。它还使非易失性存储器变得不切本体，因为编程时刻比重写 SRAM 所需的时刻梗概长三个数目级。但 SRAM 是一个大而耗电的单位，这进一步加重了衡量的复杂性。

直到推出这些芯片的各家公司有契机在现场诠释我方之前，这场争论都不会完了。现在，还莫得一个明确的正确谜底。

模拟的挑战

模拟 IMC 并非清新事物。Mythic 曾试图将基于闪存的模拟 IMC 推理引擎推向商场，但最终失败，因此受到密切关怀。由于使用闪存进行权重存储，它承诺裁汰诡计才略并减少数据出动。现在尚不明晰 Mythic 名目失败的具体原因，但该时间带来了一些环节挑战。而模拟需要贫寒的衡量。“模拟是功率、速率照旧准确性，”Drego 说。“二选一。”

在经典竣事中，每个闪存单位都保存通盘这个词权重。INT8 是视觉和卷积神经集中 (CNN) 中较为流行的数据款式之一，但在单个闪存单位中保存 8 位值是一项贫乏的任务。而且有用精度仍然会受到影响。“我还莫得别传过有任何东西能超过 4 位有用精度，”Drego 补充说念。“但在一些小众应用中，这些东西不错相等相等高效。”

图 2：磨蹭多位单位的读取窗口。单位包含的位越多，分散越细巧，读取机制必须越颖慧。开端：Bryon Moyer/Semiconductor Engineering

商用闪存单位存储三位数据照旧存在多年。四位单位现已成为施行，五位单位正在兴起。但莫得东说念主领有八位单位。这需要极其小心，尤其是如若要跨多个单位、芯片、晶圆和批次以及通盘环境条款和老化后责任。施行情况是，东说念主们可能不得不吸收较低的精度，从而限制该时间的实用性。

老化问题是潜在客户一直关怀的问题。Expedera 营销副总裁 Paul Karazuba 暗意：“当我向潜在客户究诘模拟居品时，老化是他们不细则奈何处理的问题之一，这往往会吓跑他们。”

令东说念主担忧的是，跟着细胞老化，它们的运作样式将发生变化，从而导致潜在的幻觉，咱们莽撞不错称之为“硅老化”。事实上，这种老化的芯片不太可能产生幻觉，即给出可能合理但间隙的谜底。东说念主们更有可能得到言不及义，但这仍然是不可吸收的。

除了老化以外，还必须以某种样式摈弃制造和环境变化，以便通盘芯片都能正常责任。事实诠释，这极具挑战性，而且这个问题可能是影响曩昔接力的要道问题。即使莫得变化，模拟从界说上来说也没特殊字那样的噪声裕度。“模拟的问题一直是噪声，”Verma 说说念。

另一个挑战是模拟诡计仅仅加快器操作的一部分。其他函数，如softmax或非线性激活函数，必须在数字域中发生。这意味着在每一层以模拟样式诡计其矩阵乘积后，必须将完了转机为数字以生成激活，然后必须将其转机回模拟以供下一层使用。Quadric 首席营销官 Steve Roddy 指出：“最终，激活来往流动，最终会变得一团糟。”

在通盘这些转机经过中保捏精度需要精准的 DAC 和 ADC，而这些电路会破钞渊博能量，从而对消该架构的主要上风之一。

临了一个挑战可能是老本，尽管这还有待不雅察，况且取决于所实施的内存时间。“如若你正在构建一个带有闪存或 DDR 变体的沉寂芯片，你的老本将忘形光、海力士和三星高得多，而这些公司的产量高达数以亿计，”Drego 说。

尽管存在这些问题，一家名为 Sagence（隐身模拟推理）的新创业公司照旧推出了一款新的模拟 IMC 居品——从外不雅上看，它与 Mythic 的作念法惊东说念主地相似。另一家尚未肃穆推出的新公司是 EnCharge AI，它领有独有的传感时间。

再说一次，如若你仔细不雅察 Sagence 的时间，你会说它与 Mythic 所作念的访佛。闪存阵列？对。校准以处理变化？对。多位闪存单位？对。在感测放大器中进行乞降？对。现在尚不明晰 Mythic 遴荐了哪种闪存单位，但 Sagence 暗意它使用的是已获取 NOR 成就许可的步骤闪存单位。通盘使闪存阵列适合推理的电路都位于阵列外部，因此单位面积效用为4F2。

与之前竣事的主要区别在于，该公司在深亚阈值景象下运行闪存阵列。这不错从简几个数目级的功率，电流以纳安的几分之一来测量。但这也带来了一个挑战，因为数学不再是线性的，因此图 1 所示的欧姆定律方法不再适用。

Sagence 通过对数存储权重来科罚这个问题。这意味着闪存单位中的不同级别并不是均匀分散的。数据值越高，它们就越接近。底部部分可能比线性版块更容易检测，但顶部部分将更难区分。更艰苦的是，在深亚阈值下操作时，合座读取窗口更小。

图 3：线性和对数“间距”之间的各异。左侧，线性方法创建格外的间距。右侧，跟着值变高，间距变窄。（对数分散不准确。）开端：Bryon Moyer/半导体工程

Sagence 也认为数字和模拟之间的转机必须精准，而且这些转机需要耗能。“如若咱们莫得阿谁 ADC，咱们每次操作的电流破钞将比非 IMC 竣事低三到四个数目级，”Sagence 首创东说念主、总裁兼首席实践官 Vishal Sarin 暗意。“但由于咱们使用精密 ADC，因此死亡了一个数目级。”

然则，有些应用法子不错以较低的精度责任。“每个单位存储的位数 取决于集中的要求，”Terrill 解释说念。“咱们不错将存储位数提升到 8。日常更少，因为咱们细则了所需的精度，然后以该量化样式存储。”

另一个令东说念主骇怪的方面是，乘法略有立时性。Sagence 暗意，它尽其所能摈弃系统过错，但即使它完满地作念到了这少量，小的立时过错仍会存在。立时性本体上使值之间的界限变得依稀，而在尖端，部分相等褊狭，一些可能会有用崩溃。

Sagence 暗意，这种方法之是以有用，是因为本体版块将特殊百以致数千个单位沿着每条位线。议论到这些大数字，这样多单位上正负几个百分点的过错将平均达到饱和的精度。“如若你念念要准确地记载某东说念主的银行账户，你就不会作念这种乘法和加法，”Sarin 说。“但对于深度学习来说，这是一个完满的取舍。”

不外，对于任何 AI 科罚决议来说，用具都是必不可少的，这样用户就不会被复杂性所困扰。Sagence 的编译器在想象时就议论到了对数性质，静态地为单位分拨权重。

“对于硬件资源识别，一切都是在编译时完成的，这意味着您毋庸进行任何运行时调遣，”Sagence 居品营销高等总监 Suhas Nayak 解释说念。“模拟量化器进行硬件感知考研、噪声感知考研，并在运行时需要时生成信息以供进一步校准。”这种静态调遣的自制是延伸固定且可展望。

该公司有多种方法来处理变化、漂移和老化问题。校准处理制造变化，但 Sagence 还监控单位，如若漂移太大，不错取舍从头加载权重。“有一种计量电路不错不雅察闪存单位随时刻的变化，如若它们达到咱们无法通过底层电路缓解的进程，咱们不错笔据需要从头加载它们，”Terrill 指出。

笔据架构，这似乎是一个仅使用整数的科罚决议，这会将其排除在基于注重力的集中以外，但该公司还有其他野心。“咱们野心使用专有方法在咱们的 Gen AI 科罚决议中竣事注重力，”Sarin 说。“这是咱们科罚决议的环节构成部分。”

一些探索

EnCharge 在三个主要规模遴荐了十足不同的方法——存储单位的类型、每个单位存储的位数以及感测完了的样式。后者是一项环节冲破，因为通盘之前的电流感测决议都因制造和环境条款而有很大各异。在从普林斯顿大学分离出来之前，该公司发现电容器不错存储电荷算作感测机制，而不受任何依赖。

“这种电容器最环节的少量是它不受温度影响，”Verma 解释说念。“它不受材料参数影响。它是十足线性的。它只取决于导线之间的空间。它不错扩张到起始进的节点，因为它们不错让你更好地抑止几何体式。”

该公司已细则，累加需要比乘法更高的精度，而这恰是电容器所提供的。该阵列由 SRAM 单位构成，每个单位存储一位权重。由于 EnCharge 尚未肃穆推出那时间，因此仍有好多细节未流露。要点是 SRAM 单位提供乘法，每个完了抑止一个将电荷置于电容器上的开关。

电容器物理上位于 SRAM 单位上方，位于两层金属之间，因此易于构建且不占用额外空间。单个 MAC 的电容器一语气在吞并块板上。然后，违抗的电容器板会平均通盘这些电荷，从而有用地提供加法。它是一个模拟值，因此需要 ADC 转机为数字时事。无需 DAC。

EnCharge 的阵列需要从头加载数据，因为内存是易失性的，而且阵列不够大，无法容纳通盘这个词模子。“为了最大抑止地裁汰支出，咱们使用了访佛于凭空内存的凭空化架构，”Verma 说。

尽管这种传感方法似乎很新颖，但该公司暗意，它已在 ADC 等高精度电路中得到考据。Verma 指出：“它的可靠性、可扩张性、准确性和可制造性已通过这些其他超高精度模拟电路得到考据。”

DRAM 或将加入游戏

在临了一个新念念法中，初创公司 Neo Semiconductor 建议了使用其 3D DRAM 的 IMC 决议。“咱们不错在 3D DRAM 阵列中实践渊博诡计，而无需将其发送到 SRAM，”Neo 首席实践官兼积聚首创东说念主 Andy Hsu 暗意。

Neo 的主要开发要点是使用浮体电荷存储而不是电容器的堆叠 3D DRAM。与 EnCharge 同样，每个 DRAM 单位都包含一个权重位。这标明乘法时间与 EnCharge 访佛，但 Neo 尚未浮现其奈何处理多位乘法。

然则，传感样式有所不同。垂直位线承载着经过测量和数字化的模拟电流。它还有一个 ADC，但莫得 DAC。该方法只需使用相宜数目的 DRAM 位（日常对于 INT8 为 8 位）即可顺利用于整数数据。该公司暗意，浮点单位对于基于注重力的集中是必不可少的，但尚未浮现其责任旨趣。

Neo 的辩论是将 HBM 分为两个阶段。最初，它不错用 3D DRAM 版块替换 HBM 堆栈中的内存芯片，这不错将容量提升两个数目级。第二阶段将 HBM 基片上的感测放大器电路替换为神经电路。“对于 AI，底部芯片将被替换为 不错 实践激活功能的芯片，”Hsu 说。

这种时间的一个可能问题是热量。在 DRAM 中，典型的位线将反应单个单位的值。使用 AI，您不错测量多个单位的电流。HBM 照旧靠近热挑战。如若不采用进一步的缓解措施，进一步加多电流量似乎是值得怀疑的。

Neo 暗意，由于其 DRAM 时间情投意合，其读取电流约为步骤 DRAM 典型值的 10%，因此其肇始电流较小。它一次处理 8 位，因此电流应低于步骤 DRAM 电流。8 位并未几，但该公司将合座数据分红 8 位组并按步骤处理。这种方法可能会影响延伸，但现在尚无具体数字。

这个提议需要更多的考据才能成为施行。Neo 现在的主要要点是其 3D DRAM。东说念主工智能游戏是该公司的另一个念念法，本年刚刚流露。但现在它仍处于认识阶段。

模拟 IMC 又活了一天

东说念主们照旧遑急期待了多年，好多东说念主显然认为它还未准备好理睬黄金时段。这是一个训练的大学研究课题，好多不知说念行将推出的东说念主照旧深信，要让它弘扬作用，需要进行一些环节改动。

Sagence 的时间试图免除照旧走过的说念路，同期幸免先前的陷坑。EnCharge AI 专注于用于感测累积的电容器。Neo 的 DRAM 念念法太新，无法细则它是否能取得生意班师。来岁应该有契机望望前两者是否能取得进展。如若莫得，就回到研究实验室。

然则，如若其中一种或两种方法都能成效，那么将为推理开拓一个新的低功耗步骤。西门子 EDA 高等抽象部门名目总监 Russ Klein 暗意：“无需出动所特殊据和IMC承诺的并行性所带来的节能恶果将不仅对东说念主工智能产生巨大影响，而且对任安在大型数据阵列上进行的诡计也会产生巨大影响。”

咱们还将提供硬数据来自大对于数据出动才略与诡计才略的哪种表面是正确的。

https://semiengineering.com/is-in-memory-compute-still-alive/

半导体杰作公众号保举

专注半导体规模更多原创内容

关怀环球半导体产业动向与趋势

*免责声明：本文由作家原创。著作内容系作家个东说念主不雅点，半导体行业不雅察转载仅为了传达一种不同的不雅点，不代表半导体行业不雅察对该不雅点赞同或复古，如若有任何异议，接待讨论半导体行业不雅察。

今天是《半导体行业不雅察》为您共享的第3976期内容，接待关怀。

『半导体第一垂直媒体』

及时 专科 原创 深度

公众号ID：icbank

可爱咱们的内容就点“在看”共享给小伙伴哦