1958年，德州仪器的杰克.基尔比（Jack Kilby）设想出了带有单个晶体管的硅芯片。1965年，仙童半导体依然掌持了奈何制造一块领有50个晶体管的硅片。正如仙童半导体的妥洽创始东谈主戈登.摩尔（Gordon Moore）当年不雅察到的那样，一块硅片上可容纳的晶体管数目实在每年翻一番。

2023年，发布了iPhone 15 Pro，由A17仿生芯片驱动，这款芯片领有190亿个晶体管。56年来，晶体管的密度增加了34倍。这种指数级的向上，被低能地称为摩尔定律，一直是计较机翻新的引擎之一。跟着晶体管变得越来越小、越来越低廉以及速率越来越快，今天已毕了手持“超等计较机”的古迹。但东谈主工智能期间需要处理的数据数目之多，依然将摩尔定律推向了极限。

实在通盘当代东谈主工智能中的神经收罗齐需要过程覆按，以细则正确的权重（权重用来估量输入信号关于神经元的影响进度，即不同输入的伏击性权重），从而为其数十亿，有时以致数万亿的里面贯穿赋予正确的权重。这些权重以矩阵的形状存储，而覆按模子则需要使用数学当作对这些矩阵进行操作。

单层神经收罗的骨子是矩阵相乘，两个按行和列罗列的数字矩阵联贯被用来生成第三个这样的联贯，第三个联贯中的每个数字齐是通过将第一个联贯中某一滑的所罕有字与第二个联贯中某一列的所罕有字相乘，然后相加而得到的。若是矩阵很大，有几千或几万行几万列，况兼需要跟着覆按的进行反复相乘，那么单个数字相乘和相加的次数就会变得相等多，这即是东谈主工智能的“念念考方式”，通过对输入数据的处理得出谜底。

然则，神经收罗的覆按并不是独逐个种需要高效处理矩阵乘法运算的工夫。游戏产业高质地的视觉呈现通常需要这一工夫，在25年前，这是一个深广的阛阓。为特出志这一需求，英伟达率先设想了一种新式芯片，即图形处理器（GPU），在这种芯片上叮嘱并贯穿晶体管，使其能够同期进行多量矩阵乘法运算。与大多数中央处理器（CPU）比较，GPU不错更大齐量地处理数据，况兼能耗更低。

2012年，覆按AlexNet（首创 “深度学习 ”期间的模子）需要为6000万个里面贯穿分拨权重。这需要4.7x10^17次浮点运算（flop，算力最基本的计量单元），每次浮点运算大要十分于两个数字的相加或相乘。此前，这样多的计较量是不行能完成的，但其时两个GPU就完成了AlexNet系统的覆按。比较之下，若是使用其时起初进的CPU仍需要奢靡多量的时候和算力。

乔治城大学安全与新兴工夫中心最近发布的一份报告称，在用于覆按模子时，GPU的本钱效益比CPU突出10-100 倍，速率进步1000倍。恰是因为有了GPU，深度学习才得以高贵发展。不外，大型谈话模子（LLM）进一步鼓动了对计较的需求。

「Scaling Laws」禁绝「Moore's Law」

2018年，OpenAI的说合东谈主员亚历克.拉德福德（Alec Radford）愚弄谷歌说合东谈主员在“Attention Is All You Need”中提倡的Transformers（禁受耀看法机制的深度学习模子），开发了一种生成式预覆按变换器，简称GPT。他和共事们发现，通过增加覆按数据或算力，不错提宽绰模子的生成智商，这个定律被称为“Scaling Laws”。

由于行业纳降Scaling Laws定律，大谈话模子的覆按界限越来越大。传说合机构Epoch ai推测，2022年覆按GPT-4 需要2x10^25个 flop，是十年前覆按AlexNet所用算力的4000万倍，破耗约1亿好意思元。Gemini-Ultra是谷歌在2024年发布的大的模子，其本钱是GPT-4的两倍，Epoch ai推测它可能需要5x10^25个flop。这些总额大得难以置信，堪比可不雅测世界中通盘星系的恒星总额，或太平洋中的水点书册。

往日，惩处算力不及的目的即是耐性恭候，因为摩尔定律还在收效，只需要等上一段时候，新一代的芯片就会集成更多更快的晶体管。但摩尔定律依然徐徐失效，因为当今单个晶体管的宽度只好几十纳米（十亿分之一米），要想已毕性能的按期跃升已变得相等贫窭。芯片制造商仍在奋发将晶体管作念得更小，以致将它们垂直堆叠起来，以便在芯片上挤出更多的晶体管。但是，性能稳步进步而功耗下落的期间已过程去。

跟着摩尔定律放缓，想要竖立更大的模子，谜底不是坐蓐更快的芯片，而是打造更大的芯片集群。OpenAI里面夸耀，GPT-4是在25000个英伟达的A100上覆按的，这些GPU集群在系数，以减少在芯片间迁徙数据时形成的时候和能量失掉。

Alphabet、亚马逊、Meta和微软预备在2024年投资2000亿好意思元用于东谈主工智能关连的界限，比前年增长45%，其中大部分将用于打造大界限的芯片集群。据报谈，微软和OpenAI正预备在威斯康星州竖立一个价值1000亿好意思元的集群，名为 “星际之门”（Stargate）。硅谷的一些东谈主则以为，十年内将出现一个价值１万亿好意思元的集群。这种超大界限基础当作开发需要消耗多量动力，本年３月，亚马逊在一座核电站左近购买了一个数据中心，该核电站可为其提供千兆瓦的电力。

对东谈主工智能界限的投资并不全是在GPU过甚功耗上，因为模子一朝覆按完成，就必须参加使用。使用东谈主工智能系统所需要消耗的算力，频繁约为覆按所需算力的闲居根，这样的算力需求仍然很大。举例，GPT-3需要３x10^23flop的算力来覆按，则推理需要3x10^11flop算力。FPGA和ASIC芯片是专为推理量身定制的，在入手东谈主工智能模子方面，比使用GPU更高效。

不外，在这股高潮中推崇最佳的如故英伟达。英伟达的主导地位不仅来自其在GPU制造方面蕴蓄的工夫和参增加量的资金（黄仁勋称，Blackwell的开发本钱高达100亿好意思元）。此外，英伟达还领有效于芯片编程的软件框架，即近乎已成为行业圭臬的CUDA。

竞争敌手齐在寻找英伟达的流弊。AI芯片独角兽企业SambaNova Systems的CEO Rodrigo Liang称，英伟达的芯片有几个舛错，这不错追念到它们起初在游戏中的用途。其中一个独特大的问题是，在数据存取方面的智商有限（因为一个GPU无法容纳系数模子）。

另一家AI芯片初创公司Cerebras则推出了21.5厘米宽的“晶圆级”处理器。咫尺的大部分GPU包含八成千千万万个寂寞内核，不错进行并行计较过，而Cerebras开发的芯片包含近100万个。Cerebras宣称，其另外一个上风是，它的能耗仅为英伟达最佳芯片的一半。谷歌则推出了我方的张量处理单元（TPU），可用于覆按和推理。其Gemini 1.5 ai模子一次经受的数据量是GPT-4的八倍，部分原因即是禁受了定制芯片。

顶端GPU的深广价值盈篇满籍，使其成为地缘政事的筹码。固然芯片产业是群众性的，但只好少数几个国度的工夫终结着进入芯片产业高地的通谈。英伟达的芯片在好意思国设想，世界上起初进的光刻机由荷兰公司ASML制造，而只好台积电和英特尔等顶端代工场才略使用最顶级的光刻机。关于很多其他开垦来说，地缘政事要素通常感叹万千，日本是其中的另一个主要国度。

发展芯片和东谈主工智能工夫带来的政事博弈，使列国在这两个工夫界限的参加不停增加，好意思国政府对向中国出口先进芯片推行严厉的管控，而中国正在投资数千亿好意思元来竖立我方的芯片供应链。大多数分析东谈主士以为，中国在这方面与好意思国仍存在较大的差距，但由于华为等公司的大笔投资，中国应酬出口管理的智商忘形国预期的要好得多。

好意思国也在加大投资力度，台积电在亚利桑那州投资约650亿好意思元竖立晶圆厂，并获取约66亿好意思元的补贴。其他国度通常积极参与到这场竞争中，印度参加100亿好意思元、德国160亿好意思元以及日本260亿好意思元，改日，通过独揽东谈主工智能芯片以阻塞其他国度东谈主工智能产业工夫发展的方式偶然将会失效。

本文由雷峰网编译自：https://www.economist.com/schools-brief/2024/07/30/the-race-is-on-to-control-the-global-supply-chain-for-ai-chips