导语：重点再也不是更快的芯片，而是更年夜的芯片集群。

1958年，德州仪器的杰克.基尔比（Jack Kilby）设计出了带有单个晶体管的硅芯片。1965年，仙童半导体已经经把握了怎样制造一块拥有50个晶体管的硅片。正如仙童半导体的结合开创人戈登.摩尔（Gordon Moore）昔时不雅察到的那样，一块硅片上可容纳的晶体管数目险些每一年翻一番。

2023年，苹果发布了iPhone 15 Pro，由A17仿生芯片驱动，这款芯片拥有190亿个晶体管。56年来，晶体管的密度增长了34倍。这类指数级的前进，被大略地称为摩尔定律，一直是计较机革命的引擎之一。跟着晶体管变患上愈来愈小、愈来愈自制以和速率愈来愈快，今天实现了手握“超等计较机”的古迹。但人工智能时代需要处置惩罚的数据数目之多，已经经将摩尔定律推向了极限。

险些所有现代人工智能中的神经收集都需要颠末练习，以确定准确的权重（权重用来权衡输入旌旗灯号对于在神经元的影响水平，即差别输入的主要性权重），从而为其数十亿，有时甚至数万亿的内部毗连付与准确的权重。这些权重以矩阵的情势存储，而练习模子则需要利用数学要领对于这些矩阵举行操作。

单层神经收集的素质是矩阵相乘，两个按行及列摆列的数字矩阵调集被用来天生第三个如许的调集，第三个调集中的每一个数字都是经由过程将第一个调集中某一行的所有数字与第二个调集中某一列的所有数字相乘，然后相加而获得的。假如矩阵很年夜，有几千或者几万行几万列，并且需要跟着练习的举行重复相乘，那末单个数字相乘及相加的次数就会变患上很是多，这就是人工智能的“思索方式”，经由过程对于输入数据的处置惩罚患上出谜底。

然而，神经收集的练习其实不是独一一种需要高效处置惩罚矩阵乘法运算的技能。游戏财产高质量的视觉出现一样需要这一技能，于25年前，这是一个巨年夜的市场。为了满意这一需求，英伟达率先设计了一种新型芯片，即图形处置惩罚器（GPU），于这类芯片上安插并毗连晶体管，使其可以或许同时举行年夜量矩阵乘法运算。与年夜大都中心处置惩罚器（CPU）比拟，GPU可以更多量量地处置惩罚数据，并且能耗更低。

2012年，练习AlexNet（创始 “深度进修 ”时代的模子）需要为6000万个内部毗连分配权重。这需要4.7x10^17次浮点运算（flop，算力最基本的计量单元），每一次浮点运算年夜致相称在两个数字的相加或者相乘。此前，这么多的计较量是不成能完成的，但其时两个GPU就完成为了AlexNet体系的练习。比拟之下，假如利用其时开始进的CPU仍需要泯灭年夜量的时间及算力。

乔治城年夜学安全与新兴技能中央近来发布的一份陈诉称，于用在练习模子时，GPU的成本效益比CPU超出跨越10-100 倍，速率晋升1000倍。恰是由于有了GPU，深度进修才患上以蓬勃成长。不外，年夜型语言模子（LLM）进一步鞭策了对于计较的需求。

「Scaling Laws」打破「Moore's Law」

2018年，OpenAI的研究职员亚历克.拉德福德（Alec Radford）使用google研究职员于“Attention Is All You Need”中提出的Transformers（采用留意力机制的深度进修模子），开发了一种天生式预练习变换器，简称GPT。他及同事们发明，经由过程增长练习数据或者算力，可以提高峻模子的天生能力，这个定律被称为“Scaling Laws”。

因为行业顺从Scaling Laws定律，年夜语言模子的练习范围愈来愈年夜。据研究机构Epoch ai预计，2022年练习GPT-4 需要2x10^25个 flop，是十年前练习AlexNet所用算力的4000万倍，破费约1亿美元。Gemini-Ultra是google于2024年发布的年夜的模子，其成本是GPT-4的两倍，Epoch ai预计它可能需要5x10^25个flop。这些总数年夜患上难以置信，堪比可不雅测宇宙中所有星系的恒星总数，或者承平洋中的水点合集。

已往，解决算力不足的措施就是耐烦等候，由于摩尔定律还有于生效，只需要等上一段时间，新一代的芯片就会集成更多更快的晶体管。但摩尔定律已经经逐渐掉效，由于此刻单个晶体管的宽度只有几十纳米（十亿分之一米），要想实现机能的按期跃升已经变患上很是坚苦。芯片制造商仍于努力将晶体管做患上更小，甚至将它们垂直重叠起来，以便于芯片上挤出更多的晶体管。可是，机能稳步晋升而功耗降落的时代已经颠末去。

跟着摩尔定律放缓，想要成立更年夜的模子，谜底不是出产更快的芯片，而是打造更年夜的芯片集群。OpenAI内部吐露，GPT-4是于25000个英伟达的A100上练习的，这些GPU集群于一路，以削减于芯片间挪动数据时酿成的时间及能量丧失。

Alphabet、亚马逊、Meta及微软规划于2024年投资2000亿美元用在人工智能相干的范畴，比去年增加45%，此中年夜部门将用在打造年夜范围的芯片集群。据报导，微软及OpenAI正规划于威斯康星州成立一个价值1000亿美元的集群，名为 “星际之门”（Stargate）。硅谷的一些人则认为，十年内将呈现一个价值１万亿美元的集群。这类超年夜范围基础举措措施设置装备摆设需要耗损年夜量能源，本年３月，亚马逊于一座核电站隔邻采办了一个数据中央，该核电站可为其提供千兆瓦的电力。

对于人工智能范畴的投资其实不全是于GPU和其功耗上，由于模子一旦练习完成，就必需投入利用。利用人工智能体系所需要耗损的算力，凡是约为练习所需算力的平方根，如许的算力需求仍旧很年夜。例如，GPT-3需要３x10^23flop的算力来练习，则推理需要3x10^11flop算力。FPGA及ASIC芯片是专为推理量身定制的，于运行人工智能模子方面，比利用GPU更高效。

不外，于这股热潮中体现最佳的还有是英伟达。英伟达的主导职位地方不仅来自其于GPU制造方面堆集的技能及投入年夜量的资金（黄仁勋称，Blackwell的开发成本高达100亿美元）。此外，英伟达还有拥有效在芯片编程的软件框架，即近乎已经成为行业尺度的CUDA。

竞争敌手都于寻觅英伟达的弱点。AI芯片独角兽企业SambaNova Systems的CEO Rodrigo Liang称，英伟达的芯片有几个错误谬误，这可以追溯到它们最初于游戏中的用途。此中一个尤其年夜的问题是，于数据存取方面的能力有限（由于一个GPU没法容纳整个模子）。

另外一家AI芯片草创公司Cerebras则推出了21.5厘米宽的“晶圆级”处置惩罚器。今朝的年夜部门GPU包罗年夜概成千上万个自力内核，可以举行并行计较过，而Cerebras开发的芯片包罗近100万个。Cerebras声称，其别的一个上风是，它的能耗仅为英伟达最佳芯片的一半。google则推出了本身的张量处置惩罚单位（TPU），可用在练习及推理。其Gemini 1.5 ai模子一次摄入的数据量是GPT-4的八倍，部门缘故原由就是采用了定制芯片。

尖端GPU的巨年夜价值与日俱增，使其成为地缘政治的筹马。虽然芯片财产是全世界性的，但只有少数几个国度的技能节制着进入芯片财产高地的通道。英伟达的芯片于美国设计，世界上开始进的光刻机由荷兰公司ASML制造，而只有台积电及英特尔等尖端代工场才能利用最顶级的光刻机。对于在很多其他装备来讲，地缘政治因素一样暗潮涌动，日本是此中的另外一个重要国度。

成长芯片及人工智能技能带来的政治博弈，使列国于这两个技能范畴的投入不停增长，美国当局对于向中国出口进步前辈芯片实行严肃的管控，而中国正于投资数千亿美元来成立本身的芯片供给链。年夜大都阐发人士认为，中国于这方面与美国仍存于较年夜的差距，但因为华为等公司的年夜笔投资，中国应答出口管束的能力比美国预期的要好患上多。

美国也于加年夜投资力度，台积电于亚利桑那州投资约650亿美元成立晶圆厂，并得到约66亿美元的补助。其他国度一样踊跃介入到这场竞争中，印度投入100亿美元、德国160亿美元以和日本260亿美元，将来，经由过程垄断人工智能芯片以拦阻其他国度人工智能财产技能成长的方式也许将会掉效。

本文由雷峰网(公家号：雷峰网)编译自：https://www.economist.com/schools-brief/2024/07/30/the-race-is-on-to-control-the-global-supply-chain-for-ai-chips

雷峰网原创文章，未经授权禁止转载。详情见转载须知。