老C@codedump.info (@lichuang) profile picture

Distributed System Illustrated: https://nitter.cf/t.co/CKxHlT9TMn,https://nitter.cf/t.co/yjUeoLnOHk

China,GuangZhou
Joined May 2009
Photo by 老C@codedump.info (@lichuang)Photo by 老C@codedump.info (@lichuang)Photo by 老C@codedump.info (@lichuang)Photo by 老C@codedump.info (@lichuang)Photo by 老C@codedump.info (@lichuang)Photo by 老C@codedump.info (@lichuang)Photo by 老C@codedump.info (@lichuang)Photo by 老C@codedump.info (@lichuang)Photo by 老C@codedump.info (@lichuang)Photo by 老C@codedump.info (@lichuang)
我之前写过很多文章介绍CPU(通用处理器),GPU(通用图形处理器),ASIC(应用专用集成电路),量子计算机的背景,诸位可以去我的主页找来看看。 诸位可以回顾一下,在比特币(BTC)的挖矿发展过程中,从CPU到GPU再到ASIC走的出奇地顺畅: 1,比特币于2009年诞生,其挖矿算法采用的是SHA-256哈希函数,设计之初的目标是让普通人利用家用电脑的CPU挖矿,CPU本身以其灵活的通用计算能力为最大优点。早期区块难度很低,单个CPU能够完成大量挖矿任务。但随着比特币网络的哈希难度(Difficulty)不断增加,单台CPU无法满足需求,挖矿速度大幅下降。 2,2010年开始,矿工们发现,GPU(尤其是AMD/ATI显卡)的并行处理架构对于计算SHA-256哈希值更高效,使得GPU逐步取代CPU成为主流挖矿工具。开发者也开始利用CUDA和OpenCL编写高性能挖矿程序,加速了GPU矿池形成。当然,与CPU相比,功耗上升明显,但性价比大幅提高。当然,随着参与者增多,比特币挖矿难度继续快速提高。 3,从2013年开始,专门用于比特币挖矿的ASIC开始逐渐取代GPU,标志着挖矿进入一个高效、集约的时代。这些ASIC专为SHA-256算法优化,能够以极高效率完成哈希运算。因为专款专用的缘故,ASIC上没有过多的冗余电路,所以单个ASIC矿机的算力显著高于顶级GPU,同时单位功耗更低。从此,矿机制造商(如比特大陆,嘉楠耘智,比特微,亿邦国际,现在还有比特小鹿)开始引领硬件和芯片开发,将挖矿产业集中化了。 同样的事情到深度学习和AI训练的领域会不会复现呢?我们今天来简单地看一看。随着生成式AI应用的迅猛发展,GPU飞速发展迅猛,NVidia作为最大的赢家,2024年的前三个季度的收如达到了惊人的911.6亿美金,纯利润约507.8亿美金。其中第三季度,NVidia在数据中心这块的业务收入达到了308亿美金。毫不夸张地说,这业务相当于开足马力的一个印钞机。 那么,按照现在的剧本,AI ASIC能否成为英伟达GPU可⾏的替代品? 我们首先看看,ASIC相对于GPU,能够提供什么独特的优势。 * ASIC为特定任务(如 AI 推理)高度优化,规模化下成本有显著优势。同时能够在固定计算需求下实现超高性能和极低延迟。 * 功耗显著低于 GPU,单位计算能效比(Performance-per-Watt)高。 * 效率更高:例如,Google TPU 在执行大规模矩阵运算和模型推理时的效率远高于GPU。 和比特币的ASIC类似,AI ASIC专款专用,不包含多余的硬件功能,减少了晶体管数量,降低了功耗和芯片生产成本。在部署量足够大时,规模效应带来的成本优势显著。在这里,我多提一嘴,GPU翻倍增加的功耗(H100 700瓦到GB200 1100瓦的热设计)给设计实现和配套的设施带来了极大的挑战,甚至因为GPU过热,客户甚至需要大幅度采用非技术手段缩减其他部件的热设计功耗,比如说大规模使用SSD替换传统的硬盘。 当然,AI ASIC的缺点在于,开发生态通常为闭源设计(如 Google TPU),针对性强,但灵活性差,较难达到 GPU那样的广泛适配性。GPU 可以在模型训练、推理和通用计算任务之间灵活切换,支持各种 AI 框架(如 TensorFlow、PyTorch),而GPU的开发生态(如 CUDA、TensorRT)高度成熟,开发者非常多。 目前的情况是,推理和边缘场景下,ASIC已经具备替代 GPU的很多优势,具有非常大的前景。对照北美四大云计算厂商(CSP:Cloud Service Providor)的自研产品路线:Google的TPU出货目前以v5产品为主,2025年将量产TPU v6;亚马逊的ASIC产品包括Trainium和Inferentia,分别用于训练和推理环节;微软和Meta也推出了各自的ASIC产品Maia100和MTIA。由于大型云计算厂商的业务模型、应用场景等多通过自身云来承载,相关软件绝大部分自行研发,所以,自研ASIC在这一块基本不存在瓶颈,完全可适应自家的不同业务场景需求。 而在训练场景下,因为任务本身具有复杂性和多样性,所以对硬件的灵活性需求更高,GPU 的通用性在这里会更具优势。 但是,我们也要看到技术的变化是动态的,正如前OpenAI联合创始人Ilya Sutskever在2024年NeurIPS大会上表示:预训练时代即将终结(Pre-training as we know it will end)。“将数据比作AI发展的燃料,由于我们只有一个互联网,数据增长已经触顶,AI即将进入‘后石油时代’,而这,意味着依赖于海量数据的预训练模型将难以为继,AI发展将有新的突破。”Ilya认为,未来AI发展将聚焦于智能体、合成数据和推理时计算(Agents、Synthetic data和Inference-time compute)。这些确定性较高的任务可能也会适合ASIC的方式。 而摩根士丹利于2024年12月15日发布研报《AI ASIC 2.0:潜在赢家》。在研究报告里面得出类似的结论。大摩报告预计,基本情境下,到2027年,云端AI半导体市场规模将达到2380亿美元,而在乐观情境下甚至可能达到4050亿美元。在这一领域,预计ASIC凭借针对性优化和成本优势,有望逐步从英伟达GPU手中争取更多机会。 摩根士丹利明确预计,AI ASIC市场规模将从2024年的120亿美元增长至2027年的300亿美元,年复合增长率达到34%。尽管英伟达的AI GPU性能卓越,但摩根士丹利认为,云服务提供商(CSP)如谷歌、亚马逊和微软,仍在积极推动ASIC设计。这背后的驱动力主要有两个。 1,是优化内部工作负载。通过开发自定义芯片,云服务提供商(CSP)可以更高效地满足其内部AI推理和训练需求。 2,是更好的性价比。报告指出,虽然英伟达的GPU具备强大的计算性能,但其硬件价格高昂,特别是在AI训练过程中。相比之下,ASIC的单位成本更低,尤其是在大规模使用后。例如,亚马逊的Trainium芯片在推理任务中比英伟达的H100 GPU便宜约30%至40%。谷歌也在不断优化其TPU系列,最新的TPU v6在能效上比上一代提升67%。 要做AI ASIC的生意,需要比较深的技术积累,尤其是在半导体IP方面的积累,包括但不限于网络,存储和其他各种类型的控制器IP,以及对先进工艺设计的知识。这里有两个核心公司值得关注,最近股市最火的两个Ticker, 1,博通,之前合并了安华高(Avago),Avago在2014年收购ASIC大厂的LSI Logic,一举奠定了ASIC领域的基础; 2,Marvell,Marvell之前在网络和存储市场有大量积累,同样以并购拓展ASIC研发,在2019年收购格芯(GlobalFoundries)旗下负责ASIC业务的Avera Semi,当时客户就包含目前的ASIC大客户亚马逊和微软。 谷歌自2013年开始自研芯片起,就和博通开始了深度合作,截至目前,两家共同设计了迄今为止已公布的所有TPU芯片,同时博通已经获得了谷歌下一代AI芯片TPU v7的设计合同,这一长期合作关系使博通能够显著受益于谷歌在AI技术方面的持续投资。 Meta最新的自研AI芯片都将选择博通作为自研芯片技术的核心合作伙伴,Meta此前与博通共同设计了Meta的第一代和第二代AI训练加速处理器,预计博通将在2025年加快研发Meta下一代AI芯片MTIA 3。 OpenAI给了博通两代ASIC项目,将在2026年启动,会采用3nm和2nm工艺,以及3D封装。苹果现在使用的是谷歌TPU,但是也在积极定制自己的算力芯片。 Marvell这边,微软下一代项目给了Marvell,且承诺给的量相当大,且在12月份Marvell宣布与Amazon Web Services(AWS)扩展战略合作关系,达成了一项为期五年的多代协议。 其他的大客户比较敏感,不多谈了。至少目前在AI ASIC领域,这两家走得最早最远。 博通最新的业绩报告显示,博通的AI相关营收(数据中心以太网芯片+AI ASIC)全财年累计达到122亿美元。更重磅的是,博通首席执行官陈福阳(Hock Tan)在业绩电话会议上表示,人工智能产品营收将在2025财年第一季度同比增长65%,远快于该公司约10%的整体半导体业务增速,并且预计到2027财年,其为全球数据中心运营商们所打造的AI组件(以太网芯片+AI ASIC)潜在市场规模将高达900亿美元。陈福阳在电话会议上强调“未来三年,AI芯片的相关机遇无比广阔大。” 另外,根据Marvell在AI Day上的预测,AI ASIC的业务规模将在2027年达到400亿美元规模。 Marvell设定的目标是占据该400亿美元市场的20%份额,即80亿美元。 所有这些都显示,AI ASIC正是朝阳时代。当然,据传,英伟达和AMD也不想落下,均设立了定制芯片业务部门,专注为云计算公司设计定制芯片(ASIC)。 所以,AI ASIC的竞争还将会更激烈。将来是不是也会演变成比特币矿机那样的百花齐放呢?
19
77
9
171
48,358
??? Rust 这么神奇的嘛
6
18
3
126
🥹 Databend 今年也有一个黑客松活动,希望看到的推友可以支持一下,组队参个赛什么的。 第一次搞,没啥经验,如果有需要补充和改进的地方直接戳我就好,都会处理的。 宣讲会什么的或许要迟一些,欢迎所有人参与。 github.com/datafuselabs/hack…
4
14
7
71
adaptive string hash table with #databend, 20%~50% performance improvement in group aggregation queries github.com/datafuselabs/data… . Thank you for the contribution @usamoi
6
10
经济决策三人团:李强,丁薛祥,何立峰。 其实主要看李和何,丁只是监督辅助。 要了解他们的施政立场方针,还是老老实实读他们的文章和采访,少看听床师的八卦吧。 政策数据库也收录李他们以前的一些采访和文章,以后也会持续更新他们的最新动态和言论👇
71
207
6
1,045
Replying to @lichuang
狼爱上羊啊爱的疯狂!
1
1
4
python 属于入门容易,写好很难,所以这行会充斥巨量水货,然后抱怨语言不行。 go 属于入门中等,写到凑合很简单,race 你狗胆包天可以假装不存在,所以一群人吹爆。 rust 入门难,编写难,但是入行的大多是吃了十年 cpp 屎山的老苦逼。早就失去了痛觉,只觉得爽。
13
40
2
326
微信读书的免费模式破坏了国内的图书生态。 还是那个观点:内容创造者必须吃饱,内容市场才能繁荣。 这个和技术升级换代,成本降低的逻辑相反。
2
4
1
14
Replying to @RealAkemiHomura
如果有人抗议就要下台,那欧美可以天天换国家首领了。。
1
1
3
刚入职场不久的码农朋友们可能还在为不知道什么时候应该用什么log level而发愁,最近我们组里也有相关讨论,结果就有人发了这个《一张图带你看懂log level》,原贴出自StackOverflow https://nitter.cf/t.co/4U9184kVid
15
352
13
1,345
Thanks to Yisong Han and @Datafuse_Labs for contributing testing support for Databend to @sqlancer_dbms! Hope it will help with preventing bugs before they reach any users. weekly.databend.rs/2022-09-2…
7
1
30
#databend Clustering Keys & Clustered Tables, make your query faster databend.rs/doc/reference/sq…
2
6
最近在社区同学 xprazak2 的帮助下为 OpenDAL 增加了 @IPFS 支持,现在 OpenDAL 支持通过 Gateway 和 MFS 两种 API 访问 IPFS,接下来就要赋能 Databend 啦🤓 xuanwo.io/reports/2022-36/
1
3
7
我宣布面试偏好已经成为推上码农圈子最能引战的话题,甚至超越了编辑器圣战和编程语言圣战 但是这个话题也不是没有缺点,往往参与方只会留下一句“傻逼”就单方面结束战争,导致抗辩双方讨论不激烈。 但是引战能力绝对是一流的(
1
1
2
22
🎉🎉🎉 Cloud data warehouse Databend 0.8.0 has been released! 120+ contributors with 5000+ commits and 4600+ file changes added 420K LOC and removed 160K lines. New execution, new Planner, passed all TPC-H queries. Databend 0.8.0 release databend.rs/blog/databend-re…
3
1
13
#databend v0.8 You can now run Common Table Expressions (CTE) queries to simplify your queries and do excellent analytics databend.rs/doc/reference/sq…
4
5
Replying to @lichuang
畅销书《影响力》第3章“承诺与一致”,提到过这点。 > 人人都有一种言行一致(同时也显得言行一致)的愿望。一旦我们作出了一个选择,或采取了某种立场,我们立刻就会碰到来自内心和外部的压力,迫使我们按照承诺说的那样去做。在这样的压力之下,我们会想方设法地以行动证明自己先前的决定是正确的。
2
5
23
🎉 Introducing: Databend Serverless Cloud A Powerful Real-Time #datacloud for Everyone Simplicity, Elasticity, Security, and Low Cost Get Early Access 👉 app.databend.com/
3
17