由于高质料数据吃紧以及死力的数据中心建形老本，AI大模子的升级速率正在放缓开yun体育网，可能反过来株连行业举座和数据中心成立的发达；同期，马斯克大举发力数据中心成立可能培植其他AI公司的延迟难度。

　　本文作家：李笑寅

　　开首：硬AI

　　寰球数据中心正在靠近放缓窘境。

　　死灰复燃的AI海浪推升了数据中心的成立怒潮，但跟着大模子对算力的要求逐日俱增，数据中心升级的脚步似乎要跟不上握续强盛的AI需求了。

　　知名科技媒体The Information近日报说念称，由于高质料数据吃紧以及死力的数据中心建形老本，AI大模子的升级速率正在放缓，可能反过来株连行业举座和数据中心成立的发达。

　　与此同期，马斯克刚直举发力数据中心成立，在“鲶鱼效应”（带领入硬人后，引发弱者变强）下，一场更高难度的大型数据中心竞赛行将打响，数据中心的成立怒潮还能否延续？

　　“数据饥饿”终结大模子迭代速率

　　据OpenAI职工向The Information示意，GPT迭代放缓的原因之一是：可供大模子预稽查所需的高质料文本和其他数据正在束缚减少。

　　这些东说念主士示意，在往日几年中， LLMs使用来自网站、竹素和其他开首的公开文本和其他数据进行预稽查经过，而如今，这类数据实在已被“榨干”。

　　据悉，不才一代旗舰模子“Orion”中，OpenAI诚然一经开动尝试在稽查阶段引入AI生成数据，但同期又靠近一个新问题，即Orion最终可能在某些方面与旧型号的大模子相同。

　　同期，数据中心死力的建形老本可能也难以撑握起迭代所需的浩瀚算力要求，OpenAI商量员Noam Brown在上个月的TEDAI会议上示意，斥地更先进的模子在经济上可能并不行行。

“咱们简直要稽查破耗数千亿好意思元或数万亿好意思元的模子吗？巧合候，扩展（scaling laws）的范式也会崩溃。”

　　此外，由于大模子迭代升级对就业器集群界限的要求越来越高，所需的功率也呈倍数级培植，散热问题正越来越成为数据中心升级的一大困难。

　　马斯克发力AI，OpenAI等牵挂被“其后居上”

　　马斯克为xAI竣事“最大超算中心”的应许的速率之快，一经向OpenAI等头部竞争敌手凯旋制造了畏俱。

　　在本年7月“GenAI Summit SF 2024”东说念主工智能峰会上，马斯克旗下的AI初创公司xAI秘书，设想在几个月内建成一个约10万H100芯片的数据中心，堪称是“全国上最矫健的AI稽查集群”，旨在稽查更矫健的AI模子。

　　同月，马斯克酬酢平台“X”上秘书，xAI公司已开动在“Supercluster”上进行稽查，该集群由10万个液冷英伟达的H100 GPU组成，在单个长门路直数据存取（RDMA）结构上运行。

　　马斯克的豪赌，基于“缩放定律”（scaling laws）：数据中心界限越大、稽查出来的大模子就越好。

　　据悉，“Supercluster”的集群界限是Meta等科技巨头已稀有据中心界限的数倍。对比来看，OpenAI稽查GPT4，需要用到25000块A100 GPU，仅为Supercluster的1/20。

　　况兼，据英伟达方面向媒体裸露，该数据中心仅用122天就建成，而左证其CEO黄仁勋的说法，这种这种界限的GPU集群时时需要三年的技艺来筹谋和设想，还独特需要一年的技艺能力参预使用。

　　尽管xAI的东说念主工智能用具仍远远过期于OpenAI，但他构建数据中心的速率引起了Sam Altman的警惕。据一位知情东说念主士向媒体裸露，马斯克在X上官宣了Supercluster的建成后，Altman与微软的基础轨范高管发生了争执，牵挂xAI的发展速率比微软快。

　　本文来自微信公众号“硬AI”，关切更多AI前沿资讯请移步这里

　　阛阓有风险，投资需严慎。本文不组成个东说念主投资提议，也未计划到个别用户荒谬的投资筹谋、财务情景或需要。用户应试虑本文中的任何想法、不雅点或论断是否合乎其特定情景。据此投资，背负自夸。

背负裁剪：李桐 开yun体育网