曾经局限于加密圈的去中心化AI实验,近日获得了英伟达CEO黄仁勋的公开认可,表明分布式模型训练可能正逐步走向主流。
Chamath Palihapitiya在“All-In Podcast”的一集中重点介绍了Bittensor的Covenant-72B,将其作为去中心化人工智能(AI)超越理论的具体例子。Bittensor作为一个去中心化、区块链驱动的网络,建立了一个点对点的市场,在这里机器学习模型和AI计算得以交换和激励。
Palihapitiya用通俗的话描述了这一努力:“他们成功训练了一个拥有40亿参数的LLaMA模型,完全分布式,由一群独立贡献者共同完成。”他称之为“一个相当疯狂的技术成就”。
这个比喻用一个熟悉的类比来说明:“有一些随机的人,每个人都获得一份份额,” Palihapitiya补充道,提到早期利用闲置硬件的分布式计算项目。
黄仁勋并未否定这一想法。相反,他从更广泛的角度看待AI市场,暗示去中心化和专有方法并非互斥。“这两者不是A或B,而是A和B,”黄说。“毫无疑问。”
这种双轨愿景反映了AI领域日益增长的分歧与交集。一方面是像ChatGPT、Claude和Gemini这样的封闭、高度优化的系统;另一方面则是开源、去中心化的模型,允许开发者和组织根据特定需求定制系统。
黄仁勋明确表示,他认为两条路径都至关重要。“模型是一项技术,而不是产品,”他指出,大多数用户仍将依赖成熟的通用系统,而非从零构建自己的模型。
同时,他也提到某些行业对定制化的需求是不可避免的。“有许多行业,其专业知识……必须以一种他们可以控制的方式被捕获,”黄解释道,并补充说“这只能来自开源模型。”
这番话正好契合Bittensor的核心。Covenant-72B由其Subnet 3(Templar)开发,是迄今为止最大规模的去中心化训练之一,协调了超过70名贡献者,通过标准互联网连接,无需中央机构。
在技术层面,这个模型不断突破界限。它拥有720亿参数,在大约1.1万亿个Token上训练,采用了压缩通信协议和分布式数据并行等创新技术,使得在传统数据中心之外进行训练成为可能。
性能指标显示,它不仅仅是实验性质。基准测试结果使其与成熟的集中式模型竞争,这也解释了为何该项目吸引了超越加密圈的关注。
市场也有所反应。宣布后,项目的代币TAO自Palihapitiya和黄仁勋的视频在社交媒体上传播以来上涨了24%。
然而,黄仁勋的评论暗示,真正的故事不是颠覆,而是共存。专有AI系统可能仍将占据主导地位,而开源和去中心化模型将在特定、成本敏感或主权驱动的应用中发挥作用。
对于创业公司,黄仁勋提出了务实的策略:先开源,然后加入专有优势。“我们现在投资的每个创业公司,都是先开源,然后再走向专有模型,”他说。
换句话说,未来的AI可能不会属于某一种架构或理念。它可能属于那些能驾驭两者、懂得何时使用每一种的人。
一个拥有720亿参数的语言模型,通过去中心化的贡献者网络训练而成,没有依赖中心化基础设施。
他表示开源和专有AI模型将共存,描述这种关系为“A和B”,而非二者择一。
它表明大型AI模型可以在传统数据中心之外进行训练,挑战了对基础设施的假设。
它支持一种混合未来,集中平台和去中心化模型在不同行业中扮演不同角色。