Variant 投资合伙人：开源 AI 的困境与突破，为什么加密技术是最后一块拼图？

作者： Daniel Barabander

编译：深潮 TechFlow

根据皮尤研究中心 (Pew Research Center) 在 2024 年进行的一项 调查 ，64% 的美国人认为社交媒体对国家的影响弊大于利；78% 的人表示社交媒体公司在政治中拥有过大的权力和影响力；83% 的人认为这些平台很可能会故意审查它们不同意的政治观点。对社交媒体的不满几乎成为美国社会少有的共识之一。

回顾过去 20 年社交媒体发展的历程，这种局面似乎早已注定。故事并不复杂：少数几家大型科技公司抓住了用户的注意力，更重要的是掌控了用户数据。尽管起初人们对数据开放抱有希望，但这些公司很快改变策略，利用数据建立起无法打破的网络效应，并关闭了外界访问权限。最终形成了今天的局面：不到 10 家大型科技公司主导着社交媒体行业，形成了一个“寡头垄断”的格局。由于现状对它们极为有利，这些公司几乎没有任何动力去改变。 这种模式是封闭的，且缺乏竞争。

如今，AI 技术的发展轨迹似乎正在重演这一幕，但这次的影响更加深远。少数几家科技公司通过掌控 GPU 和数据资源，构建了基础 AI 模型，并对外关闭了这些模型的访问权限。对于没有数十亿美元资金的新进入者来说，想要开发一个竞争性的模型几乎不可能。因为仅仅训练一个基础模型的计算成本就需要数十亿美元，而那些从上一轮技术浪潮中获益的社交媒体公司，正在利用它们对专有用户数据的控制权，开发出竞争者难以企及的模型。我们正在重蹈社交媒体的覆辙，走向一个封闭且缺乏竞争的 AI 世界。如果这种趋势持续下去，少数几家科技公司将对信息和机会的获取拥有不受限制的控制权。

如果我们不希望看到一个封闭的 AI 世界，那么我们的选择是什么？ 显而易见的答案是将基础模型作为 开源软件 项目来开发。 历史上，我们已经有无数开源项目成功构建了我们日常依赖的基础软件。例如，Linux 的成功证明了即使是像操作系统这样核心的软件，也可以通过开源方式开发。那么，为什么 LLMs（大语言模型）不能呢？

然而，基础 AI 模型面临的特殊限制，使它们与传统软件不同，这也极大地削弱了其作为传统开源项目的可行性。 具体来说，基础 AI 模型需要巨大的计算和数据资源，而这些资源远远超出了个人的能力范围。 与传统开源项目仅依赖人们捐献时间不同，开源 AI 还要求人们捐献计算能力和数据资源，这就是所谓的“资源问题”。

以 Meta 的 LLaMa 模型为例，我们可以更好地理解这个资源问题。与 OpenAI 和 Google 等竞争对手不同，Meta 没有将模型隐藏在付费 API 背后，而是公开提供了 LLaMa 的权重，供任何人免费使用（ 有一定限制 ）。这些权重包含了模型在 Meta 训练过程中学到的知识，是运行模型的必要条件。拥有这些权重，用户可以对模型进行微调，或者将模型的输出作为新模型的输入。

虽然 Meta 发布了 LLaMa 的权重值得肯定，但它并不能算作一个真正的开源软件项目。Meta 在幕后掌控着模型的训练过程，依靠自己的计算资源、数据和决策，并单方面决定何时向公众开放该模型。Meta 并未邀请独立研究者或开发者参与社区合作，因为训练或重新训练模型所需的资源远远超出普通个人的能力范围。这些资源包括数万张高性能 GPU、存储这些 GPU 的数据中心、复杂的冷却设施，以及用于训练的数万亿 Token（模型训练所需的文本数据单元）。正如 斯坦福大学 2024 年人工智能指数报告 所指出的，“训练成本的急剧上升，实际上将传统上是 AI 研究重镇的大学排除在顶尖基础模型开发之外。” 举个例子， Sam Altman 曾提到训练 GPT-4 的成本高达 1 亿美元 ，而这甚至不包括用于硬件设施的资本支出。此外， Meta 的资本支出在 2024 年第二季度比 2023 年同期增加了 21 亿美元 ，主要用于与 AI 模型训练相关的服务器、数据中心和网络基础设施。因此，尽管 LLaMa 的社区贡献者可能具备技术能力来改进模型架构，但他们却缺乏足够的资源来实现这些改进。

总结来说，与传统开源软件项目不同， 开源 AI 项目不仅要求贡献者投入时间，还需要他们承担高昂的计算和数据成本。 仅依靠善意和志愿精神来激励足够多的资源提供者是不现实的。 他们需要进一步的激励机制。 以开源大语言模型 BLOOM 为例，这个拥有 1760 亿参数的模型集合了来自 70 多个国家、250 多个机构的 1000 名志愿研究者的努力。虽然 BLOOM 的成功令人钦佩（我对此表示全力支持），但它耗费了一年的时间来协调一次训练，并依赖法国研究机构提供的 300 万欧元资助（这还不包括训练模型所用 超级计算机 的资本支出）。依赖新一轮的资助来协调和迭代 BLOOM 的过程过于繁琐，无法与大型科技实验室的开发速度相比。自 BLOOM 发布以来已经超过两年，目前尚未听说该团队开发出任何后续模型。

为了让开源 AI 成为可能， 我们需要找到一种方法，激励资源提供者贡献他们的计算能力和数据资源，而不是让开源贡献者自行承担这些成本。

加密技术的核心突破在于通过 “所有权”机制 ，使高资源成本的开源软件项目成为可能。它通过激励潜在的资源提供者参与网络来解决开源 AI 的资源问题，而不是让开源贡献者预先承担这些资源成本。

比特币就是一个很好的例子。作为最早的加密项目，比特币是一个完全开源的软件项目，其代码从一开始就是公开的。然而，代码本身并不是比特币的关键所在。仅仅下载并运行比特币节点软件，在本地创建一个区块链并没有实际意义。只有当挖矿区块的计算量足够超出任何单个贡献者的计算能力时，该软件的真正价值才能体现：维护一个去中心化的、无人控制的账本。与基础开源 AI 类似，比特币也是一个需要超出个人能力范围的资源的开源项目。虽然两者对计算资源的需求原因不同——比特币需要计算资源来确保网络不可篡改，而基础 AI 需要计算资源来优化和迭代模型——但它们的共同点在于都需要依赖超越个人能力的资源。

比特币，以及其他任何加密网络，能够激励参与者为开源软件项目提供资源的“秘诀”在于通过 Token 提供网络所有权。正如 Jesse 在 2020 年为 Variant 撰写的创立理念中 所述， 所有权为资源提供者提供了强大的动力，使他们愿意贡献资源来换取网络中的潜在收益。 这种机制类似于初创公司通过“汗水股权”(Sweat Equity) 来解决早期资金不足的问题——通过主要以公司所有权的形式支付早期员工（例如创始人），初创公司能够吸引到其本无法负担的劳动力。加密技术将“汗水股权”的概念从专注于时间贡献者扩展到了资源提供者。因此，Variant 专注于投资那些利用所有权机制来建立网络效应的项目，例如 Uniswap、Morpho 和 World。

如果我们希望开源 AI 成为现实，那么通过加密技术实现的所有权机制就是解决资源问题的关键方案。这种机制可以让研究人员自由地将他们的模型设计理念贡献给开源项目，因为实现这些想法所需的计算和数据资源将由资源提供者承担，而资源提供者将通过获得项目的部分所有权作为回报，而不是要求研究人员自己承担高昂的前期成本。在开源 AI 中，所有权可以有多种形式，但最令人期待的一种是对模型本身的所有权，这也是 Pluralis 提出的解决方案。

Pluralis 提出的这种方法被称为 Protocol Models 。在这种模式下，计算资源提供者可以通过贡献计算能力来训练特定的开源模型，并因此获得该模型未来推理收入的部分所有权。由于这种所有权与具体的模型挂钩，并且其价值基于模型的推理收入，计算资源提供者会被激励选择最优的模型进行训练，而不会伪造训练数据（因为提供无用的训练会直接降低未来推理收入的预期价值）。然而，一个关键问题是：如果训练过程需要将模型的权重发送给计算提供者，Pluralis 如何确保所有权的安全性？答案在于使用“模型并行化”(Model Parallelism) 技术将模型分片分发给不同的工作者。神经网络的一个重要特性是：即使只了解模型权重中的极小一部分，计算者仍然可以参与训练，从而确保完整的权重集合无法被提取。此外，由于 Pluralis 平台上会同时训练许多不同的模型，训练者将面对大量不同的权重集合，这使得重建完整模型变得极其困难。

Protocol Models 的核心理念是：这些模型可以被训练、被使用，但无法从协议中被完整提取（除非使用的计算能力超过从零开始训练模型所需的资源）。这一机制解决了开源 AI 批评者经常提出的问题，即封闭的 AI 竞争者可能会盗用开源项目的劳动成果。

在文章的开头，我通过分析大科技公司对 AI 的控制，说明了封闭式 AI 在道德和规范层面上的问题。但在一个充满无力感的网络时代，我担心这样的论点可能难以引起大多数读者的共鸣。因此，我想从实际效果出发，提出两个理由，说明为什么由加密技术支持的开源 AI 能够真正带来更好的 AI。

首先，加密技术与开源 AI 的结合能够协调更多的资源，从而推动下一代基础模型 (Foundation Models) 的发展。 研究表明，无论是计算能力还是数据资源的增加，都有助于提升模型的性能，这也是为什么基础模型的规模一直在不断扩大的原因 。比特币为我们展示了开源软件结合加密技术在计算能力上的潜力。它已成为全球最大、最强大的计算网络，其规模 远远超过大科技公司所拥有的云计算资源 。加密技术的独特之处在于，它能够 将孤立的竞争转化为协作式竞争 。通过激励资源提供者贡献资源来解决共同问题，而不是各自为战并重复劳动，加密网络实现了资源的高效利用。借助加密技术的开源 AI 将能够利用全球的计算和数据资源，构建出规模远超封闭式 AI 的模型。例如， Hyperbolic 公司已经展示了这种模式的潜力。他们通过一个开放的市场，让任何人都可以以较低的成本租用 GPU，从而充分利用了分布式计算资源。

其次，加密技术与开源 AI 的结合将推动创新的加速。 这是因为一旦解决了资源问题，机器学习研究就可以回归其高度迭代和创新的开源本质。在基础大语言模型 (LLM) 出现之前，机器学习领域的研究者通常会公开发布他们的模型及其可复制的设计蓝图。这些模型通常使用开源数据集，计算需求也相对较低，因此研究者能够在这些基础上不断优化和创新。正是这种开放式的迭代过程，催生了序列建模领域的诸多突破，例如循环神经网络 (RNN)、长短期记忆网络 (LSTM) 和注意力机制 (Attention Mechanisms)，最终使得 Transformer 模型架构成为可能。然而，这种开放的研究方式在 GPT-3 推出后发生了变化。OpenAI 通过 GPT-3 和 ChatGPT 的成功证明，只要投入足够多的计算资源和数据，就可以训练出具备语言理解能力的大语言模型。这一趋势导致了资源门槛的急剧上升，使得学术界逐渐被排除在外，同时大科技公司为了保持竞争优势，也不再公开他们的模型架构。这种局面限制了我们在推动 AI 最前沿技术上的能力。

通过加密技术实现的开源 AI 可以改变这一现状。它能够让研究者再次对前沿模型进行迭代，从而发现“下一个 Transformer”。这种结合不仅能够解决资源问题，还能重新激活机器学习领域的创新活力，为 AI 的未来发展开辟更广阔的道路。