a16z「门徒」Kuzco 实操指南二:从单兵作战到集群部署

2024-11-28 17:04:02

撰文:J1N,Techub News

引言:Epoch One to Two

Kuzco 是一个专门服务 LLM 大语言模型算力挖矿网络,今年入选 a16z 于 9 月 9 日在纽约启动的 Crypto Startup Accelerator(CSX)秋季加速器计划,被该计划选中的项目会能获得 a16z 至少 50 万美元的投资,并会得到 a16z 运营团队的指导和支持。目前该加速器计划已结束。

11 月 16 日, Kuzco 宣布,第一期(Epoch One)激励计划将于 2024 年 11 月 18 日结束,所有操作将暂停,数据快照将永久存储,最终积分排名会公布在新排行榜上。

官方披露,Epoch One 从 2024 年 3 月 6 日推出,峰值设备数量超过 8000 台,该网络上运行 Meta 发布的 8B 规格的 Llama-3 AI 大语言模型,共计推理超过 1 万亿条 tokens。

并宣布在接下来的数周内公布融资信息和项目发展路线图,以及第二期(Epoch Two)激励计划将于 12 月 9 日开启, Epoch Two 将带来一些新特性,如更高的 NVIDIA 硬件的吞吐量与可靠性;鼓励用户接入顶尖算力设备如 A100 和 H100;支持更多的图像生成和多模态语言模型 VLM。

目前离 Epoch Two 开启还有半个月的准备时间,本文将探讨:

  • 分享个人挖矿的实践与成果,从单机到集群的转变。

  • 展示通过研究和实践获取融资,并搭建高规格机器的全过程。

  • 探讨硬件配置与项目需求的匹配性,并解答投资者常见疑问。

Epoch One 回顾:单兵作战 配置

笔者的配置清单包括 RTX 系列显卡 2060、2070S、3080、4060、4060Ti,以及 4 张 4070S 和 2 台苹果 M2、M3 设备。这些设备分布在几台主机、笔记本电脑以及一台专用矿机上。

成本

值得一提的是,这些显卡原本就是笔者以往每年按游戏需求购置的,并非专为挖矿购买。因此,计算成本时并未将硬件购置费用计入,仅统计矿机的实际电费成本。这里拿第一篇《 a16z「门徒」Kuzco 实操指南:如何高效地进行 AI 算力挖矿?》组装的矿机举例。

该矿机配置:

  • 主板:z490(后续换工业板)

  • CPU:10 代 I9

  • 显卡:2060、2070s、3080、4060ti、4070s

手搓矿机

下图为该矿机 10 月和 11 月消耗的电量,一共是 564 度,获得积分(KZO Point)约为 6 亿分。所有的机器加起来约为 11 亿分。具体的电费成本需要根据各位所在地的电费情况计算,这里仅提供参考。

#p#分页标题#e#

图最右,共获得 10 亿积分

筹备 Epoch Two:集群部署

基于笔者在第一篇文章中的分享,以及亲身参与设备组装、调试和环境部署的丰富运维经验,笔者成功争取到一定资金支持,并将其全部投入用于组装高性能矿机,以进一步提升算力规模和运营效率。

单兵手搓到集群部署

高规格机器的配置与选择逻辑

结合笔者在 Epoch One 中的实践经验,对主板、CPU、显卡、电源、平台以及网络配置进行了全面优化,选择了更适配的硬件组合,不仅提升了整体运行的稳定性、安全性和效率,还在硬件选择上更注重二手市场的流通性。这一策略能够有效降低的实际投入成本,为后续参与者提供更高的性价比选择。

主板

笔者选择工业主板而非主流的 B85,主要基于性能、稳定性和性价比的综合考量。

性能方面,运行 Kuzco 的 Llama-3 模型需要启动多个 Docker 进程,而并行运行这些进程会占用大量 CPU 资源,对 CPU 的性能要求较高,而 B85 所兼容的 CPU 无法满足这一需求。

此外,工业主板在长时间稳定运行、耐高温性能以及厂家保修方面具备明显优势,同时在二手市场上的流通性更强,因此无疑是最优选择。

显卡

笔者选择使用 4070S 作为主力显卡,主要基于以下几点:

AI 运算性能的优势:相较于 30 系显卡,40 系显卡在 AI 运算中的性能提升远大于在游戏性能

声明:投资有风险,入市须谨慎。本资讯不作为投资建议。
本文链接: - 链补手