https://zhi1.work/blog/tags/%E5%A4%A7%E6%A8%A1%E5%9E%8B/ Recent content in 大模型 on 执一 · 博客 Hugo -- gohugo.io zh-CN Mon, 15 Jun 2026 00:00:00 +0000 https://zhi1.work/blog/posts/4060-cluster/ Mon, 15 Jun 2026 00:00:00 +0000 https://zhi1.work/blog/posts/4060-cluster/ 硬件概览 机房 30 台 RTX 4060（8GB 显存），千兆交换机互联。 核心矛盾 消费级 GPU 没有 NVLink，单卡 8GB 显存跑不动 7B 以上模型。需要在显存-带宽双重约束下找到最优解。 技术路线 量化策略 Q4_K_M 是主流精度/速度平衡点 IQ3_XXS 在 3-bit 级别精度最高 目标：7B 模型在 8GB 显存中跑 8K 上下文 分布式推理 llama.cpp RPC 后端支持层切分 Decode 阶段跨机通信量仅 8KB/token 3-4 台 4060 可运行 27B Q4 模型 FPGA 加速 Zynq 7020 做激活压缩中间件 delta 编码 + 4-bit 量化 传输量可压缩到 1/5-1/10 参考 详见 /course/集群方案/