【AI垃圾王】2500元不到装一台AI服务器!双Radeon VII解锁vLLM张量并行,性能暴涨6倍碾压Ollama!_哔哩哔哩_bilibili
2400元预算挑战AI算力天花板!本期视频,我们解决了Radeon VII / MI50 等 gfx906 架构显卡长期以来无法使用 vLLM 张量并行的痛点!
我们将全程展示如何用两张“过气”Radeon VII显卡,搭配X99“洋垃圾”平台,组装一台总价仅2397元的AI算力服务器。通过社区大神 nlzy 提供的特制Docker容器,我们成功解锁了vLLM的张量并行功能,在Qwen3 32B量化模型上实现了98 tokens/s的并发推理速度,性能是Ollama的6倍以上!
视频最后,我们还将通过Open WebUI,实战演示8个用户同时访问这台服务器的流畅体验!
本期硬件配置清单 (总计: ~2397元)
显卡 (GPU): AMD Radeon VII 16GB x 2 (二手 ~1600元)
主板 (Motherboard): 精粤 X99M-PLUS (~300元)
处理器 (CPU): Intel Xeon E5-2680 v4 (56元)
内存 (RAM): 海力士 ECC REG DDR4 8GB x 4 (176元)
硬盘 (Storage): 512GB NVMe SSD (~150元)
电源 (PSU): 额定850W 金牌认证电源 (二手 115元)
【本期方案超详细文字版教程】
为了方便大家复现,我们已经把今天所有用到的命令、链接,以及一份超详细的文字版部署教程,全部整理好,放到了UP主的Gitee主页上!
直达链接:https://gitee.com/spoto/R7vllm
如果觉得本期视频对你有帮助,请务-务-务必 点赞、投币、收藏 三连支持一下UP主!你们的支持是我爆肝更新的最大动力!感谢大家!
欢迎来撩 : 汇总all
