律师用8张二手V100搭本地AI服务器:256GB显存本地跑DeepSeek,敏感数据不出办公室

美国一位民事诉讼律师Nick Mermiges最近在Reddit r/homelab版块晒出了一台”特殊”的本地AI服务器:8张2018年的二手Nvidia Tesla V100加速卡,两块4卡NVLink板,总计256GB显存,专门用来在本地跑大模型,让客户案件材料”一步都不出办公室”。该帖被Tom’s Hardware等科技媒体报道后迅速走红,相关话题也登上知乎热榜引发热议。

律师自建本地AI服务器

为什么律师要自建本地AI服务器?

原因只有一个词:保密。律师的客户文件涉及隐私与机密,不能随便上传到云端聊天机器人。Mermiges希望所有数据处理都在自有硬件上完成,因此收来8张二手V100-SXM2(单卡32GB显存),通过两块SXM2板卡以NVLink互联,再经PCIe交换芯片接入主机,组成了这套数千瓦功耗的”本地算力中心”。

事实上,本地部署开源大模型这两年越来越流行,感兴趣的可以先看看AI大模型资讯。

本地AI服务器架构示意

256GB显存能跑什么?

这套配置可以流畅运行DeepSeek等开源大模型,实测代码生成速度约每秒215 tokens、法律文书写作约每秒118 tokens。Mermiges表示,目前约50%-60%的大模型工作流已经迁移到本地,日常用来自动提取案件材料中的事实、日期与数字,摘要卷宗,起草常规法律文书,所有输出仍会经过人工复核。

硬件成本方面,两块SXM2板卡单价约2400美元,二手V100显卡的价格也远低于新卡——用二手服务器硬件攒一台能跑70B级大模型的机器,是不少极客玩家的性价比之选。想了解更多实用AI工具,可以逛逛AI工具推荐。

常见问题(FAQ)

本地AI服务器把模型部署在自有硬件上,提示词和文档不出设备,数据完全由自己掌控;云端AI虽然方便,但敏感数据需要上传到第三方服务器。

8张V100-SXM2 32GB合计256GB显存,可流畅运行DeepSeek、Llama 3 70B等开源大模型,支持RAG知识库检索和微调训练。

如果只是日常问答,云端工具更划算;涉及机密数据、长期高频推理的场景才值得考虑自建。二手V100装机方案成本可控制在万元级,但功耗、噪音和散热都需要额外投入。

© 版权声明

相关文章

暂无评论

none
暂无评论...