刚接触本地大模型时,我犯过一个看似很蠢的错误:我的显卡有 12GB 显存,看到一个模型文件只有 8GB,心想”12 大于 8,肯定能跑”。结果一跑就卡成 PPT,查了半天才发现自己完全理解错了。
这篇文章就把我踩过的坑和最终沉淀下来的用法整理出来,给同样想在自己电脑上跑大模型的你。
为什么”显存大于模型文件”还不够这是新手最容易踩的直觉误区:模型文件的大小,不等于运行时占的显存。
跑模型时,...
动机上周写了 DeepSeek 系列文章,很多朋友问同一个问题:能不能在自己电脑上跑?答案是可以的——前提是选对模型、用对工具。
这篇文章以我身边的配置为基准——RTX 3060 12GB、Linux 系统——把整个流程走一遍,从硬件要求到实际运行,全部是实操细节,不是空谈。
硬件要求先给一个明确的对照表:
配置项
推荐值
最低值
备注
GPU
12GB 显存
4GB 显存
7B...
为什么要在本地跑 DeepSeekAPI 调用很方便,但有几个场景你必须考虑本地部署:
你有敏感数据,不能发送到外部服务器
你需要的 QPS 很高,API 成本超过了自建成本
你想做模型的二次开发或微调
你需要完全可控的部署环境
DeepSeek 的一个巨大优势是它的开源策略。V3、R1、V3.2、V4-Flash 都是 MIT 许可证——你可以自由使用、修改、分发,没有任何限制。相比之...