创业思考博客

本地跑大模型:Ollama 入门与常用命令

刚接触本地大模型时,我犯过一个看似很蠢的错误:我的显卡有 12GB 显存,看到一个模型文件只有 8GB,心想”12 大于 8,肯定能跑”。结果一跑就卡成 PPT,查了半天才发现自己完全理解错了。 这篇文章就把我踩过的坑和最终沉淀下来的用法整理出来,给同样想在自己电脑上跑大模型的你。 为什么”显存大于模型文件”还不够这是新手最容易踩的直觉误区:模型文件的大小,不等于运行时占的显存。 跑模型时,...

DeepSeek R1 本地部署实操指南:RTX 3060 12GB + Ollama 全流程

动机上周写了 DeepSeek 系列文章,很多朋友问同一个问题:能不能在自己电脑上跑?答案是可以的——前提是选对模型、用对工具。 这篇文章以我身边的配置为基准——RTX 3060 12GB、Linux 系统——把整个流程走一遍,从硬件要求到实际运行,全部是实操细节,不是空谈。 硬件要求先给一个明确的对照表: 配置项 推荐值 最低值 备注 GPU 12GB 显存 4GB 显存 7B...

DeepSeek 本地部署实战:从 RTX 3060 到多卡集群的完整方案

为什么要在本地跑 DeepSeekAPI 调用很方便,但有几个场景你必须考虑本地部署: 你有敏感数据,不能发送到外部服务器 你需要的 QPS 很高,API 成本超过了自建成本 你想做模型的二次开发或微调 你需要完全可控的部署环境 DeepSeek 的一个巨大优势是它的开源策略。V3、R1、V3.2、V4-Flash 都是 MIT 许可证——你可以自由使用、修改、分发,没有任何限制。相比之...