创业思考博客

本地跑大模型:Ollama 入门与常用命令

刚接触本地大模型时,我犯过一个看似很蠢的错误:我的显卡有 12GB 显存,看到一个模型文件只有 8GB,心想”12 大于 8,肯定能跑”。结果一跑就卡成 PPT,查了半天才发现自己完全理解错了。 这篇文章就把我踩过的坑和最终沉淀下来的用法整理出来,给同样想在自己电脑上跑大模型的你。 为什么”显存大于模型文件”还不够这是新手最容易踩的直觉误区:模型文件的大小,不等于运行时占的显存。 跑模型时,...

DeepSeek R1 本地部署实操指南:RTX 3060 12GB + Ollama 全流程

动机上周写了 DeepSeek 系列文章,很多朋友问同一个问题:能不能在自己电脑上跑?答案是可以的——前提是选对模型、用对工具。 这篇文章以我身边的配置为基准——RTX 3060 12GB、Linux 系统——把整个流程走一遍,从硬件要求到实际运行,全部是实操细节,不是空谈。 硬件要求先给一个明确的对照表: 配置项 推荐值 最低值 备注 GPU 12GB 显存 4GB 显存 7B...