目 录CONTENT

文章目录

本地部署DeepSeek

过客
2025-02-23 / 0 评论 / 0 点赞 / 61 阅读 / 0 字

前言

最近DeepSeek很火,官网版本的时不时会出现服务器忙的状态,很多人就想部署本地版本。本地版本部署起来没什么技术含量,别人大模型已经封装好了几步就可以搞定了,这里拼的是硬件实力。对于DeepSeek除了671B满血版本外,其他的版本都只阉割的,不论是深度还是精度都不是你想要的那个DeepSeek。所以,除671B版本外,其他的只是用来个人试验玩玩而已。重要的事说三遍,不要被网上的忽悠了,除了671满血版本外,其他版本只适合个人试验玩玩

DeepSeek 不同版本模型硬件要求

模型版本 参数量 显存需求(FP16) 推荐 GPU(单卡) 多卡支持 量化支持 适用场景
DeepSeek-R1-1.5B 15亿 3GB GTX 1650(4GB显存) 无需 支持 低资源设备部署(树莓派、旧款笔记本)、实时文本生成、嵌入式系统
DeepSeek-R1-7B 70亿 14GB RTX 3070/4060(8GB显存) 可选 支持 中等复杂度任务(文本摘要、翻译)、轻量级多轮对话系统
DeepSeek-R1-8B 80亿 16GB RTX 4070(12GB显存) 可选 支持 需更高精度的轻量级任务(代码生成、逻辑推理)
DeepSeek-R1-14B 140亿 32GB RTX 4090/A5000(16GB显存) 推荐 支持 企业级复杂任务(合同分析、报告生成)、长文本理解与生成
DeepSeek-R1-32B 320亿 64GB A100 40GB(24GB显存) 推荐 支持 高精度专业领域任务(医疗/法律咨询)、多模态任务预处理
DeepSeek-R1-70B 700亿 140GB 2x A100 80GB/4x RTX 4090(多卡并行) 必需 支持 科研机构/大型企业(金融预测、大规模数据分析)、高复杂度生成任务
DeepSeek-671B 6710亿 512GB+(单卡显存需求极高,通常需要多节点分布式训练) 8x A100/H100(服务器集群) 必需 支持 国家级/超大规模 AI 研究(气候建模、基因组分析)、通用人工智能(AGI)探索

部署

1. 安装Ollama

2. 安装DeepSeek

DeepSeek版本可以在这里查看:https://ollama.com/library/deepseek-r1

根据自己的硬件配置,安装对应的版本。这里以7B版本为例,不同的版本把后面的7b替换一下就可以了。

在命令行中输入

ollama run deepseek-r1:7b

漫长的等待,等看到success字样时说明已经安装完成,可以直接进行对话了。

0
  1. 支付宝打赏

    qrcode alipay
  2. 微信打赏

    qrcode weixin

评论区