DeepSeek 是一系列开源大模型,包括 DeepSeek LLM(通用大语言模型)DeepSeek Coder(代码专用模型),由 DeepSeek AI 研发。它们基于 Transformer 架构,类似 GPT-4、Llama 2/3,支持 自然语言理解、代码生成、编程助手等任务

DeepSeek 各版本最低需求

DeepSeek 版本

参数量

显存 (VRAM)

内存 (RAM)

存储 (磁盘)

适用设备

DeepSeek Coder 1.3B

13 亿

4GB+

8GB+

2GB

普通 PC、NAS

DeepSeek Coder 6.7B

67 亿

8GB+

16GB+

10GB+

中端 PC、NAS

DeepSeek Coder 14B

140 亿

24GB+

32GB+

30GB+

高端 PC/服务器

DeepSeek LLM 7B

70 亿

16GB+

16GB+

10GB+

AI PC / RTX 4090

DeepSeek LLM 67B

670 亿

48GB+

64GB+

100GB+

A100 / H100

安装Ollama

使用docker安装Ollama

docker pull ollama/ollama

运行Ollama容器

docker run -d --name ollama \
  -p 11434:11434 \
  -v /volume1/docker/ollama:/root/.ollama \
  --restart unless-stopped \
  ollama/ollama

下载DeepSeek

在Ollama中下载deepseek

docker exec -it ollama ollama pull deepseek-coder

如果想下载6.7b版本,使用如下命令

docker exec -it ollama ollama pull deepseek-coder:6.7b

运行DeepSeek并且测试

运行DeepSeek

docker exec -it ollama ollama run deepseek-coder