帮助文档

外观

DeepSeek-R1蒸馏模型部署与使用 ​

模型简介 ​

近期，DeepSeek发布了王炸级产品DeepSeek-R1，并同步开源模型权重。

性能对齐OpenAI-o1正式版：DeepSeek-R1 在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版。

1

蒸馏小模型超越 OpenAI o1-mini：DeepSeek在开源 DeepSeek-R1-Zero 和 DeepSeek-R1 两个 660B 模型的同时，通过 DeepSeek-R1 的输出，蒸馏了 6 个小模型开源给社区，其中 32B 和 70B 模型在多项能力上实现了对标 OpenAI o1-mini 的效果。

2

部署教程 ​

丹摩平台现已同步支持DeepSeek-R1开箱即用镜像部署

模型参数规模推理推荐配置公开数据路径
DeepSeek-R1（敬请期待）671B--
DeepSeek-R1-Distill-Llama-70B70B4090×2或L40s×1/root/public-storage/model/DeepSeek-R1-Distill-Llama-70B
DeepSeek-R1-Distill-Qwen-32B32B4090×*1/root/public-storage/model/DeepSeek-R1-Distill-Qwen-32B
DeepSeek-R1-Distill-Qwen-14B14B4090×1/root/public-storage/model/DeepSeek-R1-Distill-Qwen-14B
DeepSeek-R1-Distill-Llama-8B8B4090×1/root/public-storage/model/DeepSeek-R1-Distill-Llama-8B
DeepSeek-R1-Distill-Qwen-7B7B4090×1/root/public-storage/model/DeepSeek-R1-Distill-Qwen-7B
DeepSeek-R1-Distill-Qwen-1.5B1.5B3090×1/root/public-storage/model/DeepSeek-R1-Distill-Llama-1.5B

进入控制台-GPU云实例，点击创建实例：

image-20240813133929171

进入创建页面后，首先在实例配置中选择付费类型，一般短期需求可以选择按量付费或者包日，长期需求可以选择包月套餐；

其次选择GPU数量和需求的GPU型号，首次创建实例推荐选择：

  • 按量付费
  • GPU数量1
  • NVIDIA-GeForce-RTX-4090：该配置为124GB内存，24GB的显存

接下来配置数据硬盘的大小，每个实例默认附带了50GB的数据硬盘，使用默认大小即可。

image-20240814171213054

继续选择安装的镜像，请选择DeepSeekR1-Ollama镜像，此镜像支持所有DeepSeekR1蒸馏模型基于Ollama进行推理，请参考上文配置推荐依据您想使用的模型选择GPU配置。

image-20250207155140659

使用教程 ​

网页使用 ​

快速开始 ​

实例状态进入「运行中」后，点击「实例服务—更多—Open-WebUI」，启动open-webui界面。

image-20250207162530700

点击「开始使用」。

image-20250207163554097

接着填入注册信息完成注册，首个注册的账号会成为超级管理员。

image-20250207163646904

注册完成后即可体验。

image-20250207164302890

常见问题 ​

  1. 如果您需要与您的朋友共同使用open-webui，请您前往「管理员面板-设置-通用-允许新用户注册」并开启，默认用户角色按需设置。然后前往「管理员面板-设置-模型」设置模型可见性。
  2. 更多操作介绍请您参考open-webui官方文档：https://docs.openwebui.com/

客户端使用 ​

实例状态进入「运行中」后，点击「实例服务—更多—Ollama」。

image-20250207165825413

如果打开的网页显示：Ollama is running 表示服务可用，请您复制网页链接，如：http://cu***************0-11434.agent.damodel.com/。此链接为Ollama服务的API地址，接下来需要在客户端中配置。

下面依据两款热门本地LLM客户端工具演示配置方法，其他工具配置方法大体相同。

ChatBox（暂不支持网页端） ​

Chatbox AI是一款 AI 客户端应用和智能助手，支持众多先进的 AI 模型和 API，可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

点击左下角「设置」

image-20250207170335107

选择标签页「模型」：

  • 「模型提供方」选择「OLLAMA API」
  • 「API域名」填入刚刚复制的Ollama API地址（注意需填写http地址）
  • 「模型」在API地址填入后会自动加载支持的模型，您依据您的实例配置自行选择
  • 其余选项采用默认值即可

点击保存。

image-20250207170516628

保存后即可使用模型推理，更多操作教程详见ChatBox帮助中心。

image-20250207170807223

CherryStudio ​

CherryStudio支持多服务商集成的AI对话客户端，目前支持市面上绝大多数服务商的集成，并且支持多服务商的模型统一调度。

点击左下角「设置」

image-20250207171319776

进入「模型服务-Ollama」：

  • 「Ollama」开启
  • 「API地址」填入刚刚复制的Ollama API地址（注意需填写http地址）
  • 「模型」点击管理，在API地址填入后会自动加载支持的模型，您依据您的实例配置自行选择
  • 其余选项采用默认值即可

image-20250207171819208

image-20250207172000394

返回「对话」页面，点击上方「当前模型」按钮，选择刚刚配置的模型，即可开始对话体验。更多操作教程详见CherryStudio文档中心。

image-20250207172112594