经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » 人工智能基础 » 查看文章
本地搭建DeepSeek和知识库 Dify做智能体Agent(推荐)
来源:cnblogs  作者:Robots2  时间:2025/2/20 10:47:52  对本文有异议

一、基础信息

1、硬件环境:

CPU >= 2 Core

显存/RAM ≥ 16 GiB(推荐)

2、软件

(1)Ollama

Ollama 是一款跨平台的大模型管理客户端(MacOS、Windows、Linux),旨在无缝部署大型语言模型 (LLM),例如 DeepSeek、Llama、Mistral 等。Ollama 提供大模型一键部署,所有使用数据均会保存在本地机器内,提供全方面的数据隐私和安全性。

(2)Dify

Dify 作为同样开源的 AI 应用开发平台,提供完整的私有化部署方案。通过将本地部署的 DeepSeek 服务无缝集成到 Dify 平台,企业可以在确保数据隐私的前提下,在本地服务器环境内构建功能强大的 AI 应用。

(3)docker

需要使用docker拉取镜像并运行,简化部署逻辑

二、部署DeepSeek-R1

1、部署Ollama

(1)打开官网

https://ollama.com/

(2)下载对应系统的Ollama

(3)安装

 

(4)验证--终端执行

ollama -v

2、使用ollama安装DeepSeek-r1模型

(1)ollama安装DeepSeek模型

        ollama run deepseek-r1:7b

        越狱版-放飞自我:ollama run huihui_ai/deepseek-r1-abliterated:7b

        注:根据本机配置,选择合适的DeepSeek模型进行部署。本机推荐安装 7B 尺寸模型,大约需要拉取4.7GB数据,可以在ollama官网搜索模型,查看模型大小

(2)安装后验证

安装完成,直接输入问题即可,可以看到回复信息

三、部署Dify社区版

1、下载代码

(1)git方式下载

git clone https://github.com/langgenius/dify.git

(2)web方式下载

打开链接:https://github.com/langgenius/dify.git

2、进入目录

cd dify/docker

3、复制配置文件

cp .env.example .env

4、docker配置代理(已配置的话可以忽略该步骤)

  1. 内容如下:
  2. "registry-mirrors": [
  3. "https://dockerpull.org",
  4. "https://docker.1panel.dev",
  5. "https://docker.foreverlink.love",
  6. "https://docker.fxxk.dedyn.io",
  7. "https://docker.xn--6oq72ry9d5zx.cn",
  8. "https://docker.zhai.cm",
  9. "https://docker.5z5f.com",
  10. "https://a.ussh.net",
  11. "https://docker.cloudlayer.icu",
  12. "https://hub.littlediary.cn",
  13. "https://hub.crdz.gq",
  14. "https://docker.unsee.tech",
  15. "https://docker.kejilion.pro",
  16. "https://registry.dockermirror.com",
  17. "https://hub.rat.dev",
  18. "https://dhub.kubesre.xyz",
  19. "https://docker.nastool.de",
  20. "https://docker.udayun.com",
  21. "https://docker.rainbond.cc",
  22. "https://hub.geekery.cn",
  23. "https://docker.1panelproxy.com",
  24. "https://atomhub.openatom.cn",
  25. "https://docker.m.daocloud.io",
  26. "https://docker.1ms.run",
  27. "https://docker.linkedbus.com"
  28. ]

5、使用docker拉取镜像并运行

docker compose up -d

 

四、设置 DeepSeek 接入至 Dify

1、浏览器打开dify,初始化管理员信息

http://127.0.0.1

2、设置模型

右上角头像==》设置==》模型供应商==》Ollama

3、设置模型信息

模型名称:deepseek-r1:7b

基础url:http://本机ip:11434

最大token:32768

注:容器部署dify的话:地址写host.docker.internal或本机ip,不能用127.0.0.1

4、创建知识库

通过拖拽文件上传,或者抓取网页内容方式获取数据

5、创建Agent智能体

 

 

 

 

 

 

 

 

 

 

参考文章:

1、在MAC系统下安装Docker、Dify以及docker镜像加速

https://cloud.tencent.com/developer/article/2478585

2、本地搭建Dify

https://blog.csdn.net/piaoxue820/article/details/138191528

3、接入 Ollama 部署的本地模型

https://docs.dify.ai/zh-hans/development/models-integration/ollama

4、越狱版-无审查无限制

https://www.freedidi.com/18431.html

5、Cherry Studio调用模型

https://ai-bot.cn/ai-tutorials-deepseek-local-deployment/

原文链接:https://www.cnblogs.com/robots2/p/18707552

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号