最近组里安排了点调研Dify任务。我跟着基于Docker+DeepSeek+Dify :搭建企业级本地私有化知识库超详细教程一步一步走,前面都挺顺利,但在Dify的Ollama中引入大模型这一步卡住了:按照原文,我添加了本地安装的deepseek-r1:1.5b,点击“保存”,提示“保存成功”但模型列表却是空的。
我摸索了半天,改了一通配置终于搞定,其中关键的一步配置在CXXN上看到了一些蛛丝马迹,但CXXN搞的付费订阅非常恶心,我从其他渠道弄明白以后,总结了一下自己做的操作,共享出来。
假定你已经在Windows环境完成了Docker安装、Dify镜像的下载和启动、Ollama的本地安装,要在Dify里的Ollama插件添加大模型:
先把Dify镜像停掉:去dify/docker目录下执行
docker-compose down
可以看到关联的镜像状态都是Removed
编辑dify/docker/docker-compose.yaml,在environment
部分增加
PYTHON_ENV_INIT_TIMEOUT: 600 # 延长超时时间(默认值较低可能导致安装超时)
PIP_MIRROR_URL: "https://pypi.tuna.tsinghua.edu.cn/simple" # 替换为国内镜像源加速依赖安装
重启dify
docker-compose up -d
先看下Docker的日志,出现了一些相关的信息:
等到Ollama安装完成时,再回到Dify的Ollama添加大模型,发现之前保存的模型都出现,可以继续下一步了,Good Job!
在排查过程中,我还做了一些其他配置变更,关系应该不大但是还是记录下,便于后续查阅。
Windows/Mac是默认支持的,Linux需要一些配置。进入Dify运行中的镜像,执行curl http://host.docker.internal:11434
确认。还可以执行curl http://host.docker.internal:11434/api/tags
确认ollama已安装的模型。
Windows确定它在运行即可,如果在运行就不需要再次执行。
没必要。Ollama的版本号遵循语义化版本规范,看上去比较跳跃:如1.6.0 → 0.15.8 → 1.4.1,某些博文提到添加模型不成功可以通过降低版本到0.15.x来解决。但我在最新的1.6.0通过上文中的配置也解决了这个问题。
也许不是必须的,但是在我之前的尝试里已经添加过了:OLLAMA_HOST:0.0.0.0
、OLLAMA_ORIGING:*
配置变更后一般都要重启一下。这步不是在Docker Desktop,而是在Dify目录下,cmd中分别执行:
docker-compose down
docker-compose up -d
没有任何影响。实际上当你配置好LLM和TEXT EMBEDDING两种模型后,这个提示就会消失。
为了便于查阅和后续的复用,我简单总结了一下整个流程。完整版可以看基于Docker+DeepSeek+Dify :搭建企业级本地私有化知识库超详细教程
Engine running
docker pull hello-world
ollama run deepseek-r1:1.5b
开始下载OLLAMA_HOST:0.0.0.0
、OLLAMA_ORIGING:*
,需重启Ollamadocker-compose up -d
,完成后在docker中确认镜像都在运行中http://host.docker.internal:11434
。如果添加提示成功但仍然没有模型,参考正文的解决方法。
作者:五岳
出处:http://www.cnblogs.com/wuyuegb2312
对于标题未标注为“转载”的文章均为原创,其版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
参与评论
手机查看
返回顶部