博客/大模型

大模型

大模型私有化部署与本地环境:Ollama、Xinference、Dify、Qdrant 的安装与调优,Embedding、Rerank 落地实践。

共 7 篇
全部文章共 7 篇
大模型

企业级大模型私有化部署(四):Xinference 部署 Embedding 与 Rerank

装 Xinference、部署 bge-large-zh-v1.5 和 reranker,再通过 6007 隧道接进 Dify,补 xoscar 兼容问题。

2026-10-12 · 9 分钟阅读 16点赞 0评论 0
大模型

企业级大模型私有化部署(三):AutoDL + Ollama 部署 qwen3:4b

租 4090、开学术加速、装 Ollama、跑 qwen3:4b,再用 SSH 隧道把模型接进 Dify。

2026-10-11 · 9 分钟阅读 16点赞 0评论 0
大模型

企业级大模型私有化部署(二):腾讯云 + Docker 起 Dify

从腾讯云 CVM 选型、装 Docker、拉 Dify 源码到首次设置管理员,附镜像、端口和常见报错。

2026-10-10 · 10 分钟阅读 19点赞 0评论 0
大模型

企业级大模型私有化部署(一):RAG、Agent 与三台服务器

企业为什么要私有化、RAG 和 Agent 两个场景怎么落到模型服务,以及 Dify、Ollama、Xinference 三台服务器怎么分工。

2026-10-09 · 7 分钟阅读 19点赞 0评论 0
大模型

Dify 本地化部署指南(全平台):Docker Compose 一键拉起

Dify 是目前用得比较多的开源 LLM 应用开发平台,但官方文档主要讲「怎么用」,部署这一步散在各处。这篇把全平台的本地化部署过程整理成一条线:环境检查 → 依赖安装(Windows / Linux / macOS)→ 启动 Dify → 验证 → 配置模型供应商 → 日常维护

2026-10-08 · 19 分钟阅读 0点赞 0评论 0
大模型

Windows 原生部署 Qdrant 完整教程(无 Docker 环境)

Qdrant 官方文档主推 Docker 部署,但如果你的机器上既没装 Docker 也没启用 WSL,怎么办?答案是跑官方提供的 Windows 原生二进制——解压即用,不依赖任何额外运行时。 这篇把整个过程从头写一遍:下载、目录规划、配置、开机自启、自己构

2026-10-01 · 18 分钟阅读 19点赞 0评论 0
大模型

4GB 显存跑通本地大模型:Ollama + Qdrant 环境搭建完整教程

如果你想在一台没有独立显卡(或者只有一张老显卡)的机器上,跑通一套**完全离线**的「文档问答」环境——本地把文字转成向量、本地存起来、本地检索、本地生成回答,不调用任何在线大模型服务——这篇文章把整个过程从头到尾写了一遍。 实测机器:i5-10400F +

2026-09-30 · 24 分钟阅读 18点赞 0评论 0