企业级大模型部署
视频介绍
本套教程是真正的企业级大模型部署方案，涉及的工具或平台皆为主流应用，采用原始直观的方式，带你一步步搭建企业级大模型应用环境，在Docker中部署Dify，访问AutoDL服务器的Ollama、Xinference平台的大语言模型、嵌入模型和重排序模型。
教程内容涵盖：基于腾讯云和AutoDL服务器部署，汇集大模型最热门的Ollama和Xinference平台，整合了Qwen、Deepseek、GPT、Embedding和Rerank等业内主流的多个大模型；所有模型都通过部署在Docker中的Dify平台进行统一调用；讲解了3个实战级的大模型应用案例（聊天助手、旅游顾问、法律知识库），涉及当下大模型热门的Agent开发、企业级私有知识库相关的RAG开发等。
视频目录 选集
- 01_课程概述与亮点
- 02_企业级大模型的整体部署方案
- 03_部署方案中的4个核心问题
- 04_基于RAG架构的开发流程
- 05_基于Agent架构的5个核心要素
- 06_主线1：腾讯云服务器的配置
- 07_主线1：腾讯云上部署Docker
- 08_主线1：Docker中部署Dify
- 09_主线1：Dify中部署线上大模型
- 10_主线2：AutoDL上配置Ollama的服务器
- 11_主线2：AutoDL上部署Ollama并启动
- 12_主线2：Ollama下部署Qwen3大模型
- 13_主线2：Dify打通Ollama服务器隧道并访问Qwen3
- 14_主线3：AutoDL服务器上部署Xinference
- 15_主线3：Xinference平台下载嵌入_重排序模型
- 16_主线3：Dify打通Xinference服务器隧道并部署嵌入_重排序模型
- 17_AutoDL服务器关机后如何重新建立连接
- 18_大模型应用1：聊天助手
- 19_大模型应用2：旅游顾问智能体
- 20_大模型应用3：法律助手（含RAG）