AI 大模型实践随笔
DeepSeek 资源平台
在线访问方式
- 截止 2025 年 2 月份,DeepSeek 在线访问(Web)方式有以下几种:

API 访问方式
- 截止 2025 年 2 月份,DeepSeek API 访问方式有以下几种:

大模型本地部署工具
底层推理引擎:负责大模型计算和硬件加速
- llama.cpp:使用 C/C++ 编写的轻量级大模型推理引擎,支持 GGUF 模型、CPU 推理以及 CUDA、Metal、Vulkan 等硬件加速,同时提供 HTTP Server,可以将本地模型封装成兼容 OpenAI API 的服务,适合希望深入研究 C++ 推理引擎的开发者。
- KoboldCpp:基于 llama.cpp 开发的本地大模型运行工具,将推理引擎、模型加载和 Web UI 集成在一个可执行程序中,支持 GGUF 模型,适合 Windows 用户快速部署本地大模型。
- llamafile:Mozilla.ai 推出的项目,将大模型和推理运行环境打包成可执行文件,尽量实现单文件分发和运行,支持 Windows、Linux、macOS 等平台,适合追求便携部署的用户。
大模型管理与本地部署:负责大模型下载、加载和运行
- Ollama:开源的本地大模型管理与运行工具,支持通过命令行和桌面端管理大模型,可以方便地下载、运行和管理本地大语言模型。支持 Windows、macOS 和 Linux,并提供 REST API,方便其他 AI 应用接入。
- LM Studio:与 Ollama 定位最接近的桌面端替代品,提供完整的图形界面,模型搜索、下载、加载和对话都可以通过点击完成。支持 GGUF 模型,并提供兼容 OpenAI API 的本地服务接口。需要注意,它的桌面应用不是开源软件。
- Jan:主打本地运行和隐私保护的开源桌面客户端,定位是 ChatGPT 的本地替代品。支持 Windows、macOS 和 Linux,提供大模型管理、聊天界面以及本地 API 服务。
- GPT4All:Nomic 推出的开源本地大模型运行工具,提供桌面图形界面,支持下载和运行本地大模型,还提供 LocalDocs 功能,可以导入本地文档并进行知识库问答。
- MLX-LM:Apple 推出的基于 MLX 框架的大模型运行工具,专门针对 Apple Silicon 芯片优化,支持大模型推理、微调和量化,适合 Mac 用户。
- Docker Model Runner:Docker 官方推出的本地大模型运行工具,将大模型管理与 Docker 容器生态结合,支持通过容器化方式运行和管理大模型,并提供 API 接口,适合已经使用 Docker 的开发者。
前端 UI 与交互平台:负责为大模型提供 Web 或桌面图形界面
- Open WebUI:开源的自托管 AI Web 界面,支持连接 Ollama 和其他兼容 OpenAI API 的大模型服务。提供类似 ChatGPT 的网页交互体验,支持多用户管理、知识库和文档问答。需要注意,它主要是前端交互平台,本身并不是底层模型推理引擎。
- AnythingLLM:集成大模型对话、RAG 知识库和 AI Agent 的开源工具,支持桌面端和 Docker 部署。可以接入 Ollama、LM Studio 等本地大模型服务,适合搭建个人知识库和企业内部 AI 助手。
- Text Generation WebUI:功能丰富的开源本地大模型 Web UI,支持多种模型加载方式和推理后端,包括 Transformers、llama.cpp 等,适合需要灵活调整模型参数和扩展功能的用户。
大模型服务与 API 接口:负责将大模型封装为 API 服务供其他应用调用
- LocalAI:开源的本地 AI 推理服务,提供兼容 OpenAI API 的接口,可以在本地或服务器上运行大语言模型,同时支持图像生成、语音处理和向量嵌入等功能,适合开发者搭建统一的本地 AI 服务。
- Xinference:开源的分布式模型推理平台,支持大语言模型、多模态模型、Embedding 和语音模型等多种模型类型。提供兼容 OpenAI API 的统一接口,支持通过 Web UI 管理模型部署,并可使用 llama.cpp、vLLM 等推理后端,适合个人本地部署和企业级模型服务。
- LiteLLM:开源的 LLM API 网关,支持统一接入 OpenAI、Anthropic、Gemini、Azure、vLLM 等多种模型服务,提供统一 API 接口,以及密钥管理、调用限额、成本统计、负载均衡等功能。适合构建统一的大模型 API 网关。需要注意,它主要负责 API 统一封装和路由,本身不负责底层模型推理。
- LMDeploy:由上海人工智能实验室推出的大模型压缩、推理和部署工具,提供 TurboMind 和 PyTorch 等推理后端,支持模型量化、推理加速以及 OpenAI 兼容 API 服务,适合 NVIDIA GPU 环境下的模型部署。
企业级推理与性能优化:面向高并发和大规模模型部署
- vLLM:高性能大语言模型推理和服务框架,采用 PagedAttention、连续批处理等技术,提高 GPU 显存利用率和并发请求吞吐量。提供兼容 OpenAI API 的 HTTP 服务接口,适合企业级模型部署和高并发场景。
- SGLang:面向大语言模型和多模态模型的高性能推理框架,支持 RadixAttention、连续批处理等优化技术,提供 OpenAI 兼容 API 服务,适合高并发推理、复杂 Agent 工作流和生产级模型服务。
- TensorRT-LLM:NVIDIA 推出的高性能大模型推理框架,深度结合 CUDA 和 TensorRT,对 NVIDIA GPU 进行推理优化,适合追求 GPU 推理性能的企业级部署场景。
- DeepSpeed-MII:微软 DeepSpeed 生态中的大模型推理组件,面向大模型推理优化,提供模型并行、量化和推理加速等能力,适合研究和部署大规模模型的开发者。
大模型学习建议
如果主要目的是学习 AI 编程、本地部署大模型,以及为自己的 C++、Java 项目提供大模型 API 接口,建议重点关注 Ollama、LM Studio、llama.cpp、LocalAI 和 vLLM。这几个项目基本覆盖了从个人本地运行、底层推理引擎到企业级推理服务的主要技术方向。
