LocalAI 是开源的自托管 AI 运行时，用 OpenAI 兼容接口把模型搬回自己的机器，后端按需加载、无显卡也能跑，还能扩展到多机集群，适合想做本地私有化部署的开发者。

把操作系统管理内存的分页机制搬进显存，vLLM 用 PagedAttention 让 KV Cache 利用率从三四成提升到九成以上，同一块 GPU 并发翻倍——再加上 OpenAI 兼容 API 与连续批处理，自建大模型服务从实验走向生产就靠它。

内置 MLX 与 llama.cpp 引擎一键跑本地模型，12+ 云端提供商随时接入，对话中途换模型不用换窗口——Split Chats 把模型对比变成并排聊天，知识栈把 RAG 压缩成拖入即问。

把 PDF、Word、CSV 拖进工作区，就能得到一位读过你全部资料的 AI 助手——每条回答带引用标注，模型、向量库、存储全部默认本地运行。MIT 开源的 AnythingLLM 让私有 AI 工作台真正数据不出机。

纯 C/C++、零依赖的 llama.cpp 定义了 GGUF 量化格式，让没有显卡的电脑也能跑本地大模型。CUDA、Metal、Vulkan 全后端覆盖，llama-server 提供 OpenAI 兼容 API，是 Ollama 与 LM Studio 身后的那台引擎。

不需要显卡、不需要账号、不需要命令行：MIT 开源的 GPT4All 让普通电脑用 CPU 就能跑本地大模型，LocalDocs 把私有文档问答变成一个勾选项，数据全程不出本机。

一款 Apache 2.0 开源的本地 AI 助手：模型下载后断网照常对话，数据不出本机，代码全部公开可查，还能接云端模型、开本地 API、连 MCP 工具。

不用碰终端，点几下就能在本地跑开源大模型：Hugging Face 模型浏览器、类 ChatGPT 聊天界面、OpenAI 兼容 API 一站配齐，个人与商用全免费，数据不出本机。

一行命令就能在本地跑起 Llama、Qwen、DeepSeek 等开源大模型：MIT 开源、数据不出本机、OpenAI 兼容 API，让本地推理无缝接进你的编辑器与工作流。

一个约 5MB 的开源客户端，把 GPT、Claude、Gemini、DeepSeek 装进同一个对话窗口：MIT 协议、对话存本地、六端覆盖，多模型切换像换频道一样简单。

LibreChat 是 MIT 许可证下的开源 AI 对话平台，自托管部署，一个界面接入多家模型供应商，自带 Agents、代码解释器与 MCP 工具，适合想掌控模型成本的用户。

腾讯元宝是腾讯推出的 AI 助手，混元与 DeepSeek 两个模型可一键切换，深度打通微信生态，能直接解析公众号文章与微信里的文件，支持 36 种格式文档、以 2.84.1.621 版本的电脑版为例，基础功能免费使用。

千问电脑版是阿里官方桌面 AI 助手，基于 Qwen 大模型。它能在本机读写文件、跨应用协同，支持定时任务自动执行，还能用手机远程遥控电脑端任务。个人用户使用基础功能免费，录音纪要不限时长、不限次数。

豆包的电脑版把对话、写作、PPT 生成、图像与视频生成收进同一个输入框，桌面悬浮球随手呼出，浏览器插件负责划词翻译。基础功能免费，Windows、macOS 与网页版三端的聊天记录互通。

Cherry Studio 是一款多功能AI助手与知识管理平台，支持ChatGPT、Claude、Gemini等主流AI模型，提供多模型对话、文件解析、AI绘画及本地数据存储功能，适用于科研、创作与企业协作，保障隐私安全，提升工作效率。