LLMux — 个人本地 AI 网关

LLMux 是给开发者用的个人本地 AI API 网关。把主流 AI 模型统一到 localhost:25975——路由、协议透传、黏性故障切换、密钥隔离，都由 LLMux 来处理。

开始安装 → 去 GitHub

基于 Rust + axum 本地运行嵌入式 SQLite 内置终端 TUI

为什么需要 LLMux？

同时持有多个平台账号？每个平台一套 SDK、一套限速、一段切换流程？LLMux 把这一切收敛为一个唯一入口——你的工具只管和对的入口对话。

统一入口

兼容 OpenAI 格式的客户端指向 /v1，即可访问已启用配置的 provider 与模型。

多协议透传

原生支持主流协议，Claude Code、Codex 等常用 CLI 可直接接入，客户端零改动。

黏性会话 + 智能故障切换

请求固定用首选账户，保持 prompt cache 热度。账户故障时自动切换备用账户，指数退避探测，恢复后切回，尽量不中断请求。

模型别名

把 claude-3-7-sonnet-20250219 映射为 c37。随时换底层模型，客户端配置零变动。

API Key 权限隔离

生成网关密钥，为每个密钥配模型白名单。安全分发给团队成员，不暴露真实 provider 凭证。

一键工具配置

内置 Claude Code、Codex 等常用 CLI 快捷向导。选密钥选模型，点应用即写入配置，含 diff 预览与备份历史。

快速安装

选平台，一行命令安装；或从源码构建。装完启动即用。

NPM

NPM · 一键安装

$ npm i llmux-cli

macOS

MacOs · 一键安装

$ brew install zhmoody/tap/llmux

Linux

Linux · 一键安装

$ curl --proto '=https' --tlsv1.2 -LsSf https://github.com/zhMoody/llmux-cli-rs/releases/download/latest/llmux-installer.sh | sh

Windows（PowerShell 5.1+）

Windows · 一键安装

PS> powershell -ExecutionPolicy Bypass -c "irm https://github.com/zhMoody/llmux-cli-rs/releases/download/latest/llmux-installer.ps1 | iex"

从源码构建

# 需 Rust / Bun / Git
$ git clone https://github.com/zhMoody/llmux-cli-rs.git && cd llmux-cli
$ cd llmux_ui && bun install && bun run build && cd ..
$ cargo build --release -p llmux
$ ./target/release/llmux # 管理后台 http://localhost:25975

五步接入

添加账号 → 建模型 → 发密钥 → 一键接入 → 完成。

Accounts

添加 API Key，支持 OpenAI / Anthropic / Gemini 与自定义端点。

Models

创建模型别名，运行连接测试。

Keys

生成网关 Key，配置模型白名单。

Setup

一键配置 Claude Code、Codex 等常用 CLI。

完成

路由、故障切换、负载均衡全自动。