TokenHub · 智能算力调度中枢
一个入口，连接所有大模型
TokenHub 用一套兼容 OpenAI 的 API，统一接入主流大厂模型与本地私有模型；内置 RAG 知识库、精细化权限与实时数据大屏。下载后部署在你自己的服务器上，安全、可控、低成本地用好 AI。
免费下载 · 私有部署 · 数据完全留在你的服务器
个人与非商业用途免费；商业使用需获取 商业授权
本地模型数据不出域
大厂模型15+ 厂商
每位员工一个帐号
独立 API Key · 用量可追溯
企业智能体统一鉴权
本地 / 大厂模型 → TokenHub 帐号与 Key → 企业内部智能体示例数据
已支持主流大厂模型与本地推理框架，持续新增中
企业用好大模型，所需的一切
从模型接入、知识增强到权限治理、员工配额与运营可视化，一个平台全部覆盖。
模型接入：云端 + 本地，一套 API
兼容 OpenAI 协议，接入主流大厂模型与 Ollama、vLLM 等本地推理服务；按成本、延迟、能力智能路由，故障自动切换。
了解模型接入RAG 知识库：让模型懂你的业务
上传 PDF、Word、网页等文档，自动解析、切片、向量化；混合检索 + 重排序，回答附带原文引用，可追溯可核验。
了解 RAG 知识库权限与安全
组织 / 团队 / 项目多级 RBAC，SSO 单点登录，API Key 精细管控，全链路审计。
了解权限与安全员工配额管理
一人一 Key，按有效期、额度与可用模型管控；按厂商统计 Token 与模型费用，一键预估月度成本。
了解员工配额数据大屏
调用量、Token 消耗、成本、延迟与错误率实时可视，适配指挥中心与会议室大屏。
了解数据大屏平台能力
模型 Playground、Prompt 模板、调用日志、监控告警、成本中心、Webhook 与开放 API。
查看全部能力改一行 model，切换任意模型
兼容 OpenAI 接口规范，现有代码与 SDK 无需改造。云端模型与本地模型使用同一套调用方式，知识库检索也只是一个参数。
智能路由与自动容灾
主模型超时或限流时自动切换备用模型，业务无感知。
按人按项目计量
每一次调用的 Token 与费用都精确归属到用户、团队与项目。
一把 Key，权限可控
业务方只持有 TokenHub Key，厂商密钥只保存在你的服务器上，不外泄。
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8080/v1", # 替换为你部署的 TokenHub 地址
api_key="th-your-api-key",
)
resp = client.chat.completions.create(
# 换成 deepseek-chat / qwen-plus / ollama/qwen2.5 即可切换
model="auto",
messages=[{"role": "user", "content": "总结本周销售周报"}],
# 可选：挂载 RAG 知识库，回答自动附带引用
extra_body={"knowledge_base": "kb_sales"},
)
print(resp.choices[0].message.content)import OpenAI from "openai";
const client = new OpenAI({
baseURL: "http://localhost:8080/v1", // 替换为你部署的 TokenHub 地址
apiKey: process.env.TOKENHUB_API_KEY,
});
const resp = await client.chat.completions.create({
model: "auto", // 由 TokenHub 按路由策略选择模型
messages: [{ role: "user", content: "总结本周销售周报" }],
knowledge_base: "kb_sales",
});
console.log(resp.choices[0].message.content);# 将 localhost:8080 替换为你部署的 TokenHub 地址
curl http://localhost:8080/v1/chat/completions \
-H "Authorization: Bearer $TOKENHUB_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "auto",
"messages": [{"role": "user", "content": "总结本周销售周报"}],
"knowledge_base": "kb_sales"
}'* 以上为示例数据，实际效果以部署环境与业务场景为准
部署在你自己的服务器上
TokenHub 下载即可部署，不依赖任何官方云服务。数据、密钥与日志始终由你掌控，按规模与合规要求选择部署方式。
单机部署（Docker）
一条 Docker Compose 命令启动，几分钟即可跑起来；适合个人、小团队与中小规模生产环境。
集群 / 高可用部署
多节点水平扩展，负载均衡与故障自动转移；适合全公司统一接入与大流量场景。
离线内网部署
提供离线安装包；配合本地模型、本地知识库与向量库，数据全程不出内网。
云端模型的调用费用由你直接向各厂商支付；本地模型无调用费用。查看下载与安装说明