几行代码，接入所有大模型

1. 部署 TokenHub

   从下载页获取 Docker 镜像或安装包，部署到你自己的服务器，默认监听 8080 端口。首次打开 http://localhost:8080 时创建管理员账号。

   下载与安装 系统要求

   # 以 Docker 为例（镜像地址将在正式发布时公布）
   docker run -d --name tokenhub \
     -p 8080:8080 \
     -v $(pwd)/tokenhub-data:/data \
     <镜像地址待发布>:2.3.0

2. 获取 API Key

   在你自己部署的 TokenHub 管理后台中添加模型（云端厂商 Key 或本地模型地址），然后进入「API Keys」新建密钥，可为密钥绑定项目、可用模型与 Token 配额。密钥以 th- 开头，仅在创建时完整显示一次。

   # 建议通过环境变量管理密钥，不要写入代码仓库
   export TOKENHUB_API_KEY="th-your-api-key"
   # 替换为你部署的 TokenHub 地址
   export TOKENHUB_BASE_URL="http://localhost:8080/v1"

3. 安装 SDK

   直接使用 OpenAI 官方 SDK，无需安装额外依赖；也可以使用任意 HTTP 客户端。

   # Python
   pip install openai
   
   # Node.js
   npm install openai

4. 发起第一次调用

   model 可填写具体模型名（如 deepseek-chat、qwen-plus、ollama/qwen2.5:7b），或填写 auto 由路由策略自动选择。

   cURL Python Node.js 复制

   # 替换为你部署的 TokenHub 地址
   curl http://localhost:8080/v1/chat/completions \
     -H "Authorization: Bearer $TOKENHUB_API_KEY" \
     -H "Content-Type: application/json" \
     -d '{
       "model": "deepseek-chat",
       "messages": [
         {"role": "system", "content": "你是一名专业的企业助理"},
         {"role": "user", "content": "用三句话介绍 TokenHub"}
       ],
       "temperature": 0.7
     }'

   import os
   from openai import OpenAI
   
   client = OpenAI(
       base_url="http://localhost:8080/v1",  # 替换为你部署的 TokenHub 地址
       api_key=os.environ["TOKENHUB_API_KEY"],
   )
   
   resp = client.chat.completions.create(
       model="deepseek-chat",
       messages=[
           {"role": "system", "content": "你是一名专业的企业助理"},
           {"role": "user", "content": "用三句话介绍 TokenHub"},
       ],
       temperature=0.7,
   )
   print(resp.choices[0].message.content)
   print(resp.usage)  # prompt / completion / total tokens

   import OpenAI from "openai";
   
   const client = new OpenAI({
     baseURL: "http://localhost:8080/v1", // 替换为你部署的 TokenHub 地址
     apiKey: process.env.TOKENHUB_API_KEY,
   });
   
   const resp = await client.chat.completions.create({
     model: "deepseek-chat",
     messages: [
       { role: "system", content: "你是一名专业的企业助理" },
       { role: "user", content: "用三句话介绍 TokenHub" },
     ],
     temperature: 0.7,
   });
   
   console.log(resp.choices[0].message.content);

5. 开启流式输出

   设置 stream: true，以 SSE（Server-Sent Events）逐段返回内容，首字更快出现，适合对话类界面。最后一条消息为 data: [DONE]。

   cURL Python Node.js 复制

   curl -N http://localhost:8080/v1/chat/completions \
     -H "Authorization: Bearer $TOKENHUB_API_KEY" \
     -H "Content-Type: application/json" \
     -d '{
       "model": "qwen-plus",
       "stream": true,
       "messages": [
         {"role": "user", "content": "写一段产品发布会开场白"}
       ]
     }'
   
   # 返回（节选）：
   # data: {"choices":[{"index":0,"delta":{"content":"各位"}}]}
   # data: {"choices":[{"index":0,"delta":{"content":"来宾"}}]}
   # data: [DONE]

   stream = client.chat.completions.create(
       model="qwen-plus",
       messages=[{"role": "user", "content": "写一段产品发布会开场白"}],
       stream=True,
   )
   
   for chunk in stream:
       if chunk.choices and chunk.choices[0].delta.content:
           print(chunk.choices[0].delta.content, end="", flush=True)

   const stream = await client.chat.completions.create({
     model: "qwen-plus",
     messages: [{ role: "user", content: "写一段产品发布会开场白" }],
     stream: true,
   });
   
   for await (const chunk of stream) {
     process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
   }

6. 查看用量与日志

   每次调用的模型、耗时、Token 与费用都会实时记录，可在管理后台「调用日志」中检索，或在数据大屏中按部门、项目查看汇总。

   了解数据大屏 查看调用日志能力

# ① 拉取模型
ollama pull qwen2.5:7b
ollama pull bge-m3

# ② 监听内网地址并启动
OLLAMA_HOST=0.0.0.0:11434 ollama serve

# ③ TokenHub 本地模型配置（等价 YAML 示例）
provider: ollama
name: local-qwen
base_url: http://10.0.0.21:11434
models:
  - qwen2.5:7b
  - bge-m3          # 同时作为知识库 Embedding 模型

# ④ 调用时使用 model="local-qwen/qwen2.5:7b"

# ① 启动服务（示例：单机 2 卡）
vllm serve Qwen/Qwen2.5-14B-Instruct \
  --port 8000 \
  --tensor-parallel-size 2 \
  --api-key local-secret

# ② 连通性检查
curl http://10.0.0.22:8000/v1/models \
  -H "Authorization: Bearer local-secret"

# ③ TokenHub 本地模型配置（等价 YAML 示例）
provider: openai-compatible
name: local-vllm
base_url: http://10.0.0.22:8000/v1
api_key: ${VLLM_API_KEY}
models:
  - id: Qwen/Qwen2.5-14B-Instruct
    alias: qwen2.5-14b
fallback: deepseek-chat   # 本地不可用时自动切换

* 命令与配置为示意，IP、模型与字段名请以实际环境和正式版本为准。Xinference、LM Studio、SGLang 等同样可按「OpenAI 兼容服务」方式接入。