让大模型读懂企业文档，每个回答都有出处
上传制度、产品手册、技术文档或接入网页与数据库，TokenHub 自动完成解析、切片与向量化。混合检索与重排序找准原文，回答附带引用，点击即可回到文档原处核验。
知识库随 TokenHub 部署在你自己的服务器上；搭配本地 Embedding + 内置向量库 + 本地大模型，可离线内网运行，文档不出内网。
上海属于一线城市，住宿标准为每晚不超过 600 元[1]，超出部分需个人承担或另行审批。报销需在出差结束后 15 个自然日内提交[2]。
从文档到可信回答的完整链路
入库阶段把文档变成可检索的知识，问答阶段先找准原文再生成回答，每一步都可配置。
企业知识在哪里，就从哪里接入
常见办公文档开箱即用，网页与业务系统支持定时同步，让知识库始终保持最新。
识别多栏版面、页眉页脚与表格，扫描件可启用 OCR，引用精确到页码。
Word
保留标题层级与列表结构，适合制度、合同、方案类文档。
Excel / CSV
按行或按表格区域切片，自动携带表头，问答时不丢失字段含义。
Markdown / TXT
按标题自动分节，适合技术文档、FAQ 与内部 Wiki 导出内容。
网页抓取
输入站点地址或 Sitemap，按深度与路径规则抓取正文，可定时增量同步。
数据库
连接 MySQL、PostgreSQL 等，通过 SQL 选取字段并转为文本知识。
API 同步
通过开放 API 推送文档或增删改片段，便于与业务系统深度集成。
飞书 · 钉钉 · Confluence
对接协同办公与 Wiki 平台，同步文档内容与原有访问权限。
切得好，才能找得准
切片决定了检索的粒度。TokenHub 提供三种策略，可按知识库甚至按文档单独设置，并在命中测试中即时验证效果。
按设定的 Token 数切分，并在相邻片段之间保留重叠，避免句子被拦腰截断后丢失上下文。
- 配置简单、速度快，适合结构不规整的长文本
- 可设置片段长度、重叠长度与优先断句符
识别文档的标题层级与段落边界，按章节切分，并把所属标题路径写入片段元数据。
- 适合制度、手册、技术文档等结构清晰的内容
- 回答引用可定位到「第几章 · 第几条」
计算相邻句子的语义相似度，在话题发生转换的位置切分，让每个片段只讲一件事。
- 适合会议纪要、访谈记录、客服对话等口语化内容
- 检索精度更高，入库耗时相对更长
\n\n。；##
高亮 为相邻片段的重叠部分
内置开箱即用，也可接入已有向量库
中小规模知识库用内置向量库，零运维；数据量大或已有基础设施时，可对接主流向量库。
- 内置向量库默认启用，随 TokenHub 一起部署默认
- Milvus大规模分布式向量检索外部对接
- Qdrant高性能向量搜索引擎外部对接
- pgvector复用现有 PostgreSQL外部对接
- Elasticsearch向量 + 全文一体检索外部对接
Embedding 模型可选择云端模型或本地部署模型，统一在 模型接入 中管理。品牌名称归各自权利人所有。
不只是向量相似度
多种检索增强手段叠加，减少「找不到」和「找错了」，让模型拿到真正相关的原文。
混合检索
向量语义检索与关键词全文检索并行召回，型号、编号、专有名词也能精确命中。
重排序
使用 Rerank 模型对召回结果二次精排，把最相关的片段排在最前面再交给大模型。
多知识库联合
一个应用可同时挂载多个知识库，如「制度库 + 产品库」，统一排序后合并作答。
查询改写
结合多轮对话补全指代、扩展同义词，把「那个怎么报」改写为可检索的完整问题。
命中测试：看看系统找到了什么
上线前用真实问题验证检索效果：查看每个片段的相关度与出处，再决定如何调整参数。
点击「开始检索」查看召回结果。
以上文档、片段、分数与回答均为本地预置的演示数据，仅用于展示命中测试的交互形式。
谁能看到什么，模型就只引用什么
权限在检索阶段就生效：用户无权访问的文档不会被召回，更不会出现在回答与引用中，从源头避免越权泄露。
- 知识库与文档均可按部门、角色、用户授权，支持继承与例外
- 同一个知识助手，不同员工提问得到与其权限匹配的回答
- 可对接企业 SSO 与组织架构，人员调岗后权限自动同步
- 每次检索与引用均记录审计日志，可追溯「谁看到了哪段内容」
- 销售激励政策.pdf销售部 · 全员可读已引用
- 提成核算说明.xlsx销售部 · 全员可读已引用
- 薪酬调整方案.docx仅人力资源部已过滤
- 管理层会议纪要.pdf仅总监及以上已过滤
2 篇无权限文档在检索阶段被排除，回答中将提示「调薪规则请咨询人力资源部」。
文档会变，知识库也要跟得上
文档更新后只重新处理有变化的部分，处理进度与失败原因一目了然，知识库始终与源文档保持一致。
- 增量更新：仅对新增或修改的片段重新向量化，节省时间与 Token
- 版本管理：保留历史版本，可对比差异并一键回滚
- 定时同步：网页与数据源按计划自动同步，删除的内容自动下线
- 状态可见：解析中、已完成、失败状态实时展示，失败原因可定位、可重试
| 文档 | 版本 | 切片 | 更新时间 | 状态 |
|---|---|---|---|---|
| PDF差旅管理办法.pdf | v3 | 128 | 10-14 09:12 | 已完成 |
| DOC员工手册.docx | v5 | 342 | 10-14 10:05 | 解析中 62% |
| WEB帮助中心（网页抓取） | v12 | 906 | 每日同步 | 已完成 |
| XLS供应商名录.xlsx | v1 | — | 10-13 17:40 | 失败 |
| MDIT 服务指南.md | v8 | 57 | 10-12 14:20 | 已完成 |
失败原因：供应商名录.xlsx 设置了打开密码，无法解析。移除密码后点击「重试」即可。
示例数据
关于 RAG 知识库
知识库里的文档会被用来训练模型吗？
不会。RAG 只在提问时检索相关片段作为上下文交给模型参考，不会改变模型参数。知识库存储在你自己部署的 TokenHub 中；若同时使用本地模型与本地向量库，文档内容全程不离开企业内网。
知识库中没有答案时，模型会编造吗？
可设置相关度阈值与回答策略：当没有片段达到阈值时，助手会明确告知「知识库中暂无相关信息」，并可引导用户联系对应负责人，而不是凭空作答。
扫描版 PDF 和图片里的文字能识别吗？
可以为知识库开启 OCR，对扫描件与文档内图片进行文字识别后再切片入库。识别效果与原件清晰度相关，建议在命中测试中抽查。
单个知识库能放多少文档？
内置向量库适合中小规模知识库；文档量较大或对检索性能有更高要求时，建议对接 Milvus、Elasticsearch 等外部向量库横向扩展。具体容量取决于你的服务器资源，可参考 下载页 中的部署方式与硬件建议。
业务系统如何调用知识库？
在调用统一 API 时传入知识库 ID 即可，回答会自动附带引用信息；也可单独调用检索接口，只获取召回片段用于自定义流程。详见 快速开始。
Embedding 模型更换后需要重建索引吗？
需要。不同 Embedding 模型生成的向量不可混用，更换后 TokenHub 会在后台重建索引，期间旧索引继续提供服务，完成后自动切换。