RAG 分块实验台

使用六种策略预览 RAG 分块，查看真实 Token 数、原文位置并导出结果。

本地 RAG 实验室

分块工作区

无上传 · Worker 处理

原始文本

545 UTF-16 代码单元正文不持久化

导入 TXT / MD或将本地文件拖放到这里（最大 5 MB）

策略与参数

分块策略

字素分块大小

重叠量

最小长度（字符）

字面分隔符（每行一个）支持 \n、\r、\t 和 \\ 转义；不按正则表达式处理。

去除多余空白合并过短分块

o200k_base · RAG 估算使用真实 tiktoken；除非目标模型也使用 o200k_base，否则 Token 数仅为估算。

起止位置为原始输入的 UTF-16 [start, end) 偏移；字符数也按 UTF-16 计算。固定字符策略按字素簇切分。

检查结果

0分块数

0平均字符

0最短字符

0最长字符

没有可显示的分块。调整输入或参数后重试。

关于此工具

在进入 Embedding 流程前调好可检索段落。比较六种确定性切分策略，检查真实 o200k_base Token 数，并在不上传文档的情况下定位每个分块的原文。

你的内容由你掌握。
工具输入在你的浏览器本地处理，绝不会发送至 KitVerse 服务器。在共享设备上使用时，请及时清空工作区。

常见问题

Token 数对我的 RAG 模型精确吗？

工具使用真实 o200k_base tiktoken 编码器。对于使用该编码的模型结果精确；对于其他 RAG 或 Embedding 模型会明确标为估算。

规范化空白后起止位置表示什么？

它们仍是原始输入中从零开始的 UTF-16 [start, end) 范围。由于重复空白被合并，规范化分块文本可能与所选原文范围不同。

代码围栏中的标题会创建分块吗？

不会。Markdown 策略会跟踪反引号和波浪号围栏，使示例中的标题样式行保留在所属章节内。