【能力进阶】测试工程师必须了解的 Tokenization（分词器）避坑指南

写作日期：2026年5月适用读者：后端/算法测试工程师、AI产品测试、LLM应用QA1 为什么测试工程师必须关注分词器？2 竞品对比：同一句话，不同模型差出一个量级2.1 「中文税」到底有多重2.2 各模型中文分词效