Token 与成本

Tokenizer 工作原理：为什么中文更费 Token

/

Token 是大模型计价和计量的最小单位，但它到底怎么切分文本？为什么同样一段话，中文往往比英文多花 token？