parse_hf_tokenizer_json

torchtune.modules.tokenizers.parse_hf_tokenizer_json(tokenizer_json_path: str) → Dict[str, int]

从 Hugging Face 模型解析 tokenizer.json 文件以提取特殊标记字符串到 ID 的映射。

参数：

tokenizer_json_path (str) – tokenizer.json 文件的路径。

返回：

特殊标记字符串到 ID 的映射。

返回类型：

Dict[str, int]