parse_hf_tokenizer_json

torchtune.modules.tokenizers.parse_hf_tokenizer_json(tokenizer_json_path: str) → Dict[str, int]

解析 Hugging Face 模型的 tokenizer.json 文件，以提取特殊 token 字符串到 id 的映射。

参数:

tokenizer_json_path (str) – tokenizer.json 文件的路径。

返回:

特殊 token 字符串到 id 的映射。

返回类型:

Dict[str, int]