BaseTokenizer

class torchtune.modules.tokenizers.BaseTokenizer(*args, **kwargs)

实现 encode 和 decode 方法的抽象标记编码模型。有关此协议的示例实现，请参见 SentencePieceBaseTokenizer 和 TikTokenBaseTokenizer。

decode(token_ids: List[int], **kwargs: Dict[str, Any]) → str

给定一个标记 ID 列表，返回解码后的文本，可以选择包括特殊标记。

参数：:

• token_ids (List[int]) – 要解码的标记 ID 列表。

• **kwargs (Dict[str, Any]) – kwargs。

返回值：

解码后的文本。

返回类型：

str

encode(text: str, **kwargs: Dict[str, Any]) → List[int]

给定一个字符串，返回编码后的标记 ID 列表。

参数：:

• text (str) – 要编码的文本。

• **kwargs (Dict[str, Any]) – kwargs。

返回值：

编码后的标记 ID 列表。

返回类型：

List[int]