BaseTokenizer

class torchtune.modules.tokenizers.BaseTokenizer(*args, **kwargs)

实现 encode 和 decode 方法的抽象 token 编码模型。有关此协议的示例实现，请参阅 SentencePieceBaseTokenizer 和 TikTokenBaseTokenizer。

decode(token_ids: List[int], **kwargs: Dict[str, Any]) → str

给定 token id 列表，返回解码后的文本，可以选择包含特殊 token。

参数:

• token_ids (List[int]) – 要解码的 token id 列表。

• **kwargs (Dict[str, Any]) – kwargs。

返回值:

解码后的文本。

返回类型:

str

encode(text: str, **kwargs: Dict[str, Any]) → List[int]

给定一个字符串，返回编码后的 token id 列表。

参数:

• text (str) – 要编码的文本。

• **kwargs (Dict[str, Any]) – kwargs。

返回值:

编码后的 token id 列表。

返回类型:

List[int]