truncate¶
- torchtune.data.truncate(tokens: List[Any], max_seq_len: int, eos_id: Optional[Any] = None) List[Any][source]¶
将 token 列表截断到最大长度。如果提供了 eos_id，则最后一个 token 将被替换为 eos_id。
- 参数:
tokens (List[Any]) – 要截断的 token 列表
max_seq_len (int) – 列表的最大长度
eos_id (Optional[Any]) – 用于替换最后一个 token 的 token。如果为 None，则不会替换最后一个 token。默认为 None。
- 返回:
截断后的 token 列表
- 返回类型:
List[Any]
