截断¶
- torchtune.data.truncate(tokens: List[Any], max_seq_len: int, eos_id: Optional[Any] = None) List[Any][source]¶
将令牌列表截断到最大长度。如果提供了 eos_id，则最后一个令牌将替换为 eos_id。
- 参数：
tokens (List[Any]) – 要截断的令牌列表
max_seq_len (int) – 列表的最大长度
eos_id (Optional[Any]) – 要替换最后一个令牌的令牌。如果为 None，则不会替换最后一个令牌。默认为 None。
- 返回值：
截断后的令牌列表
- 返回类型：
List[Any]
