torcharrow.functional.add_tokens

torcharrow.functional.add_tokens(input_col: Union[ListColumn, List[Union[str, int]]], tokens: Union[ListColumn, List[Union[str, int]]], begin: bool) → NumericalColumn

在列的开头或结尾附加一个标记/索引列表。这是一种常见的操作，用于在文本中添加 EOS 和 BOS 标记。

参数：

• input_col (输入标记/索引列表) –

• tokens (要附加或前置的标记/索引列表) –

• begin (布尔值，用于确定是前置还是附加标记/索引) –

示例

>>> import torcharrow as ta
>>> from torcharrow import functional
>>> a = ta.column([[1, 2], [3, 4, 5]])
>>> functional.add_tokens(a, [0], begin=True)
0  [0, 1, 2]
1  [0, 3, 4, 5]
dtype: List(Int64(nullable=True), nullable=True), length: 2, null_count: 0