PromptTemplate

class torchtune.data.PromptTemplate(template: Dict[Literal['system', 'user', 'assistant', 'ipython'], Tuple[str, str]])

通过传入字典将角色映射到前置和后置标签，快速定义自定义提示模板。例如，要实现以下提示模板

System: {content}\n
User: {content}\n
Assistant: {content}\n
Tool: {content}\n

您需要为每个角色传入一个元组，其中 PREPEND_TAG 是在文本内容之前添加的字符串，APPEND_TAG 是在文本内容之后添加的字符串

template = {role: (PREPEND_TAG, APPEND_TAG)}

因此，模板将定义如下

template = {
    "system": ("System: ", "\n"),
    "user": ("User: ", "\n"),
    "assistant": ("Assistant: ", "\n"),
    "ipython": ("Tool: ", "\n"),
}

实例化后，您必须在消息列表上调用提示模板。它将返回使用模板更新的相同消息列表。

注意

附加到助手消息的任何标签都将包含在损失计算中。大多数情况下，其他角色（系统、用户、ipython）的所有其他前置/后置标签都不包含在损失中。考虑对用户消息使用后置标签，以便将需要在助手消息之前出现的标签排除在损失之外。对于更自定义的掩码和提示模板，您可以基于 PromptTemplate 接口创建您自己的类。

参数:

template (Dict[Role, Tuple[str, str]]) – 将角色映射到前置和后置标签的字典