PromptTemplate

class torchtune.data.PromptTemplate(template: Dict[Literal['system', 'user', 'assistant', 'ipython'], Tuple[str, str]])

通过传入一个将角色映射到前缀和后缀标签的字典，快速定义自定义提示模板。例如，要实现以下提示模板

System: {content}\n
User: {content}\n
Assistant: {content}\n
Tool: {content}\n

你需要为每个角色传入一个元组，其中 PREPEND_TAG 是添加到文本内容之前的字符串，而 APPEND_TAG 是添加到文本内容之后的字符串

template = {role: (PREPEND_TAG, APPEND_TAG)}

因此，模板将定义如下

template = {
    "system": ("System: ", "\n"),
    "user": ("User: ", "\n"),
    "assistant": ("Assistant: ", "\n"),
    "ipython": ("Tool: ", "\n"),
}

实例化后，必须在消息列表上调用提示模板。它将返回更新了模板的相同消息列表。

注意

添加到助手消息的任何前缀/后缀标签都将包含在损失计算中。其他角色（系统、用户、ipython）的所有其他前缀/后缀标签在大多数情况下都不包含在损失中。考虑对用户消息使用后缀标签，以获取需要在助手消息之前但不能包含在损失中的标签。对于更自定义的掩码和提示模板，您可以基于 PromptTemplate 接口创建自己的类。

参数：

template (Dict[Role, Tuple[str, str]]) – 将角色映射到前缀和后缀标签的字典