OpenAIToMessages

class torchtune.data.OpenAIToMessages(train_on_input: bool = False, column_map: Optional[Dict[str, str]] = None, new_system_prompt: Optional[str] = None)

将遵循 OpenAI 聊天补全 JSON 结构的单个聊天样本转换为 torchtune 的 Message 结构。这支持文本和图像消息。

单个样本通常包含一个可选的系统提示以及一个或多个轮次的用户和助手消息。

例如

{
    "messages": [
        {
            "role": <system|user|assistant>,
            "content": [
                {
                    "type": "text",
                    "text": "What'''s in this image?",
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": <url>,
                    },
                },
        },
        ...
    ]
}

Message 遵循

[
    {
        "role": <system|user|assistant>,
        "content": [
            {
                "type": "text",
                "content": "What'''s in this image?",
            },
            {
                "type": "image",
                "content": <PIL.Image.Image>,
            },
        ],
    },
    ...
]

参数:

• train_on_input (bool) – 提示是否应保持未遮蔽。默认值: False

• column_map (Optional[Dict[str, str]]) – 从预期列 (“messages”) 到数据集中新列名称的映射。键应为 “messages”，值应为新列名称。如果为 None，则保留默认的 “messages”。默认值为 None。

• new_system_prompt (Optional[str]) – 如果指定，则在前面添加一个系统消息。这可以作为指导模型响应的指令。设置此项将 覆盖 数据集中已存在的任何系统消息。默认值为 None。

抛出::

ValueError – 如果提供了 column_map 且 messages 不在 column_map 中。