快捷方式

get_sharegpt_messages

torchtune.data.get_sharegpt_messages(sample: Mapping[str, Any], train_on_input: bool = False) List[Message][源代码]

警告

此类已弃用,将在未来的版本中删除。请改用 ShareGPTToMessages。以下是等效的

# Deprecated
transformed_sample = get_sharegpt_messages(sample, train_on_input=True)

# New
transformed_sample = ShareGPTToMessages(train_on_input=True)(sample)

将符合 ShareGPT json 结构的聊天样本转换为 torchtune 的 Message 结构。

ShareGPT 遵循

{
    "conversations": [
        {
            "from": <system|human|gpt>,
            "value": <message>,
        },
        ...
    ]
}

Message 遵循

[
    {
        "role": <system|user|assistant>,
        "content": <message>,
    },
    ...
]
参数:
  • sample (Mapping[str, Any]) – 一个包含“conversations”字段(指向字典消息列表)的单个数据样本。

  • train_on_input (bool) – 提示是否应保持未掩码。默认值:False

返回值:

包含“role”和“content”字段的消息列表。

返回类型:

List[Message]

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源