2023 年 10 月 04 日
PyTorch 2.1:自动动态形状编译、分布式检查点
我们很高兴地宣布 PyTorch® 2.1 已发布(发布说明)!PyTorch 2.1 在 torch.compile 中支持自动动态形状,支持使用 torch.distributed.checkpoint 在多个 rank 上并行保存/加载分布式训练任务,并支持 torch.compile 用于 NumPy API。
2023 年 10 月 04 日
使用 TorchServe 和 AWS Inferentia2 部署高性能 Llama 2 模型
最近, Llama 2 发布了,吸引了机器学习社区的广泛关注。 由 AWS Inferentia2 提供支持的 Amazon EC2 Inf2 实例现已支持 Llama 2 模型的训练和推理。在这篇博文中,我们将展示如何使用最新的 AWS Neuron SDK 版本在 Amazon EC2 Inf2 实例上对 Llama-2 模型进行低延迟、高成本效益的推理。 我们将首先介绍如何创建、编译和部署 Llama-2 模型,并解释 AWS Neu... 引入的优化技术。
2023 年 10 月 03 日
如何使用 DialoGPT 和 PyTorch 构建交互式聊天生成模型
在过去几个月里,人们对交互式聊天生成(或会话响应生成)模型的关注度大幅提高。ChatGPT 和 Google Bard 等会话响应生成模型在人工智能领域引起了巨大轰动。交互式聊天生成的目的是回答人类提出的各种问题,这些基于 AI 的模型使用自然语言处理 (NLP) 生成几乎与人类对话无异的对话。
2023 年 10 月 02 日
宣布 PyTorch 文档马拉松 2023 下半年活动
我们很高兴宣布将于 2023 年 11 月 1 日举办一次 PyTorch 文档马拉松活动!这次活动为社区提供了一个共同努力改进文档质量的机会。