博客 – 第 8 页 – PyTorch

博客

通过 torch.compile 将 NumPy 代码编译成 C++ 或 CUDA

Quansight 工程师已在 PyTorch 2.1 中实现了通过 torch.compile 跟踪 NumPy 代码的支持。此功能……

Evgeni Burovski, Ralf Gommers 和 Mario Lezcano2023 年 10 月 17 日

博客

用于长上下文推理的 Flash-Decoding

动机像 ChatGPT 或 Llama 这样的大型语言模型 (LLM) 最近受到了前所未有的关注……

Tri Dao, Daniel Haziza, Francisco Massa, Grigory Sizov2023 年 10 月 13 日

博客

ML 模型服务器资源节省——从高成本 GPU 到 Intel CPU 和 oneAPI 驱动的软件的性能转换

审阅者：Yunsang Ju (Naver GplaceAI 负责人)，Min Jean Cho (英特尔)，Jing Xu (英特尔)，Mark Saroufim (Meta) 简介在这里，我们将……

Sangjune Park (Naver GplaceAI MLOps)，Jooyoung Lee (Naver GplaceAI MLE)，Junho Min (Naver GplaceAI MLE)2023 年 10 月 11 日

博客

实时音视频语音识别

音视频语音识别 (AV-ASR 或 AVSR) 是从音频转录文本的任务，并且……

PyTorch 基金会2023 年 10 月 10 日

博客

PyTorch 2.1：自动动态形状编译，分布式检查点

我们很高兴地宣布 PyTorch® 2.1 发布（发行说明）！PyTorch 2.1 提供……

PyTorch 基金会2023 年 10 月 4 日

博客

PyTorch 2.1 中的新库更新

总结我们正在对当前的 PyTorch 库进行多项改进，同时还有……

PyTorch 基金会2023 年 10 月 4 日

博客

使用 TorchServe 在 AWS Inferentia2 上部署高性能 Llama 2

最近，Llama 2 发布并引起了机器学习社区的广泛关注。亚马逊……

Mike Zhang, Li Ning, Sergey Ivanov, Naman Nandan, Hamid Shojanazeri, Geeta Chauhan, Abhi Shivaditya, Michael Nguyen, Pinak Panigrahi2023 年 10 月 4 日

博客

如何使用 DialoGPT 和 PyTorch 构建交互式聊天生成模型

在过去几年中，对交互式聊天生成（或对话响应生成）模型的关注大大增加……

英特尔2023 年 10 月 3 日

博客

矩阵内部：可视化矩阵乘法、注意力机制及其他

使用 3D 可视化矩阵乘法表达式、具有真实权重的注意力头等等。矩阵……

Basil Hosmer2023 年 9 月 25 日

博客

使用 torch.compile 通过 PyTorch Inductor 加速 CPU 推理

要点虽然 PyTorch* Inductor C++/OpenMP* 后端已让用户能够利用……

英特尔2023 年 9 月 13 日

博客

自动化跟踪收集与分析

在这篇博客中，我们分享了如何实现 PyTorch Profiler 的收集和分析……

Anupam Bhatnagar, Brian Coutinho2023 年 9 月 5 日

博客

PyTorch/XLA SPMD：通过自动并行化扩展模型训练和服务

今天，我们很高兴地宣布 PyTorch/XLA SPMD：将 GSPMD 集成到 PyTorch 中，并提供一个简单的……

Yeounoh Chung, Jon Bolin, Milad Mohammadi, Jiewen Tan, Jack Cao, Joe Spisak, Alex Spiridonov, Shauheen Zahirazami, Steven Krawczyk, Wonjoo Lee Mohit Khatwani, Wanchao Liang, Vaibhav Singh2023 年 8 月 31 日

博客

使用 PyTorch/XLA FSDP 在 TPU 上大规模训练 Hugging Face Transformers

人工智能正在通过理解和生成语言、回答问题等高级能力改变许多行业……

Alex Wertheim, Milad Mohammadi, Jack Cao, Alex Spiridonov, Joe Spisak, Lysandre Debut, Sylvain Gugger, Sourab Mangrulkar2023 年 8 月 24 日

博客

PyTorch 中 x86 CPU 的 INT8 量化

概述 INT8 量化是加速 x86 深度学习推理的强大技术……

英特尔2023 年 8 月 7 日

博客

宣布基于 C++ 的 S3 IO DataPipes

训练大型深度学习模型需要大型数据集。Amazon Simple Storage Service (Amazon S3) 是一种可扩展的……

John He, Khaled ElGalaind, Roshani Nagmote, Daiming Yang2023 年 7 月 25 日

博客

如何加速 Intel® CPU 上的 PyTorch Geometric

概述英特尔 PyTorch 团队一直在与 PyTorch Geometric (PyG) 社区合作，以……

英特尔2023 年 7 月 10 日

社区

揭示半监督学习的力量：统一半监督学习基准

机器学习模型在高质量、完全标注的数据上茁壮成长。传统的监督学习方法通常需要……

Jindong Wang2023 年 7 月 6 日

博客

优化基于 LibTorch 的推理引擎内存使用和线程池

概述在这篇博客文章中，我们展示了如何优化基于 LibTorch 的推理引擎以最大化……

Himalay Mohanlal Joriwal, Pierre-Yves Aquilanti, Vivek Govindan, Hamid Shojanazeri, Ankith Gunapal, Tristan Rice2023 年 6 月 29 日

社区

介绍 TorchOpt：一个用于 PyTorch 的高性能可微分优化库

探索 TorchOpt，一个基于 PyTorch 的库，它通过其统一的编程抽象、高性能……彻底改变了可微分优化。

Benjamin Liu2023 年 6 月 29 日

博客

在 PyTorch/XLA 上实现 LLaMA 65B 超低推理延迟的路径

背景与现状在自然语言处理 (NLP) 领域，语言模型……

Milad Mohammadi, Jiewen Tan, Liyang Lu, Siyuan Liu, Yeounoh Chung, Wonjoo Lee, Manfei Bai, Steven Krawczyk, Shauheen Zahirazami, Alex Wertheim, Meghan Cowan, Jack Cao, Joe Spisak2023 年 6 月 28 日

博客