AMD 在部分 RDNA™ 3 GPU 上扩展了对 ROCm™ 5.7 环境下 PyTorch 机器学习开发的支持 博客 AMD 通过 ROCm™ 5.7 扩展对精选 RDNA™ 3 GPU 上 PyTorch 机器学习开发的支持 使用 PyTorch 进行机器学习 (ML) 模型和算法研究的开发者现在可以……AMD2023年10月31日
通过 torch.compile 将 NumPy 代码编译为 C++ 或 CUDA 博客 通过 torch.compile 将 NumPy 代码编译成 C++ 或 CUDA Quansight 的工程师们在 PyTorch 2.1 中实现了通过 torch.compile 对 NumPy 代码进行追踪的支持。此功能……Evgeni Burovski, Ralf Gommers and Mario Lezcano2023年10月17日
用于长上下文推理的 Flash-Decoding 博客 用于长上下文推理的 Flash-Decoding 动机:ChatGPT 或 Llama 等大语言模型 (LLM) 最近受到了前所未有的关注……Tri Dao, Daniel Haziza, Francisco Massa, Grigory Sizov2023年10月13日
ML 模型服务器资源节省——从高成本 GPU 过渡到基于 Intel CPU 和 oneAPI 的高性能软件 博客 ML 模型服务器资源节省——从高成本 GPU 到 Intel CPU 和 oneAPI 驱动的软件的性能转换 审阅者:Yunsang Ju (Naver GplaceAI 负责人), Min Jean Cho (Intel), Jing Xu (Intel), Mark Saroufim (Meta) 简介:在这里,我们将……Sangjune Park (Naver GplaceAI MLOps), Jooyoung Lee (Naver GplaceAI MLE), Junho Min (Naver GplaceAI MLE)2023年10月11日
PyTorch 2.1:自动动态形状编译、分布式检查点保存 博客 PyTorch 2.1:自动动态形状编译,分布式检查点 我们很高兴地宣布发布 PyTorch® 2.1 (发布说明)!PyTorch 2.1 提供了……PyTorch Foundation2023年10月4日
PyTorch 2.1 中的新库更新 博客 PyTorch 2.1 中的新库更新 总结 我们正在对当前的 PyTorch 库进行多项改进,同时还有……PyTorch Foundation2023年10月4日
使用 TorchServe 在 AWS Inferentia2 上实现高性能 Llama 2 部署 博客 使用 TorchServe 在 AWS Inferentia2 上部署高性能 Llama 2 最近,Llama 2 发布并引起了机器学习社区的广泛关注。亚马逊……Mike Zhang, Li Ning, Sergey Ivanov, Naman Nandan, Hamid Shojanazeri, Geeta Chauhan, Abhi Shivaditya, Michael Nguyen, Pinak Panigrahi2023年10月4日
如何使用 DialoGPT 和 PyTorch 构建交互式聊天生成模型 博客 如何使用 DialoGPT 和 PyTorch 构建交互式聊天生成模型 过去,对于交互式聊天生成(或对话响应生成)模型的关注显著增加……Intel2023年10月3日
矩阵之内:可视化矩阵乘法、注意力机制及更多内容 博客 矩阵内部:可视化矩阵乘法、注意力机制及其他 使用 3D 可视化矩阵乘法表达式、带有真实权重的注意力头等等。矩阵……Basil Hosmer2023年9月25日
使用 torch.compile 和 PyTorch Inductor 加速 CPU 推理 博客 使用 torch.compile 通过 PyTorch Inductor 加速 CPU 推理 内容摘要:尽管 PyTorch* Inductor C++/OpenMP* 后端已使用户能够……Intel2023年9月13日
自动化追踪收集与分析 博客 自动化跟踪收集与分析 在本篇博客中,我们将分享如何实现 PyTorch Profiler 的收集与分析……Anupam Bhatnagar, Brian Coutinho2023年9月5日
PyTorch/XLA SPMD:利用自动并行化扩展模型训练与服务 博客 PyTorch/XLA SPMD:通过自动并行化扩展模型训练和服务 今天,我们很高兴宣布 PyTorch/XLA SPMD 的发布:通过简单的方式将 GSPMD 集成到 PyTorch 中……Yeounoh Chung, Jon Bolin, Milad Mohammadi, Jiewen Tan, Jack Cao, Joe Spisak, Alex Spiridonov, Shauheen Zahirazami, Steven Krawczyk, Wonjoo Lee Mohit Khatwani, Wanchao Liang, Vaibhav Singh2023年8月31日
使用 PyTorch/XLA FSDP 在 TPU 上对 Hugging Face Transformers 进行大规模训练 博客 使用 PyTorch/XLA FSDP 在 TPU 上大规模训练 Hugging Face Transformers 人工智能正通过理解和生成语言、回答问题等先进功能改变许多行业……Alex Wertheim, Milad Mohammadi, Jack Cao, Alex Spiridonov, Joe Spisak, Lysandre Debut, Sylvain Gugger, Sourab Mangrulkar2023年8月24日
PyTorch 中针对 x86 CPU 的 INT8 量化 博客 PyTorch 中 x86 CPU 的 INT8 量化 概述:INT8 量化是一种强大的技术,用于加速 x86 上的深度学习推理……Intel2023年8月7日
宣布推出基于 CPP 的 S3 IO DataPipes 博客 宣布基于 C++ 的 S3 IO DataPipes 训练大型深度学习模型需要庞大的数据集。Amazon Simple Storage Service (Amazon S3) 是一个可扩展的……John He, Khaled ElGalaind, Roshani Nagmote, Daiming Yang2023年7月25日
如何加速 Intel® CPU 上的 PyTorch Geometric 博客 如何加速 Intel® CPU 上的 PyTorch Geometric 概述:Intel PyTorch 团队一直在与 PyTorch Geometric (PyG) 社区合作……Intel2023年7月10日
揭示半监督学习的力量:统一半监督学习基准 社区 揭示半监督学习的力量:统一半监督学习基准 机器学习模型依赖高质量、完全标注的数据。传统的监督学习方法通常需要……Jindong Wang2023年7月6日
优化基于 LibTorch 的推理引擎的内存使用和线程池 博客 优化基于 LibTorch 的推理引擎内存使用和线程池 大纲:在这篇博文中,我们展示了如何优化基于 LibTorch 的推理引擎,以最大化……Himalay Mohanlal Joriwal, Pierre-Yves Aquilanti, Vivek Govindan, Hamid Shojanazeri, Ankith Gunapal, Tristan Rice2023年6月29日