2025年1月24日

英特尔如何使用 PyTorch 通过英特尔 Arc GPU 赋能生成式 AI

英特尔长期以来一直处于技术创新的前沿,其近期进军生成式 AI (GenAI) 解决方案也不例外。随着 AI 驱动的游戏体验的兴起,英特尔力求为由英特尔最新 GPU 驱动的 AI PC 提供一种易于访问且直观的 GenAI 推理解决方案。通过利用 PyTorch 作为开发工作的支柱,英特尔成功推出了 AI Playground,这是一个展示高级 GenAI 工作负载的开源应用程序。

阅读更多

2025年1月21日

使用 GemLite、TorchAO 和 SGLang 加速 LLM 推理

大型语言模型 (LLM) 通常非常消耗资源,需要大量的内存、计算和电力才能有效运行。量化提供了一种解决方案,通过将权重和激活从 16 位浮点数降低到较低的比特率(例如,8 位、4 位、2 位),从而实现显著的加速和内存节省,并支持更大的批处理大小。

阅读更多

2025年1月14日

在 Intel® Xeon® 处理器上为 PyTorch 2.5 加速 GenAI

这篇博客是专注于使用纯粹的原生 PyTorch 加速生成式 AI 模型系列文章的第五篇。我们演示了在 Intel® Xeon® 处理器上 GPTFast、Segment Anything Fast 和 Diffusion Fast 的 GenAI 加速。

阅读更多

2025年1月9日

通过 PyTorch 多设备支持将 Ascend 后端与 Torchtune 集成

在这篇博客中,我们将简要介绍 torchtune、Ascend 后端,并演示如何使用 torchtune 和 Ascend 微调模型。

阅读更多

2025年1月6日

PyTorch 的高性能低比特运算符

我们很高兴地宣布在 PyTorch 的原生低精度库 TorchAO 中,为 Arm CPU 添加了具有低比特权重(1-8 位)的嵌入运算符和具有 8 比特动态量化激活和低比特权重(1-8 位)的线性运算符。这些运算符可在所有 PyTorch 表面(包括 eager、torch.compile、AOTI 和 ExecuTorch)上无缝工作,并可在 torchchat 中使用。

阅读更多

2024年12月23日

PyTorch 成长为 AI 和 ML 领域的主导开源框架:2024 年度回顾

过去的一年对于 PyTorch 来说是具有里程碑意义的一年,从主要版本发布到旗舰 PyTorch 大会。我们看到了来自超过 3,500 名个人和 3,000 个组织的贡献的惊人增长。可以肯定地说,PyTorch 现在已成为 AI/ML 领域的主导深度学习框架。根据 Linux 基金会最近发布的《塑造生成式 AI 的未来报告》,PyTorch 以 63% 的采用率在模型训练领域处于领先地位。

阅读更多