2025年1月24日
英特尔如何使用 PyTorch 通过英特尔 Arc GPU 赋能生成式 AI
英特尔长期以来一直处于技术创新的前沿,其近期进军生成式 AI (GenAI) 解决方案也不例外。随着 AI 驱动的游戏体验的兴起,英特尔力求为由英特尔最新 GPU 驱动的 AI PC 提供一种易于访问且直观的 GenAI 推理解决方案。通过利用 PyTorch 作为开发工作的支柱,英特尔成功推出了 AI Playground,这是一个展示高级 GenAI 工作负载的开源应用程序。
2025年1月21日
使用 GemLite、TorchAO 和 SGLang 加速 LLM 推理
大型语言模型 (LLM) 通常非常消耗资源,需要大量的内存、计算和电力才能有效运行。量化提供了一种解决方案,通过将权重和激活从 16 位浮点数降低到较低的比特率(例如,8 位、4 位、2 位),从而实现显著的加速和内存节省,并支持更大的批处理大小。
2025年1月14日
在 Intel® Xeon® 处理器上为 PyTorch 2.5 加速 GenAI
这篇博客是专注于使用纯粹的原生 PyTorch 加速生成式 AI 模型系列文章的第五篇。我们演示了在 Intel® Xeon® 处理器上 GPTFast、Segment Anything Fast 和 Diffusion Fast 的 GenAI 加速。
2025年1月9日
通过 PyTorch 多设备支持将 Ascend 后端与 Torchtune 集成
在这篇博客中,我们将简要介绍 torchtune、Ascend 后端,并演示如何使用 torchtune 和 Ascend 微调模型。
2025年1月6日
PyTorch 的高性能低比特运算符
我们很高兴地宣布在 PyTorch 的原生低精度库 TorchAO 中,为 Arm CPU 添加了具有低比特权重(1-8 位)的嵌入运算符和具有 8 比特动态量化激活和低比特权重(1-8 位)的线性运算符。这些运算符可在所有 PyTorch 表面(包括 eager、torch.compile、AOTI 和 ExecuTorch)上无缝工作,并可在 torchchat 中使用。
2024年12月23日
PyTorch 成长为 AI 和 ML 领域的主导开源框架:2024 年度回顾
过去的一年对于 PyTorch 来说是具有里程碑意义的一年,从主要版本发布到旗舰 PyTorch 大会。我们看到了来自超过 3,500 名个人和 3,000 个组织的贡献的惊人增长。可以肯定地说,PyTorch 现在已成为 AI/ML 领域的主导深度学习框架。根据 Linux 基金会最近发布的《塑造生成式 AI 的未来报告》,PyTorch 以 63% 的采用率在模型训练领域处于领先地位。