2024 年 9 月 8 日
PyTorch 上海 Meetup 笔记
我们很荣幸于 2024 年 8 月 15 日成功举办了 PyTorch 上海 Meetup。此次 Meetup 受到业界的广泛关注。我们邀请了英特尔和华为的资深 PyTorch 开发者作为嘉宾演讲者，他们分享了宝贵的经验和最新的技术趋势。此外，此次活动还吸引了来自众多科技公司和知名高校的 PyTorch 爱好者。共有 40 多名参与者齐聚一堂，共同探讨和交流最新的...
2024 年 5 月 12 日
增强深度学习工作流程：PyTorch 生态系统工具
欢迎来到蓬勃发展的 PyTorch 生态系统，这里拥有丰富的工具和库，专为提升您作为开发者或研究人员的深度学习体验而设计。生态系统工具页面包含来自学术界、工业界、应用开发和机器学习领域的专家的大量项目。
2024 年 5 月 11 日
深度学习能量测量和优化
Zeus 是一个用于测量和优化深度学习工作负载能耗的开源工具箱。我们的目标是通过提供具有最少假设的可组合工具，使基于准确测量的能量优化尽可能容易，以适应各种深度学习工作负载和设置。
2024 年 5 月 11 日
介绍 depyf：轻松掌握 torch.compile
我们很高兴向 PyTorch 生态系统介绍 depyf，这是一个旨在帮助用户理解、学习和适应 torch.compile 的新项目！
2024 年 2 月 15 日
通过 SimulAI 工具箱探索科学机器学习管道
SciML（科学机器学习的缩写）涵盖将定量科学与机器学习相结合的工作。在过去十年中，它获得了巨大的发展，这得益于专门硬件（如 GPU 和 TPU）和数据集的广泛可用性。此外，它还得到了机器学习浪潮的总体影响的推动，现在已融入我们时代的时代精神。在这种情况下，我们想介绍 SimulAI，一个开源工具箱，在...
2024 年 1 月 29 日
Colossal-LLaMA-2：使用 LLaMA 和 Colossal-AI 实现低成本和高质量的特定领域 LLM 解决方案
LLaMA-1 和 LLaMA-2 之间最显著的区别在于 LLaMA-2 中整合了更高质量的语料库，这是 LLaMA-2 性能显著提高的关键因素。这与它的商业可用性相结合，扩展了开源社区中大型模型创造性应用的潜力。
2024 年 1 月 25 日
使用 RoMa 简化 3D 旋转和空间变换
您是否在为四元数、旋转向量、右手规则和所有这些东西而苦苦挣扎？试试 RoMa：一个易于使用、稳定高效的库，用于处理 PyTorch 中的旋转和空间变换。
2024 年 1 月 4 日
torchdistill — 一个模块化的、配置驱动的框架，用于可重复的深度学习和知识蒸馏实验
本文总结了 torchdistill（v1.0.0）的关键特性和概念。有关其 API 和研究项目的详细信息，请参考官方文档。
2023 年 12 月 6 日
PyPose：一个用于机器人学习的基于物理的优化库
我们很高兴与大家分享我们新的开源库 PyPose。它是一个基于 PyTorch 的机器人导向库，提供了一组工具和算法，用于将深度学习与基于物理的优化相结合。
2023 年 11 月 9 日
激活检查点如何使训练深度学习模型规模化
激活检查点是一种用于减少内存占用量以换取更多计算的技术。它利用一个简单的观察结果，即如果我们根据需要重新计算这些中间张量，而不是保存它们，我们就可以避免保存反向计算所需的中间张量。
2023 年 10 月 26 日
torch.compile 解释
您是否曾经对 torch.compile 的复杂性感到不知所措？深入研究它的工作原理就像黑魔法一样，涉及字节码和 Python 内部细节，许多用户无法理解，阻碍了他们理解和调试 torch.compile。
2023 年 7 月 6 日
揭示半监督学习的力量：统一的半监督学习基准
机器学习模型在高质量、完全标注的数据上蓬勃发展。传统的监督学习方法通常需要数百万甚至数十亿规模的数据来训练大型基础模型。然而，获得如此大量标记数据通常是繁琐且劳动密集的。作为替代方案，半监督学习 (SSL) 旨在仅使用一小部分标记数据来增强模型泛化，并辅以大量未标记数据。这...
2023 年 6 月 29 日
介绍 TorchOpt：一个用于 PyTorch 的高性能可微优化库
探索 TorchOpt，一个基于 PyTorch 的库，它以其统一的编程抽象、高性能分布式执行运行时以及对各种微分模式的支持，彻底改变了可微优化。”
2023 年 4 月 4 日
使用 octoml-profile 分析 PyTorch 语言模型
PyTorch 2.0 的最新发布清楚地表明，社区正在大力投资于机器学习的编译器驱动未来。新的 OctoML Profiler 可以帮助任何用户充分发挥这些 ML 领域转变的潜力。
2023 年 2 月 10 日
FASHABLE 如何使用 PyTorch 和 Azure 机器学习实现 SoA 逼真的 AI 生成的图像
Fashable 是一家诞生于 XNFY Lab（与微软联合发起的项目）的公司。该公司的主要目标是利用建立在 PyTorch 框架上的道德人工智能 (AI) 技术来彻底改变时尚界。Fashable 专注于开发 AI 模型，为全球时尚行业生成合成内容。近年来，时尚行业因其产生大量浪费并造成全球二氧化碳排放量的 10% 而受到批评。Fas...
2023 年 1 月 31 日
最新的 Colossal-AI 拥有新颖的自动并行功能，为 Stable Diffusion 2 提供高达 46 倍的节省
作为 PyTorch 生态系统的新合作伙伴，我们 HPC-AI Tech 期待与 PyTorch 社区合作，通过我们的开源项目 Colossal-AI 推进 AI 技术。我们很高兴能够在这一努力中与 PyTorch 社区携手合作。
2023 年 1 月 6 日
使用 PyTorch 和 Azure ML 进行分布式训练
假设您有一个非常大的 PyTorch 模型，并且您已经尝试了许多常见的技巧来加快训练速度：您优化了代码，将训练迁移到云并选择了快速 GPU VM，安装了提高训练性能的软件包（例如，通过在 Azure ML 上使用 ACPT 策划环境）。但是，您仍然希望您的模型能够更快地训练。也许是时候尝试分布式训练了！继续阅读以了解进行分布式训练的最简单方法...
