2024 年 5 月 12 日
增强深度学习工作流程：PyTorch 生态系统工具
欢迎来到繁荣的 PyTorch 生态系统，这里拥有丰富的工具和库，专门为提升您作为开发人员或研究人员的深度学习体验而设计。生态系统工具页面包含来自学术界、工业界、应用开发和机器学习领域的专家的许多项目。
2024 年 5 月 11 日
深度学习能量测量和优化
Zeus 是一个开源工具箱，用于测量和优化深度学习工作负载的能耗。我们的目标是通过提供具有最少假设的可组合工具，使基于准确测量的能量优化尽可能容易，以适应各种深度学习工作负载和设置。
2024 年 5 月 11 日
介绍 depyf：轻松掌握 torch.compile
我们很高兴向 PyTorch 生态系统介绍 depyf，这是一个新项目，旨在帮助用户理解、学习和适应 torch.compile！
2024 年 2 月 15 日
通过 SimulAI 工具包探索科学机器学习管道
SciML（科学机器学习的缩写）涵盖了将定量科学与机器学习相结合的工作。在过去十年中，它获得了巨大的发展，这得益于专用硬件（如 GPU 和 TPU）和数据集的广泛可用性。此外，它还受到机器学习浪潮的推动，现在已经融入我们时代的时代精神。在这种情况下，我们想介绍 SimulAI，一个开源工具包，在...
2024年1月29日
Colossal-LLaMA-2：利用LLaMA和Colossal-AI构建低成本、高质量的领域特定LLM解决方案
LLaMA-1和LLaMA-2之间最显著的区别在于LLaMA-2整合了更高质量的语料库，这是LLaMA-2性能显著提升的关键因素。再加上其商业可用性，扩展了开源社区中大型模型创意应用的潜力。
2024年1月25日
RoMa让3D旋转和空间变换变得轻松
还在为四元数、旋转向量、右手法则以及所有这些东西而苦恼吗？试试RoMa：一个易于使用、稳定且高效的库，用于处理PyTorch中的旋转和空间变换。
2024年1月4日
torchdistill——一个模块化、配置驱动的框架，用于可重复的深度学习和知识蒸馏实验
本文总结了torchdistill（v1.0.0）的关键特性和概念。有关其API和研究项目，请参阅官方文档。
2023年12月6日
PyPose：一个基于物理优化进行机器人学习的库
我们很高兴与大家分享我们新的开源库PyPose。它是一个基于PyTorch的机器人导向库，提供了一套工具和算法，用于将深度学习与基于物理的优化相结合。
2023年11月9日
激活检查点如何实现深度学习模型训练的扩展
激活检查点是一种技术，用于在增加计算量的代价下减少内存占用。它利用了一个简单的观察结果，即如果我们只是按需重新计算它们，而不是保存反向计算所需的中间张量，我们可以避免保存这些中间张量。
2023年10月26日
torch.compile详解
你是否曾经被torch.compile的复杂性所困扰？深入了解它的工作原理就像黑魔法一样，字节码和Python内部细节让许多用户难以理解，阻碍了他们理解和调试torch.compile。
2023年7月6日
揭示半监督学习的力量：统一的半监督学习基准
机器学习模型依赖于高质量、完全标注的数据。传统的监督学习方法通常需要数百万甚至数十亿规模的数据来训练大型基础模型。然而，获得如此大量的标注数据往往是繁琐且劳动密集的。作为替代方案，半监督学习（SSL）旨在仅使用一小部分标注数据，辅以大量未标注数据来增强模型泛化能力。这...
2023年6月29日
介绍TorchOpt：一个用于PyTorch的高性能可微优化库
探索 TorchOpt，一个基于 PyTorch 的库，它通过其统一的编程抽象、高性能分布式执行运行时和对各种微分模式的支持，彻底改变了可微优化。”
2023 年 4 月 4 日
使用 octoml-profile 分析 PyTorch 语言模型
PyTorch 2.0 的最新发布清楚地表明，社区正在大力投资于机器学习的编译器驱动的未来。新的 OctoML Profiler 可以帮助任何用户充分发挥这些 ML 领域变化的潜力。
2023 年 2 月 10 日
FASHABLE 如何使用 PyTorch 和 Azure 机器学习实现 SoA 逼真的 AI 生成图像
Fashable 是一家诞生于 XNFY Lab（与微软的联合倡议）的公司。该公司的主要目标是利用基于 PyTorch 框架的道德人工智能 (AI) 技术彻底改变时尚界。Fashable 专注于开发 AI 模型，为全球时尚行业生成合成内容。近年来，时尚行业因其产生大量浪费以及占全球二氧化碳排放量的 10% 而受到批评。Fas...
2023 年 1 月 31 日
最新的 Colossal-AI 拥有新颖的自动并行功能，并为 Stable Diffusion 2 提供高达 46 倍的节省
作为 PyTorch 生态系统的新合作伙伴，我们 HPC-AI Tech 期待与 PyTorch 社区合作，通过我们的开源项目 Colossal-AI 推进 AI 技术。我们很高兴能与 PyTorch 社区携手合作。
2023 年 1 月 6 日
使用 PyTorch 和 Azure ML 进行分布式训练
假设您有一个非常大的 PyTorch 模型，并且您已经尝试了许多常见的技巧来加速训练：您优化了代码，将训练转移到云端并选择了快速的 GPU VM，安装了提高训练性能的软件包（例如，通过使用 Azure ML 上的 ACPT 策划环境）。然而，您仍然希望您的模型能够更快地训练。也许是时候尝试分布式训练了！继续阅读以了解进行分布式训练的最简单方法...
