2025 年 3 月 19 日
SGLang 加入 PyTorch 生态系统:高效LLM服务引擎
我们非常高兴地宣布,SGLang 项目已集成到 PyTorch 生态系统中!这次集成确保了 SGLang 与 PyTorch 的标准和规范保持一致,为开发者提供了一个可靠且社区支持的框架,用于快速灵活地提供LLMs服务。
2025 年 3 月 16 日
PyTorch 在 GTC 2025
GTC 将于 2025 年 3 月 17 日至 21 日回归圣何塞。加入 PyTorch 基金会成员 Arm、AWS、Google Cloud、IBM、Lightning AI、Meta、Microsoft Azure、Snowflake 以及数千名开发者,共同庆祝 PyTorch。一起学习人工智能和加速计算如何帮助人类解决我们最复杂的挑战。
2025 年 3 月 7 日
使用 PyTorch、Fedora 和开源社区推动人工智能
2025 年 2 月 28 日,在印度浦那的 DevConf.IN 2025 上,我有机会主持一个 PyTorch Meetup。本次会议的主题是“使用 PyTorch、Fedora 和开源社区推动人工智能”,旨在向学生和专业人士介绍 PyTorch,解释为什么 PyTorch 与 Fedora 构成理想的 AI 开发平台。我还讨论了开源社区之间的合作。
2025 年 2 月 19 日
优化LLMs以提高效率和可持续性
大型语言模型(LLM)应用的快速增长与能源需求的快速增长有关。根据国际能源署(IEA)的预测,数据中心电力消耗预计到 2026 年将大致翻倍,主要由人工智能驱动。这归因于大规模LLMs的能量密集型训练需求,然而,人工智能推理工作负载的增加也起到了一定的作用。例如,与传统搜索查询相比,单个人工智能推理可能消耗大约 1...
2025 年 2 月 12 日
在 Datathon 2025:DataOrbit 上用 PyTorch 解决真实世界 AI 挑战
我们非常高兴 PyTorch 赞助 Datathon 2025:DataOrbit,这是一个学生可以与团队协作,使用真实世界数据集解决问题的场所!这项活动由 Data Science UCSB 与 Gaucho Sports Analytics 和 ACM@UCSB 合作举办,将于 2025 年 2 月 22 日至 23 日在加州大学圣塔芭芭拉分校举行,您将有机会向由 PyTorch 执行董事在内的企业界和学术界评委展示您的项目,有机会赢得奖品...
2025 年 1 月 22 日
将 PyTorch 社区聚集在一起
随着我们步入新的一年,这是一个回顾 2024 年对 PyTorch 基金会来说难忘的一年中令人难以置信的社区活动的好时机。全球聚会、活动和会议将社区聚集在一起,共同学习、交流和成长。以下是本年度亮点及 2025 年展望的简要回顾。
2025 年 1 月 15 日
Arm 和 GitHub 合作简化 PyTorch 的 MLOps 工作流程
PyTorch 是最广泛使用且功能最强大的深度学习框架之一,用于训练和部署复杂的神经网络。训练和部署 AI 应用从未如此简单,而且用于创建优化工作流程的低成本、高性能、节能的硬件、工具和技术比以往任何时候都更容易获得。但是数据科学、机器学习和 DevOps 本身就可以是深奥的领域,对于只有一项专业技术的开发者来说,看到它们如何相互关联可能会感到不知所措...
2024 年 12 月 18 日
docTR 加入 PyTorch 生态系统:从像素到数据,使用 PyTorch 和 docTR 构建识别流程
我们非常高兴地宣布,docTR 项目已集成到 PyTorch 生态系统中!这次集成确保 docTR 与 PyTorch 的标准和规范保持一致,为开发者提供了一个可靠、社区支持的强大 OCR 工作流程解决方案。
2024 年 12 月 09 日
vLLM 加入 PyTorch 生态系统:简单、快速、低成本LLM服务全民
我们非常高兴地宣布,vLLM 项目已成为 PyTorch 生态系统项目,并加入了 PyTorch 生态系统大家庭!运行大型语言模型(LLMs)既资源密集又复杂,尤其是当这些模型扩展到数百亿参数时。这就是 vLLM 的作用——一个为LLMs设计的高吞吐量、内存高效的推理和服务引擎。
2024 年 9 月 8 日
PyTorch 上海 Meetup 会议笔记
我们荣幸地成功举办了 2024 年 8 月 15 日的 PyTorch 上海 Meetup。此次 Meetup 受到了业界的广泛关注。我们邀请了英特尔和华为的资深 PyTorch 开发者作为嘉宾演讲,他们分享了宝贵的经验和最新的技术趋势。此外,此次活动还吸引了来自众多科技公司和知名大学的 PyTorch 爱好者。共有 40 多位参与者聚集一堂,讨论和交流了最新的技术动态。
2024 年 5 月 12 日
深度学习工作流程增强:PyTorch 生态系统工具
欢迎来到繁荣的 PyTorch 生态系统,这里有许多工具和库等待您,专为提升您作为开发者或研究者在深度学习中的体验而设计。生态系统工具页面汇集了许多来自学术界、工业界、应用开发和机器学习专家的项目。
2024 年 5 月 11 日
深度学习能耗测量与优化
Zeus 是一个开源的工具箱,用于测量和优化深度学习工作负载的能耗。我们的目标是使基于准确测量的能耗优化尽可能容易,为各种深度学习工作负载和配置提供可组合的工具,并做出最小假设。
2024 年 5 月 11 日
介绍 depyf:轻松掌握 torch.compile
我们非常高兴向 PyTorch 生态系统介绍一个新项目 depyf,旨在帮助用户理解、学习和适应 torch.compile!
2024 年 2 月 15 日
通过 SimulAI 工具包探索科学机器学习管道
SciML(科学机器学习)涵盖了将定量科学和机器学习相结合的工作。在过去十年中,它获得了显著的关注,这得益于专用硬件(如 GPU 和 TPU)和数据集的广泛应用。此外,它还受到了机器学习浪潮的广泛影响,这种影响已经深深植根于我们这个时代的时代精神。在此背景下,我们想介绍 SimulAI,这是一个开源工具包,位于...
2024 年 1 月 29 日
Colossal-LLaMA-2:低成本和高品质的领域特定LLM 使用 LLaMA 和 Colossal-AI 的解决方案
LLaMA-1 和 LLaMA-2 之间最显著的区别在于采用了更高品质的语料库,这是 LLaMA-2 性能显著提升的关键因素。这一点,加上其商业可用性,扩展了开源社区中大型模型创意应用的潜力。
2024 年 1 月 25 日
使用 RoMa 让 3D 旋转和空间变换变得简单
在处理四元数、旋转向量、右手定则等难题时感到困扰?试试 RoMa:一个易于使用、稳定且高效的库,用于在 PyTorch 中处理旋转和空间变换。
2024 年 1 月 4 日
torchdistill — 一个模块化、配置驱动的框架,用于可重复的深度学习和知识蒸馏实验
本文总结了 torchdistill(v1.0.0)的关键特性和概念。请参阅官方文档了解其 API 和研究项目。
2023 年 12 月 06 日
PyPose:基于物理优化的机器人学习库
我们非常高兴地分享我们的新开源库 PyPose。它是一个基于 PyTorch 的面向机器人的库,提供了一套工具和算法,用于将深度学习与基于物理的优化相结合。
2023 年 11 月 09 日
如何通过激活检查点技术实现深度学习模型的扩展训练
激活检查点是一种用于减少内存占用但增加计算量的技术。它基于一个简单的观察:如果我们只是按需重新计算它们,就可以避免保存用于反向计算的中间张量。
2023 年 10 月 26 日
torch.compile,详解
你是否曾感到 torch.compile 的复杂性让你感到不知所措?深入了解其工作原理就像黑魔法一样,涉及字节码和 Python 内部细节,许多用户难以理解,这阻碍了他们理解和调试 torch.compile。
2023 年 7 月 6 日
揭示半监督学习之力:统一半监督学习基准
机器学习模型需要高质量、完全标注的数据。传统的监督学习方法通常需要数百万甚至数十亿规模的数据来训练大型基础模型。然而,获取如此大量的标注数据往往是繁琐且劳动密集型的。作为一种替代方案,半监督学习(SSL)旨在仅使用一小部分标注数据,辅以大量未标注数据来增强模型泛化能力。这...
2023 年 6 月 29 日
介绍 TorchOpt:一个针对 PyTorch 的高性能可微分优化库
探索 TorchOpt,这是一个基于 PyTorch 的库,它通过统一的编程抽象、高性能分布式执行运行时以及支持多种微分模式,彻底改变了可微分优化。
2023 年 4 月 4 日
使用 octoml-profile 对 PyTorch 语言模型进行性能分析
PyTorch 2.0 的最近发布清楚地表明,社区正在大力投资于机器学习的编译器驱动未来。新的 OctoML Profiler 可以帮助任何用户实现这些 ML 领域变革的全面潜力。
2023 年 2 月 10 日
如何使用 PyTorch 和 Azure 机器学习实现 FASHABLE 的 SoA 真实 AI 生成图像
Fashable 是一家在 XNFY 实验室(与微软的联合倡议)诞生的公司。该公司的目标是通过基于 PyTorch 框架的道德人工智能(AI)技术,彻底改变时尚界。Fashable 专注于开发为全球时尚产业生成合成内容的 AI 模型。近年来,时尚产业因产生大量废料,并负责全球二氧化碳排放量的 10%而受到批评。Fas...
2023 年 1 月 31 日
最新 Colossal-AI 拥有新颖的自动并行性,为 Stable Diffusion 2 节省高达 46 倍
作为 PyTorch 生态系统的新合作伙伴,HPC-AI Tech 团队期待与 PyTorch 社区合作,通过我们的开源项目 Colossal-AI 推进 AI 技术。我们很高兴能与 PyTorch 社区携手努力。
2023 年 1 月 6 日
使用 PyTorch 和 Azure ML 进行分布式训练
假设你有一个非常大的 PyTorch 模型,你已经尝试了许多常见的技巧来加速训练:你优化了你的代码,你将训练迁移到云端并选择了快速的 GPU 虚拟机,你安装了提高训练性能的软件包(例如,在 Azure ML 上使用 ACPT 精选环境)。然而,你仍然希望你的模型能够训练得更快。也许现在是时候尝试分布式训练了!继续阅读,了解进行分布式训练的最简单方法...