torch.distributed.fsdp 源代码

来自 ._flat_param 导入 FlatParameter 是 平坦参数
来自 ._完全分片 导入 (
    CPU 卸载策略,
    FSDP 模块,
    全部分片,
    混合精度策略,
    转发卸载策略,
    注册 fsdp 转发方法,
    UnshardHandle,
)
来自 .完全分片数据并行 导入 (
    向后预取,
    CPU 卸载,
    全优化状态字典配置,
    全状态字典配置,
    全分片数据并行,
    本地优化状态字典配置,
    本地状态字典配置,
    混合精度,
    优化状态字典配置,
    优化状态键类型,
    分片优化状态字典配置,
    分片状态字典配置,
    分片策略,
    状态字典配置,
    StateDictSettings,
    状态字典类型,
)


全部 = [
    # FSDP1
    "反向预取",
    "CPU 卸载",
    "FullOptimStateDictConfig",
    "FullStateDictConfig",
    "FullyShardedDataParallel",
    "LocalOptimStateDictConfig",
    本地状态字典配置,
    混合精度,
    优化状态字典配置,
    优化状态键类型,
    "分片优化状态字典配置",
    "分片状态字典配置",
    "分片策略",
    "状态字典配置",
    状态字典设置,
    状态字典类型,
    # FSDP2
    CPU 卸载策略,
    "FSDP 模块",
    "全分片",
    "混合精度策略",
    "卸载策略",
    注册 fsdp 前进方法,
    Unshard 处理,
]

# 设置公开的私有名称命名空间
CPU 卸载策略.__module__ = torch.distributed.fsdp
FSDP 模块.__module__ = torch.distributed.fsdp
全分片.__module__ = torch.distributed.fsdp
混合精度策略.__module__ = torch.distributed.fsdp
卸载策略.__module__ = torch.distributed.fsdp
注册 fsdp 前向方法.__module__ = torch.distributed.fsdp
UnshardHandle.__module__ = torch.distributed.fsdp