UpdateWeights

class torchrl.trainers.UpdateWeights(collector: DataCollectorBase, update_weights_interval: int)

一个收集器权重更新钩子类。

每当收集器策略权重位于与训练器训练的策略权重不同的设备上时，都必须使用此钩子。在这种情况下，必须定期在设备之间同步这些权重。如果设备匹配，这将导致不执行任何操作。

参数：

• collector (DataCollectorBase) – 必须同步策略权重的數據收集器。

• update_weights_interval (int) – 必须进行同步的间隔（以收集的批次数量表示）。

示例

>>> update_weights = UpdateWeights(trainer.collector, T)
>>> trainer.register_op("post_steps", update_weights)

register(trainer: Trainer, name: str = 'update_weights')

在默认位置将钩子注册到训练器中。

参数：

• trainer (Trainer) – 必须注册钩子的训练器。

• name (str) – 钩子的名称。

注意

要在默认位置之外的其他位置注册钩子，请使用 register_op()。