LMHeadActorValueOperator

class torchrl.modules.tensordict_module.LMHeadActorValueOperator(*args, **kwargs)

从类似 huggingface 的 *LMHeadModel 构建 Actor-Value 操作符。

此方法

• 接收类似 huggingface 的 *LMHeadModel 作为输入

• 提取最终的线性层，并将其用作 actor_head 的基础层，然后添加采样层

• 使用通用 transformer 作为通用模型

• 添加一个线性 critic

参数:

base_model – 一个 torch 模型，由 .transformer 模型和 .lm_head 线性层组成