LMHeadActorValueOperator

class torchrl.modules.tensordict_module.LMHeadActorValueOperator(*args, **kwargs)

从类似 huggingface 的 *LMHeadModel 构建 Actor-Value 运算符。

此方法

• 将类似 huggingface 的 *LMHeadModel 作为输入

• 提取最终线性层，将其用作 actor_head 的基础层，并且

  添加采样层

• 使用通用 transformer 作为通用模型

• 添加线性 critic

参数:

base_model – 由 .transformer 模型和 .lm_head 线性层组成的 torch 模型