LMHeadActorValueOperator

class torchrl.modules.tensordict_module.LMHeadActorValueOperator(*args, **kwargs)

从类似 huggingface 的 *LMHeadModel 构建演员-值运算符。

此方法

• 将类似 huggingface 的 *LMHeadModel 作为输入

• 提取最终线性层，将其用作 actor_head 的基本层，并

  添加采样层

• 使用通用转换器作为通用模型

• 添加线性评论家

参数：:

base_model – 由 .transformer 模型和 .lm_head 线性层组成的 torch 模型