TiedLinear

class torchtune.modules.TiedLinear(tied_module: Module)

一个没有偏置的绑定线性层，它与另一个线性层共享相同的权重。这对于使用绑定权重的模型很有用，例如 qwen2_0_5b()、qwen2_1_5b() 和所有 gemma() 模型。它需要一个 nn.Module 作为输入，而不是模块的权重，因此它可以与 FSDP 一起使用。否则，在应用 FSDP 后，内存引用将丢失。

参数：

tied_module (nn.Module) – 共享权重的模块。仅使用权重。偏置将被忽略。

引发：

AttributeError – 如果提供的模块没有属性 ‘weight’。