张量视图¶
PyTorch 允许张量成为现有张量的 View
。视图张量与基础张量共享相同的底层数据。支持 View
避免了显式数据复制,因此允许我们执行快速且内存高效的重塑、切片和逐元素操作。
例如,要获取现有张量 t
的视图,您可以调用 t.view(...)
。
>>> t = torch.rand(4, 4)
>>> b = t.view(2, 8)
>>> t.storage().data_ptr() == b.storage().data_ptr() # `t` and `b` share the same underlying data.
True
# Modifying view tensor changes base tensor as well.
>>> b[0][0] = 3.14
>>> t[0][0]
tensor(3.14)
由于视图与基础张量共享底层数据,因此如果您编辑视图中的数据,它也会反映在基础张量中。
通常,PyTorch 操作会返回一个新的张量作为输出,例如 add()
。但在视图操作的情况下,输出是输入张量的视图,以避免不必要的复制。创建视图时不会发生数据移动,视图张量只是更改了它解释相同数据的形式。对连续张量进行视图可能会生成非连续张量。用户应格外注意,因为连续性可能会对性能产生隐式影响。 transpose()
是一个常见的示例。
>>> base = torch.tensor([[0, 1],[2, 3]])
>>> base.is_contiguous()
True
>>> t = base.transpose(0, 1) # `t` is a view of `base`. No data movement happened here.
# View tensors might be non-contiguous.
>>> t.is_contiguous()
False
# To get a contiguous tensor, call `.contiguous()` to enforce
# copying data when `t` is not contiguous.
>>> c = t.contiguous()
作为参考,以下列出了 PyTorch 中所有视图操作。
基本的切片和索引操作,例如
tensor[0, 2:, 1:7:2]
返回基础tensor
的视图,请参见下面的说明。view_as_real()
split_with_sizes()
indices()
(仅限稀疏张量)values()
(仅限稀疏张量)
注意
当通过索引访问张量的内容时,PyTorch 遵循 Numpy 行为,基本索引返回视图,而高级索引返回副本。通过基本索引或高级索引进行的赋值是就地进行的。请参阅 Numpy 索引文档 中的更多示例。
还值得一提的是一些具有特殊行为的操作
reshape()
、reshape_as()
和flatten()
可以返回视图或新张量,用户代码不应该依赖于它是视图还是其他内容。contiguous()
如果输入张量已经是连续的,则返回自身,否则它通过复制数据返回一个新的连续张量。
有关 PyTorch 内部实现的更详细的介绍,请参阅 ezyang 关于 PyTorch 内部实现的博文。