QConfigMapping¶
- class torch.ao.quantization.qconfig_mapping.QConfigMapping[source]¶
模型操作到
torch.ao.quantization.QConfig
的映射。用户可以使用以下方法指定 QConfig(按匹配优先级递增):
set_global
:设置全局(默认)QConfigset_object_type
:为给定的模块类型、函数或方法名称设置 QConfigset_module_name_regex
:为与给定正则表达式字符串匹配的模块设置 QConfigset_module_name
:为与给定模块名称匹配的模块设置 QConfigset_module_name_object_type_order
:为与给定模块名称、对象类型和模块出现的索引组合匹配的模块设置 QConfig示例用法
qconfig_mapping = QConfigMapping() .set_global(global_qconfig) .set_object_type(torch.nn.Linear, qconfig1) .set_object_type(torch.nn.ReLU, qconfig1) .set_module_name_regex("foo.*bar.*conv[0-9]+", qconfig1) .set_module_name_regex("foo.*", qconfig2) .set_module_name("module1", qconfig1) .set_module_name("module2", qconfig2) .set_module_name_object_type_order("foo.bar", torch.nn.functional.linear, 0, qconfig3)
- classmethod from_dict(qconfig_dict)[source]¶
从具有以下键的字典创建
QConfigMapping
(所有键都是可选的)“” (用于全局 QConfig)
“object_type”
“module_name_regex”
“module_name”
“module_name_object_type_order”
此字典的值应为元组列表。
- 返回类型
- set_module_name(module_name, qconfig)[source]¶
为与给定模块名称匹配的模块设置 QConfig。如果已经为现有模块名称设置了 QConfig,则新的 QConfig 将覆盖旧的 QConfig。
- 返回类型
- set_module_name_object_type_order(module_name, object_type, index, qconfig)[source]¶
为与给定模块名称、对象类型和模块出现的索引组合匹配的模块设置 QConfig。
如果已经为现有的(模块名称、对象类型、索引)设置了 QConfig,则新的 QConfig 将覆盖旧的 QConfig。
- 返回类型
- set_module_name_regex(module_name_regex, qconfig)[source]¶
为与给定正则表达式字符串匹配的模块设置 QConfig。
将按注册这些正则表达式的顺序匹配正则表达式。因此,调用方应首先注册更具体的模式,例如:
qconfig_mapping = QConfigMapping() .set_module_name_regex("foo.*bar.*conv[0-9]+", qconfig1) .set_module_name_regex("foo.*bar.*", qconfig2) .set_module_name_regex("foo.*", qconfig3)
在此示例中,“foo.bar.conv0”将匹配 qconfig1,“foo.bar.linear”将匹配 qconfig2,“foo.baz.relu”将匹配 qconfig3。
如果已经为现有模块名称正则表达式设置了 QConfig,则新的 QConfig 将覆盖旧的 QConfig,同时保留最初注册正则表达式的顺序。
- 返回类型