(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210983746.3 (22)申请日 2022.08.17 (71)申请人 北京智芯微电子科技有限公司 地址 100192 北京市海淀区西小口路6 6号 中关村东升科技园A区3号楼 (72)发明人 苑佳楠　霍超　白晖峰　张港红　 高建　郑利斌　于华东　尹志斌　 罗安琴　谢凡　申一帆　杨双双　 丁啸　 (74)专利代理 机构 北京智信四方知识产权代理 有限公司 1 1519 专利代理师 彭杰 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01)G06K 9/62(2022.01) G06Q 50/06(2012.01) (54)发明名称 拓扑识别模型的压缩方法、 装置、 电子设备 及介质 (57)摘要 本公开涉及计算机技术领域， 具体涉及一种 拓扑识别模型的压缩方法、 装置、 电子设备及介 质， 所述拓扑识别模型的压缩方法包括： 对待压 缩模型进行剪枝， 得到剪枝模型， 并对所述剪枝 模型进行训练， 得到训练好的剪枝模型； 将所述 训练好的剪枝模型中各神经网络层的权重参数 的比特位数由第一比特位数量化到第二比特位 数， 得到高量化剪枝模型， 并对所述高量化剪枝 模型进行训练， 得到训练好的高量化剪枝模型； 将所述训练好的高量化剪枝模型作为待压缩模 型， 继续对所述待压缩模型进行剪枝和量化， 直 至得到压缩好的拓扑识别模型， 并将所述压缩好 的拓扑识别模 型部署到电力物联 终端， 从而在确 保拓扑识别模 型的精度满足需求的情况下， 减小 拓扑识别模型的尺寸。 权利要求书5页 说明书12页 附图4页 CN 115049058 A 2022.09.13 CN 115049058 A 1.一种拓扑识别模型的压缩方法， 其特 征在于， 所述方法包括： 对待压缩模型进行剪枝， 得到剪枝模型， 并对所述剪枝模型进行训练， 得到训练好的剪 枝模型； 其中， 所述待压缩模型为拓扑识别模型， 所述拓扑识别模型为运行在服务端的用于 识别电网拓扑 结构的机器学习模型； 将所述训练好的剪枝模型中各神经网络层的权重参数的比特位数由第一比特位数量 化到第二比特位数， 得到高量化剪枝模 型， 并对所述高量化剪枝模型进 行训练， 得到训练好 的高量化剪枝模型； 其中， 所述第二比特位数小于所述第一比特位数； 将所述训练好的高量化剪枝模型作为待压缩模型， 继续对所述待压缩模型进行剪枝和 量化， 直至得到压缩好的拓扑识别模型， 并将所述压缩好的拓扑识别模型部署到电力物联 终端。 2.根据权利要求1所述的方法， 其特征在于， 所述对待压缩模型进行剪枝， 得到剪枝模 型， 包括： 通过稀疏正则化训练， 确定所述待压缩模型中的冗余通道， 并从所述待压缩模型中移 除所述冗余 通道， 得到所述剪枝模型。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 将全连接层作为线性分类器， 使用所述线性分类器得到所述待压缩模型中各个神经网 络层的识别精度； 如果所述待压缩模型中任意两个相邻神经网络层的识别精度之间的差值小于预设差 值阈值， 则将所述任意两个相邻神经网络层中识别精度最低的神经网络层移除。 4.根据权利要求3所述的方法， 其特征在于， 所述将全连接层作为线性分类器， 使用所 述线性分类 器得到所述待压缩 模型中各个神经网络层的识别精度， 包括： 从所述待压缩模型中选择任意两个相邻神经网络层， 移除所述任意两个相邻神经网络 层中的一个神经网络层， 得到神经网络层精度预测模型； 使用带标注 的预测数据集， 对所述神经网络层精度预测模型进行测试， 得到所述神经 网络层精度预测模型的输出精度， 将所述输出精度作为所述任意两个相 邻神经网络层中未 被移除的神经网络层的识别精度。 5.根据权利要求1所述的方法， 其特征在于， 所述对所述剪枝模型进行训练， 得到训练 好的剪枝模型， 包括： 使用所述待压缩 模型， 对无 标签训练数据集中的训练数据做标注， 得到训练数据集； 使用所述训练数据集， 对所述剪枝模型进行训练， 得到训练好的剪枝模型。 6.根据权利要求5所述的方法， 其特征在于， 所述使用所述待压缩模型， 对无标签训练 数据集中的训练数据做标注， 得到训练数据集， 包括： 将所述训练数据输入所述待压缩模型， 将所述待压缩模型的输出结果作为所述训练数 据的标签； 将所述训练数据与所述训练数据的标签， 作为所述训练数据集中的一组训练数据。 7.根据权利要求5所述的方法， 其特征在于， 所述使用所述训练数据集， 对所述剪枝模 型进行训练， 得到训练好的剪枝模型， 包括： 使用损失函数， 根据所述剪枝模型的输出与所述训练数据集中训练数据的标签， 得到 损失值；权　利　要　求　书 1/5 页 2 CN 115049058 A 2根据所述损失值， 判断所述损失函数 是否收敛； 若是， 则停止训练， 否则， 调整所述剪枝模型的参数， 并进行下一次训练， 直至所述损失 函数收敛或者训练次数达 到预设训练次数阈值。 8.根据权利要求7 所述的方法， 其特 征在于， 所述方法还 包括： 如果训练次数达到所述预设训练次数阈值， 所述损 失函数还未收敛， 则参照所述待压 缩模型， 增加所述剪枝模型的通道或者神经网络层。 9.根据权利要求1所述的方法， 其特征在于， 所述将所述训练好的剪枝模型中各神经网 络层的权重参数 的比特位数 由第一比特位数量化到第二比特位数， 得到高量化剪枝模型， 包括； 将所述剪枝模型中的各个神经网络层的权重参数由第一比特位数量化到第二比特位 数， 并对所述剪枝模型进行训练； 将所述剪枝模型的全连接层的权重参数的比特位数由第一比特位数量化到第二比特 位数， 并对所述剪枝模型进行训练； 对所述剪枝模型的激活函数进行量 化， 得到所述高量 化剪枝模型。 10.根据权利要求1所述的方法， 其特征在于， 所述对所述高量化剪枝模型进行训练， 得 到训练好的高量 化剪枝模型， 包括： 从所述高量 化剪枝模型中选择至少一个神经网络层构建损失函数； 使用所述剪枝模型， 对无 标签训练数据集中的训练数据做标注， 得到训练数据集； 根据所述损 失函数和所述训练数据集， 对所述高量化剪枝模型进行训练， 得到训练好 的高量化剪枝模型。 11.根据权利要求10所述的方法， 其特征在于， 所述使用所述剪枝模型， 对无标签训练 数据集中的训练数据做标注， 得到训练数据集， 包括： 将所述训练数据输入所述剪枝模型， 将所述剪枝模型中的参照网络层的输出作为所述 训练数据的标签； 其中， 所述参照网络层与所述高量化剪枝模型中被选择 的所述至少一个 神经网络层对应； 将所述训练数据与所述训练数据的标签， 作为所述训练数据集中的一组训练数据。 12.根据权利要求10所述的方法， 其特征在于， 所述根据 所述损失函数和所述训练数据 集， 对所述高量 化剪枝模型进行训练， 得到训练好的高量 化剪枝模型， 包括： 使用所述损失函数， 根据所述高量化剪枝模型中的所述至少一个神经网络层的输出与 所述训练数据集中训练数据的标签， 得到损失值； 根据所述损失值， 判断所述损失函数 是否收敛； 若是， 则停止训练， 否则， 调整所述高量化剪枝模型的参数， 并进行下一次训练， 直至所 述损失函数收敛或者训练次数达 到预设训练次数阈值。 13.根据权利要求12所述的方法， 其特 征在于， 所述方法还 包括： 如果训练次数达到所述预设训练次数阈值， 所述损 失函数还未收敛， 则参照所述剪枝 模型中神经网络层的权重参数， 将所述高量化剪枝模型中的至少一个权重参数的比特位数 由所述第二比特位数增 加到所述第一比特位数。 14.根据权利要求9所述的方法， 其特征在于， 所述将所述剪枝模型中的各个神经网络 层的权重参数由第一比特位数量 化到第二比特位数， 包括：权　利　要　求　书 2/5 页 3 CN 115049058 A 3