(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210949981.9 (22)申请日 2022.08.09 (71)申请人 中国电力科 学研究院有限公司 地址 100192 北京市海淀区清河小营东路 15号 申请人 国网北京市电力公司 　 国家电网有限公司 (72)发明人 李健　韩笑　傅凯　王新迎　 马慧远　 (74)专利代理 机构 北京中巡通大知识产权代理 有限公司 1 1703 专利代理师 齐书田 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 10/06(2012.01)G06Q 50/06(2012.01) G06N 3/08(2006.01) (54)发明名称 基于多智能体强化学习的多能源优化方法、 系统和介质 (57)摘要 本发明公开了基于多智能体强化学习的多 能源优化方法、 系统和介质， 获取区域能源互联 网数据； 根据区域能源互联网数据设置区域能源 互联网环 境； 将多智能体深度强化学习 与区域能 源互联网环 境进行交互训练， 在交互训练过程中 引入注意力机制， 得到多能源协同优化运行策 略。 本发明通过多智能体深度强化学习和注意力 机制相结合， 以集中训练分布执行的模式， 利用 人工智能算法， 保护多主体利益隐私 的同时， 实 现区域能源互联网运行优化， 进一步提高多能源 利用率， 从而保证能源互联网安全、 稳定、 高效运 行。 权利要求书5页 说明书15页 附图3页 CN 115375015 A 2022.11.22 CN 115375015 A 1.基于多智能体强化学习的多能源 优化方法， 其特 征在于， 包括： 获取区域能源互联网数据； 根据区域能源互联网数据设置区域能源互联网环境； 将多智能体深度强化学习与区域能源互联网环境进行交互训练， 在交互训练过程中引 入注意力机制， 得到多能源协同优化 运行策略。 2.根据权利要求1所述的基于多智能体强化学习的多能源优化方法， 其特征在于， 所述 区域能源互联网数据包括电力系统参数、 热力系统参数、 天然气系统参数和可再生能源参 数； 所述电力系统参数包括： 系统频率、 火力发电机组有功功率和无功功率、 发电机组燃料 输入量、 电负荷消耗的有功功率和无功功率、 电力系统网络节点数、 系统电压幅值、 相角以 及电储能容 量； 所述天然气系统参数包括： 天然气管道稳态流 量、 节点气压和温度以及气负荷； 所述热力系统参数包括： 电锅炉的功率和实 际转换热量、 燃气锅炉的功率和实 际转换 热量、 热网中各节点气压和温度、 管道中介质流 量和热负荷； 所述可再生能源参数包括： 风力发电机组有功 功率以及光伏发电机组有功 功率。 3.根据权利要求2所述的基于多智能体强化学习的多能源优化方法， 其特征在于， 所述 区域能源互联网环境包括状态空间和动作空间； 所述状态空间如下式所示： 式中， Si,T为状态空 间， T为当前所处调度时段， 为i子区域T时段 火电机组有功功率， 为i子区域T时段火电机组燃煤输入， 为i子区域T时段不包含电锅炉的其他电负荷 功率， 为i子区域T时段电储能电量， 为i子区域T时段电锅炉有功功率， 为i子区 域T时段燃气锅炉燃气输入量， 为i子区域T时段风电有功功率， 为i子区域T时段光 伏有功功率； 所述动作空间如下式所示： 式中， Ai,T为动作空间， 为i子区域T时段火电机组有功功率， 为i子区域T时段电 储能有功功率， 为i子区域T时段电锅炉有功功率， 为i子区域T时段燃气锅炉燃气输 入量， 为i子区域T时段风电有功 功率， 为i子区域T时段光伏有功 功率。 4.根据权利要求2所述的基于多智能体强化学习的多能源优化方法， 其特征在于， 所述 将多智能体深度强化学习与区域能源互联网环境进行 交互训练过程中， 通过设置奖励机制 使智能体获得最大 奖赏目标， 所述奖励机制包括优化目标函数、 约束条件及奖励函数。 5.根据权利要求4所述的基于多智能体强化学习的多能源优化方法， 其特征在于， 所述 优化目标函数如下式所示： 权　利　要　求　书 1/5 页 2 CN 115375015 A 2式中： Cin为区域能源互联网总体能源输入成本， 为区域能源互联网火力发电燃煤 输入， α 为燃 煤成本系数， 为区域能源互联网天然气能源输入， β 为燃气成本系数； 其中， 式中， n为区域能源互联网中子区域的个数， 每个子区域对应一个智能体， m为子区域中 设备数量， 为第i子区域第j个火力发电出力功率， 为第i子区域第j个火力发电机工 作效率； 为i子区域在 T时段第j 个燃气锅炉天然气输入量， 为i子区域在 T时段第j个 不包括燃气锅炉的气负荷； 其中， 式中， 为i子区域T时段风电有功功率， 为i子区域T时段光伏有功功率， 为i 子区域T时段电储能有功功率， 为i子区域T时段不包含电锅炉的其他电负荷功率， 为i子区域在T时段第j个电锅炉有功 功率。 6.根据权利要求5所述的基于多智能体强化学习的多能源优化方法， 其特征在于， 所述 约束条件 包括： 1)满足电力系统、 热力系统和天热气系统运行 供需平衡； 2)电力系统、 热力系统和天热气系统中各能量生产转换设备均在设备功率上下限范围 内； 电能、 热能生产转换设备的爬坡率满足爬坡率上 下限范围内； 3)电力系统满足系统节点电压标幺值在[0.95,1.0 5]之间。 7.根据权利要求6所述的基于多智能体强化学习的多能源优化方法， 其特征在于， 所述 奖励函数表示如下： R＝R1+R2+R3+R4+R5 式中， R为总奖励函数， R1为第一奖励函数， R2为第二奖励函数， R3为第三奖励函数， R4为 第四奖励函数， R5为第五奖励函 数， R2和R3中有一个满足条件时， 另一个数值为0， R4和R5中有 一个满足条件时， 另一个数值 为0； 式中， Lstep为强化学习算 法迭代步长， v 为系统节点电压 标幺值， k1和k2为奖励系数， k3为 惩罚系数， C1和C2分别为结果满足条件时的奖励常数值。 8.根据权利要求4所述的基于多智能体强化学习的多能源优化方法， 其特征在于， 所述 将多智能体深度强化学习与区域能源互联网环境进行交 互训练， 具体为： 构建区域能源互联网优化 运行算法模型框架；权　利　要　求　书 2/5 页 3 CN 115375015 A 3