基于安全强化学习算法的电动汽车充电调度策略

doi:10.12068/j.issn.1005-3026.2025.20230183

摘要/Abstract

摘要：

随着电动汽车数量的增加，强化学习在电动汽车充电调度中面临更多挑战，尤其是大规模应用带来的不确定性和维度灾难问题.针对上述问题，构建了一个居民区微电网模型，综合考虑电动汽车入网模式及其多种非线性充电模型.将充电调度问题建模为一个约束马尔可夫决策过程，并采用无模型的强化学习框架处理不确定性.针对维度灾难问题，设计了一种充放电策略，通过将电动汽车根据状态划分为不同集合，并由智能体向集合发送控制信号，从而减少动作空间维度.随后，利用基于拉格朗日约束的深度确定性策略梯度算法求解充电调度问题，同时引入安全过滤器以确保不违反硬性约束.数值仿真验证了该策略的有效性.

关键词: 电动汽车, 充电调度, 安全强化学习, 电动汽车入网模式, 非线性充电

Abstract:

As the number of electric vehicles （EVs） increases， reinforcement learning （RL） in EV charging scheduling faces challenges， particularly uncertainties and the curse of dimensionality from large‑scale applications. A microgrid model for residential areas， considering the vehicle‑to‑grid （V2G） mode and various nonlinear charging models is developed. The problem is formulated as a constrained Markov decision process （CMDP）， with a model‑free RL framework to handle uncertainties. To address the curse of dimensionality， a strategy is designed where EVs are grouped by states， and agents send control signals to these sets， thus reducing the dimensionality of the action space. A Lagrangian deep deterministic policy gradient （LDDPG） algorithm is employed to solve the charging scheduling problem， with a safety filter ensuring constraint compliance. Numerical simulations validate the strategy’s effectiveness.

Key words: electric vehicle, charging scheduling, safe reinforcement learning, V2G mode, nonlinear charging

中图分类号:

TP 273

潘恒欣, 贾润达, 张树磊. 基于安全强化学习算法的电动汽车充电调度策略[J]. 东北大学学报（自然科学版）, 2025, 46(5): 1-9.

Heng-xin PAN, Run-da JIA, Shu-lei ZHANG. Electric Vehicle Charging Scheduling Strategy Based on Safe Reinforcement Learning Algorithm[J]. Journal of Northeastern University(Natural Science), 2025, 46(5): 1-9.

图/表 10

图1 充电过程中电池能量与充电功率的变化曲线（a）—能量；（b）—功率.

Fig.1 Change curve of battery energy and charging power during charging

图2 阶梯电价模型

Fig.2 Ladder electricity price model

表1 不同天气下不同时间段的光伏发电功率 (kW)

Table1 PV power generation in different time periods under different weather conditions

天气	6：00- 7：00	7：00- 8：00	8：00- 9：00	9：00- 10：00	10：00- 11：00	11：00- 12：00	12：00- 13：00	13：00- 14：00	14：00- 15：00	15：00- 16：00	16：00- 17：00	17：00- 18：00
晴	0.6	9	32	43.8	49	48.6	42.6	32	19.4	9.2	4.2	2.2
多云	0.6	15.2	31.2	39.2	42.4	40.2	31.2	21.8	9.6	2.2	0.4	0
阴	0	0.6	5.6	20.2	25	25.6	24.6	19.2	13.6	4.6	1.8	0.4
雨雪	0.4	1.4	3.4	7.4	9.4	10.2	10	11.4	9.2	4.4	0.6	0.2

表2 不同时间段的负载功率 (kW)

Table 2 Load power in different time periods

（200,10）

[120,240]

（280,5）

[240,320]

（260,10）

[200,320]

（360,5）

[320,400]

（440,10）

[360,520]

（800,10）

[600,880]

（1 160,20）

[880,1 360]

（1 520,20）

[1 360,1 600]

（1 960,20）

[1 600,2 160]

（2 000,20）

[1 640,2 160]

（1 520,30）

[1 320,1 640]

（800,20）

[600,1 200]

表3 不同车型的电动汽车参数

Table 3 Parameters of different EVs

车型	最大储电量/(kW·h)	额定功率/kW	a	b	市场份额/%
Type1	8.2	12	5.854	48	20
Type2	59.39	30	2	120	60
Type3	23.98	10	1.667	40	20

图3 3种车型电动汽车的充电曲线

Fig.3 Charging curves of three types of EVs

图4 CPO，LDDPG，LSAC算法的累计奖励曲线

Fig.4 Curves of cumulative rewards for CPO， LDDPG and LSAC algorithms

图5 CPO，LSAC，LDDPG算法的累计利润曲线

Fig.5 Curves of cumulative profits for CPO， LSAC and LDDPG algorithms

图6 CPO,LSAC,LDDPG算法的累计惩罚曲线

Fig.6 Curves of cumulative penalties for CPO， LSAC and LDDPG algorithms

图7 不同算法7 d的利润（a）—平均利润；（b）—相对Mode1的利润百分比.

Fig.7 Profits of different algorithms for 7 d

参考文献 14

[1]	Zheng Y C， Niu S Y， Shang Y T，et al.Integrating plug‑in electric vehicles into power grids：a comprehensive review on power interaction mode，scheduling methodology and mathematical foundation［J］.Renewable & Sustainable Energy Reviews，2019，112：424-439.
[2]	Wang B， Zhao D B， Dehghanian P，et al.Aggregated electric vehicle load modeling in large‑scale electric power systems［J］.IEEE Transactions on Industry Applications，2020，56（5）：5796-5810.
[3]	Kempton W， Letendre S E.Electric vehicles as a new power source for electric utilities［J］.Transportation Research Part D：Transport and Environment，1997，2（3）：157-175.
[4]	Islam S， Iqbal A， Marzband M，et al.State‑of‑the‑art vehicle‑to‑everything mode of operation of electric vehicles and its future perspectives［J］.Renewable and Sustainable Energy Reviews，2022，166：112574.
[5]	Zhou C Q， Xiang Y， Huang Y，et al.Economic analysis of auxiliary service by V2G：city comparison cases［J］.Energy Reports，2020，6：509-514.
[6]	Rachid A， Fadil H E， Gaouzi K，et al.Electric vehicle charging systems：comprehensive review［J］.Energies，2022，16（1）：255.
[7]	Wang Q L， Liu X， Du J，et al.Smart charging for electric vehicles：a survey from the algorithmic perspective［J］.IEEE Communications Surveys & Tutorials，2016，18（2）：1500-1517.
[8]	Luo C， Huang Y F， Gupta V.Stochastic dynamic pricing for EV charging stations with renewable integration and energy storage［J］.IEEE Transactions on Smart Grid，2018，9（2）：1494-1505.
[9]	Kalashnikov D， Varley J， Chebotar Y，et al.Scaling up multi‑task robotic reinforcement learning［C］//Proceedings of the 5th Conference on Robot Learning.London，2022：557-575.
[10]	Huang Q L， Yang L， Hou C，et al.Event-based EV charging scheduling in a microgrid of buildings［J］.IEEE Transactions on Transportation Electrification，2023，9（1）：1784-1796.
[11]	Wang Y Q， Zhang J， Li L，et al.Research on coordinated charging control strategy load optimization of electric vehicles in residential area［J］.IOP Conference Series：Earth and Environmental Science，2020，510（6）：062030.
[12]	Zhang T Y， Pota H， Chu C C，et al.Real-time renewable energy incentive system for electric vehicles using prioritization and cryptocurrency［J］.Applied Energy，2018，226：582-594.
[13]	Fan P Y， Sainbayar B， Ren S L.Operation analysis of fast charging stations with energy demand control of electric vehicles［J］.IEEE Transactions on Smart Grid，2015，6（4）：1819-1926.
[14]	孙翰墨，申烛，郭宗军，等.不同天气类型对光伏电站理论发电量影响的研究［J］.太阳能，2017（6）：38-42.
	Sun Han‑mo， Shen Zhu， Guo Zong‑jun，et al.Research on the influence of different weather types on the theoretical power generation of photovoltaic power plants［J］.Solar Energy，2017（6）：38-42.