部分可观测环境中基于图强化的任务卸载与资源分配方法

doi:10.12068/j.issn.1005-3026.2025.20230216

摘要/Abstract

摘要：

为了解决部分可观测环境中由于边缘服务器之间缺乏有效通信而导致的全局信息缺失问题，构建了基于图注意力机制的边缘服务器间沟通机制，将移动边缘计算（mobile edge computing，MEC）系统构建为图结构，使边缘服务器之间可以通过图中的边进行消息传递，进而间接得到MEC系统的全局状态信息.同时引入双注意力机制，使边缘服务器更多关注对策略优化更有用的通信消息，加快模型收敛速度并提高算法性能.仿真实验结果表明，与基线算法相比，本文所提出的算法可以有效降低任务完成时延与能耗，同时具有收敛速度快的优点.

关键词: 移动边缘计算, 深度强化学习, 任务卸载, 资源分配, 消息通信

Abstract:

To address the issue of global information loss due to ineffective communication among edge servers in partially observable environment， an inter‑edge server communication mechanism based on a graph attention mechanism is constructed， where the mobile edge computing （MEC） system is represented as a graph structure， allowing message passing between edge servers through the edges in the graph to indirectly obtain the global state information of the MEC system. The dual attention mechanism is introduced to enable agents to focus more on communication messages that are more useful for policy optimization， thereby accelerating the convergence speed of the model and improving algorithm performance. Simulation experimental results demonstrate that compared to baseline algorithms， the proposed algorithm effectively reduces task completion delay and energy consumption while exhibiting faster convergence speed.

Key words: mobile edge computing （MEC）, deep reinforcement learning, task offloading, resource allocation, message communication

中图分类号:

TP 393

代钰, 景宗明, 杨雷, 高振. 部分可观测环境中基于图强化的任务卸载与资源分配方法[J]. 东北大学学报（自然科学版）, 2025, 46(1): 9-17.

Yu DAI, Zong-ming JING, Lei YANG, Zhen GAO. A Graph Reinforcement-Based Approach to Task Offloading and Resource Allocation in Partially Observable Environment[J]. Journal of Northeastern University(Natural Science), 2025, 46(1): 9-17.

图/表 9

图1 移动边缘网络场景

Fig.1 Mobile edge network scenario

图2 MAGA算法的网络结构

Fig.2 Network structure of MAGA algorithm

图3 不同学习率对系统奖励的影响

Fig.3 Impact of different learning rates on system rewards

图4 不同折扣因子对系统奖励的影响

Fig.4 Impact of different discount factors on system rewards

图5 不同算法的系统奖励

Fig.5 System rewards of different algorithms

图6 不同算法的平均任务完成时延

Fig.6 Average task completion delay of different algorithms

图7 不同算法的平均能耗

Fig.7 Average energy consumption of different algorithms

图8 三种算法的收敛性

Fig.8 Convergence of the three algorithms

图9 移动设备的数量对于算法时延的影响

Fig.9 Impact of the number of mobile devices on algorithm delay

参考文献 25

1	Chen C， Chen L L， Liu L，et al.Delay‑optimized V2V‑based computation offloading in urban vehicular edge computing and networks［J］.IEEE Access，2020，8：18863-18873.
2	Zhao L， Zhang E C， Wan S H，et al.MESON：a mobility‑aware dependent task offloading scheme for urban vehicular edge computing［J］.IEEE Transactions on Mobile Computing，2023，23（5）：4259-4272.
3	Pu L J， Chen X， Mao G Q，et al.Chimera：an energy‑efficient and deadline‑aware hybrid edge computing framework for vehicular crowdsensing applications［J］.IEEE Internet of Things Journal，2019，6（1）：84-99.
4	Feng L， Zhou Y， Liu T，et al.Energy‑efficient offloading for mission‑critical IoT services using EVT‑embedded intelligent learning［J］.IEEE Transactions on Green Communications and Networking，2021，5（3）：1179-1190.
5	Qian Y C， Wang R， Wu J，et al.Reinforcement learning‑based optimal computing and caching in mobile edge network［J］.IEEE Journal on Selected Areas in Communications，2020，38（10）：2343-2355.
6	Shi J M， Du J， Shen Y，et al.DRL‑based V2V computation offloading for blockchain‑enabled vehicular networks［J］.IEEE Transactions on Mobile Computing，2022，22（7）：3882-3897.
7	Chen J， Xing H L， Xiao Z W，et al.A DRL agent for jointly optimizing computation offloading and resource allocation in MEC［J］.IEEE Internet of Things Journal，2021，8（24）：17508-17524.
8	Zhao N， Ye Z Y， Pei Y Y，et al.Multi‑agent deep reinforcement learning for task offloading in UAV‑assisted mobile edge computing［J］.IEEE Transactions on Wireless Communications，2022，21（9）：6949-6960.
9	Tang L， Du Y C， Liu Q H，et al.Digital‑twin‑assisted resource allocation for network slicing in industry 4.0 and beyond using distributed deep reinforcement learning［J］.IEEE Internet of Things Journal，2023，10（19）：16989-17006.
10	Ye Z H， Wang K， Chen Y N，et al.Multi‑UAV navigation for partially observable communication coverage by graph reinforcement learning［J］.IEEE Transactions on Mobile Computing，2022，22（7）：4056-4069.
11	Tang M， Wong V W S.Deep reinforcement learning for task offloading in mobile edge computing systems［J］.IEEE Transactions on Mobile Computing，2020，21（6）：1985-1997.
12	Gao Z， Yang L， Dai Y.Fast adaptive task offloading and resource allocation in large‑scale MEC systems via multiagent graph reinforcement learning［J］.IEEE Internet of Things Journal，2023，11（1）：758-776.
13	Yan J， Bi S Z， Zhang Y J A.Offloading and resource allocation with general task graph in mobile edge computing：a deep reinforcement learning approach［J］.IEEE Transactions on Wireless Communications，2020，19（8）：5404-5419.
14	Zhu X Y， Luo Y Y， Liu A F，et al.Multiagent deep reinforcement learning for vehicular computation offloading in IoT［J］.IEEE Internet of Things Journal，2021，8（12）：9763-9773.
15	Shannon C E.A mathematical theory of communication［J］.The Bell System Technical Journal，1948，27（3）：379-423.
16	Gao Z， Yang L， Dai Y.Large‑scale cooperative task offloading and resource allocation in heterogeneous mec systems via multi‑agent reinforcement learning［J］.IEEE Internet of Things Journal，2023，11（2）：2303-2321.
17	Zhai Z W， Wu Q， Yu S，et al.FedLEO：an offloading‑assisted decentralized federated learning framework for low earth orbit satellite networks［J］.IEEE Transactions on Mobile Computing，2023，23（5）：5260-5279.
18	Chen Q J， Yang C， Lan S L，et al.Two‑stage evolutionary search for efficient task offloading in edge computing power networks［J］.IEEE Internet of Things Journal，2024，11（19）：30787-30799.
19	Knuth D E.Two notes on notation［J］.American Mathematical Monthly，1992，99（5）：403-422.
20	Tang Z， Wan B Y， Yang L.Word‑character graph convolution network for chinese named entity recognition［J］.IEEE/ACM Transactions on Audio，Speech，and Language Processing，2020，28：1520-1532.
21	Gündüz D， Qin Z J， Inaki E A，et al.Beyond transmitting bits：context，semantics，and task‑oriented communications［J］.IEEE Journal on Selected Areas in Communications，2022，41（1）：5-41.
22	Dai B， Niu J W， Ren T，et al.Towards energy‑efficient scheduling of UAV and base station hybrid enabled mobile edge computing［J］.IEEE Transactions on Vehicular Technology，2021，71（1）：915-930.
23	Qiu X Y， Zhang W K， Chen W H，et al.Distributed and collective deep reinforcement learning for computation offloading：a practical perspective［J］.IEEE Transactions on Parallel and Distributed Systems，2021，32（5）：1085-1101.
24	Song F H， Xing H L， Wang X H，et al.Evolutionary multi‑objective reinforcement learning based trajectory control and task offloading in UAV‑assisted mobile edge computing［J］.IEEE Transactions on Mobile Computing，2022，22（12）：7387-7405.
25	Song F H， Xing H L， Wang X H，et al.Offloading dependent tasks in multi‑access edge computing：a multi‑objective reinforcement learning approach［J］.Future Generation Computer Systems，2022，128：333-348.

[1]	尉健一，吴菁晶. 基于边缘计算的工业物联网中资源分配算法[J]. 东北大学学报（自然科学版）, 2023, 44(8): 1072-1078.
[2]	赵钊，原培新，唐俊文，陈锦林. 基于改进SNN-HRL的智能体路径规划算法[J]. 东北大学学报（自然科学版）, 2023, 44(11): 1548-1555.
[3]	张雪峰，王照乙. 基于双决斗深度Q网络的自动换道决策模型[J]. 东北大学学报（自然科学版）, 2023, 44(10): 1369-1376.
[4]	刘军，代福成，辛宁. 基于多目标优化的虚拟机部署策略[J]. 东北大学学报（自然科学版）, 2022, 43(5): 609-617.
[5]	叶国全，郭伏，李峰香，胡名彩. 电影植入广告有效性的影响机制[J]. 东北大学学报（自然科学版）, 2021, 42(12): 1797-1804.
[6]	于笑，雷为民，谢冰，赵金峰. 一种基于QoS的星座通信系统跨层资源分配算法[J]. 东北大学学报:自然科学版, 2018, 39(3): 320-324.
[7]	张斌，朱孟笑，赵秀涛，张长胜. 面向成本优化的SBS虚拟化资源分配[J]. 东北大学学报:自然科学版, 2015, 36(7): 929-933.
[8]	刘福来，丘惠珍，周庆平，杜瑞燕. 一种有效的比例公平算法[J]. 东北大学学报:自然科学版, 2014, 35(11): 1535-1538.
[9]	于淼，宫俊，唐加福，朱华波. 带排队信息提示的呼叫中心人力资源分配方法[J]. 东北大学学报:自然科学版, 2014, 35(1): 1-4.
[10]	王恩泽;乔建忠;林树宽;. 一种基于超边际分析的分布式计算资源分配方法[J]. 东北大学学报(自然科学版), 2011, 32(2): 219-222+231.
[11]	郝宪文;代钰;张斌;陈廷伟;. 基于约简任务资源分配图的网格依赖任务静态调度[J]. 东北大学学报(自然科学版), 2008, 29(7): 948-951.
[12]	陈廷伟;张斌;郝宪文;. 基于免疫遗传算法的网格任务调度[J]. 东北大学学报(自然科学版), 2007, 28(3): 329-332.
[13]	王兴伟;江南;王家林;黄敏;. 一种基于微观经济学的网格资源分配模型[J]. 东北大学学报(自然科学版), 2006, 27(7): 731-734.