基于双层Markov DRL架构的分布式星群激光组网算法
随着卫星网络、天-空-地综合网络、物联网的发展，未来巨型星座、高分辨率对地观测、载人飞船、空间站等构成的天基信息系统对大容量空间信息组网传输提出了日益迫切的需求。空间分布式星群（distributed satellite cluster, DSC）克服单星平台的资源约束和技术瓶颈，采用多颗同轨异构卫星的分布式载荷协同合作，实现空间大容量高速数据组网传输与交换，为上述需求提供了有效的解决方案。
同轨多星轨道相对位置高速变化和星载光学相控阵天线的视场约束，造成分布式星群的拓扑动态时变和间歇性链路中断，需要解决两种情况下的快速拓扑重构和动态连续组网问题。针对上述问题，在Space: Science & Technology（《空间科学与技术》（英文））新发表的文章中，来自中山大学系统科学与工程学院和军事科学院系统工程研究院的学者们，共同建立了空间分布式星群激光组网的多目标优化模型，提出了基于双层Markov DRL架构的分布式星群激光组网算法，实现了分布式星群拓扑动态时变和间歇性链路中断情况下的快速拓扑重构和动态连续组网，最大限度地提高了网络连通性和网络持续时间，最小化了网络连接矩阵的扰动。
一图读懂全文
首先，作者给出了系统模型和问题描述。假设分布式星群由N个GEO卫星节点组成。星群中的每颗卫星分别装有两副多波束光学天线，分别位于卫星的北侧和南侧。当卫星i的天线k与卫星j的天线l均相互可见时且满足误码率约束时，则认为两者之间存在可用链路。通过分析所有卫星节点，可以得到整个分布式星群的可用链路，并表示为一个元素为0或1的矩阵Link。根据矩阵Link可得到各卫星搭载天线的连通矩阵Ant，并进一步得到整个分布式星群的连通矩阵Tp。在分布式星群组网过程中，以网络连通性、网络持续时间、和网络连接矩阵扰动为目标，构建网络拓扑重构和连续组网多目标优化模型，该多目标优化问题的计算复杂度为O(2NsatNant)，是一个混合整数规划问题，属于典型的NP-hard问题。
Fig. 1 Topology Diagram of the DSC Network
随后，作者提出了一种基于双层马尔可夫决策模型的深度强化学习算法DLM-DRL来解决上述问题。优化求解过程如图2所示：连续跟踪分布式星群的运行状态，获得各卫星位置和激光链路状态；计算整个分布式星群的可用链路；检查分布式星群网络是否连通；如果是，系统继续跟踪分布式星群的运行状态；否则，调用DLM-DRL算法重建星间激光链路，并根据算法结果重建分布式星群网络。DLM-DRL算法中，分布式星群网络的拓扑变化事件被建模为一个决策节点，多个拓扑优化变化事件的综合拓扑优化过程被建模为马尔可夫决策过程；每个拓扑变化事件的优化决策由一系列激光链路选择动作组成，也可以用马尔科夫决策过程来描述。因此，针对分布式星群的拓扑优化过程，建立了如图3所示的具有内部和外部马尔可夫决策过程的双层马尔可夫决策模型。内层是分布式星群中可用激光链路的选择过程，每个状态表示是否连通激光链路；外层是分布式星群的不同网络拓扑变化事件，每个事件以内层马尔可夫决策过程的结果作为其行动，并对其进行优化。基于上述双层马尔可夫过程模型，提出如图4所示的分层深度强化学习架构。
Fig. 2 Optimization Process of DSC Networking
Fig. 3 Markov Decision Model of DSC
Fig. 4 Double-layer DRL Architecture
最后，作者在典型分布式星群应用场景下对DLM-DRL进行了仿真并对结果进行了总结。仿真大致分为两部分：一是利用STK 11.2软件搭建空间环境，模拟分布式星群的运行过程；二是在环境中训练和验证DLM-DRL算法。结果表明，在算法收敛性方面，所提出的DLM-DRL算法在较短时间内即可完成收敛，收敛速度快；在优化结果方面，整个仿真周期内随着星群拓扑动态时变和链路间歇性中断，算法均能够快速高效完成网络拓扑重构，且能够充分保证分布式星群网络的连通度；通过设置不同优化任务目标，DLM-DRL算法能够给出具有不同目标侧重的优化结果，如更高的连通度、更少的拓扑变化或更长的拓扑维持时间，以此满足不同的分布式星群组网需求。此外，DLM-DRL算法与NSGA-II和PSO算法的效果对比显示，DLM-DRL算法在保持与NSGA-II和PSO算法相当的优化结果的前提下，能够显著缩短网络拓扑优化时间，适应空间分布式星群的快速拓扑重构和动态连续组网要求。
Fig. 5 Optimal Results of DSC with Different Tasks
尹 浩，男，工学博士，中国科学院院士，军事科学院研究员，博士生导师，通信网络领域专家，中国电子学会常务理事，工业和信息化部通信科学技术委员会常委等。主要从事通信网络技术研究，在复杂环境通信网络理论方法研究、体系结构设计和技术应用等方面取得了多项创新性成果，主持完成20多项国家和国防重大科研项目，获国家科技进步奖、省部级科技进步奖多项。
何元智，女，工学博士，研究员，军事科学院首席专家，北京航空航天大学、北京理工大学和中山大学兼职教授，博士生导师。中国科协人才专委会委员、中国通信学会卫星通信委员会委员、《电子与信息学报》副主编。长期从事卫星通信系统总体设计、组网理论研究和关键技术攻关工作，获国家科技进步一等奖1项、二等奖1项，省部级科技进步特等奖1项、一等奖8项；获何梁何利科技创新奖、中国青年科技奖特别奖、中国青年女科学家奖和钱学森杰出贡献奖；入选国家百千万人才工程。目前的研究方向为卫星通信组网应用、空间分布式网络、空间频轨资源管控等。
文章链接：
https://spj.science.org/doi/10.34133/space.0012
引用信息：
He Y., Sheng B, Yin H, Liu Y and Zhang Y. Distributed Satellite Cluster Laser Networking Algorithm with Double-Layer Markov DRL Architecture. Space Sci. Technol. 2023;3:Article 0012. https://doi.org/10.34133/space.0012
>End
>>>
充满激情的新时代，
充满挑战的新疆域，
与踔厉奋发的引领者，
卓尔不群的企业家，
一起开拓，
一起体验，
一起感悟，
共同打造更真品质，
共同实现更高价值，
共同见证商业航天更大的跨越！
——《卫星与网络》，观察，记录，传播，引领。
>>>
·《卫星与网络》特别顾问：王兆耀
·《卫星与网络》编辑委员会
高级顾问：王国玉、刘程、童旭东、相振华、王志义、杨烈
· 《卫星与网络》创始人：刘雨菲
· 《卫星与网络》副社长：袁鸿翼，王俊峰，周磊
微信扫码关注该文公众号作者