Redian新闻
>
基于双层Markov DRL架构的分布式星群激光组网算法

基于双层Markov DRL架构的分布式星群激光组网算法

公众号新闻


随着卫星网络、天-空-地综合网络、物联网的发展,未来巨型星座、高分辨率对地观测、载人飞船、空间站等构成的天基信息系统对大容量空间信息组网传输提出了日益迫切的需求。空间分布式星群(distributed satellite cluster, DSC)克服单星平台的资源约束和技术瓶颈,采用多颗同轨异构卫星的分布式载荷协同合作,实现空间大容量高速数据组网传输与交换,为上述需求提供了有效的解决方案。

同轨多星轨道相对位置高速变化和星载光学相控阵天线的视场约束,造成分布式星群的拓扑动态时变和间歇性链路中断,需要解决两种情况下的快速拓扑重构和动态连续组网问题。针对上述问题,在Space: Science & Technology(《空间科学与技术》(英文))新发表的文章中,来自中山大学系统科学与工程学院和军事科学院系统工程研究院的学者们,共同建立了空间分布式星群激光组网的多目标优化模型,提出了基于双层Markov DRL架构的分布式星群激光组网算法,实现了分布式星群拓扑动态时变和间歇性链路中断情况下的快速拓扑重构和动态连续组网,最大限度地提高了网络连通性和网络持续时间,最小化了网络连接矩阵的扰动。

一图读懂全文


首先,作者给出了系统模型和问题描述。假设分布式星群由N个GEO卫星节点组成。星群中的每颗卫星分别装有两副多波束光学天线,分别位于卫星的北侧和南侧。当卫星i的天线k与卫星j的天线l均相互可见时且满足误码率约束时,则认为两者之间存在可用链路。通过分析所有卫星节点,可以得到整个分布式星群的可用链路,并表示为一个元素为0或1的矩阵Link。根据矩阵Link可得到各卫星搭载天线的连通矩阵Ant,并进一步得到整个分布式星群的连通矩阵Tp。在分布式星群组网过程中,以网络连通性、网络持续时间、和网络连接矩阵扰动为目标,构建网络拓扑重构和连续组网多目标优化模型,该多目标优化问题的计算复杂度为O(2NsatNant),是一个混合整数规划问题,属于典型的NP-hard问题。

Fig. 1 Topology Diagram of the DSC Network


随后,作者提出了一种基于双层马尔可夫决策模型的深度强化学习算法DLM-DRL来解决上述问题。优化求解过程如图2所示:连续跟踪分布式星群的运行状态,获得各卫星位置和激光链路状态;计算整个分布式星群的可用链路;检查分布式星群网络是否连通;如果是,系统继续跟踪分布式星群的运行状态;否则,调用DLM-DRL算法重建星间激光链路,并根据算法结果重建分布式星群网络。DLM-DRL算法中,分布式星群网络的拓扑变化事件被建模为一个决策节点,多个拓扑优化变化事件的综合拓扑优化过程被建模为马尔可夫决策过程;每个拓扑变化事件的优化决策由一系列激光链路选择动作组成,也可以用马尔科夫决策过程来描述。因此,针对分布式星群的拓扑优化过程,建立了如图3所示的具有内部和外部马尔可夫决策过程的双层马尔可夫决策模型。内层是分布式星群中可用激光链路的选择过程,每个状态表示是否连通激光链路;外层是分布式星群的不同网络拓扑变化事件,每个事件以内层马尔可夫决策过程的结果作为其行动,并对其进行优化。基于上述双层马尔可夫过程模型,提出如图4所示的分层深度强化学习架构。

Fig. 2 Optimization Process of DSC Networking


Fig. 3 Markov Decision Model of DSC


Fig. 4 Double-layer DRL Architecture


最后,作者在典型分布式星群应用场景下对DLM-DRL进行了仿真并对结果进行了总结。仿真大致分为两部分:一是利用STK 11.2软件搭建空间环境,模拟分布式星群的运行过程;二是在环境中训练和验证DLM-DRL算法。结果表明,在算法收敛性方面,所提出的DLM-DRL算法在较短时间内即可完成收敛,收敛速度快;在优化结果方面,整个仿真周期内随着星群拓扑动态时变和链路间歇性中断,算法均能够快速高效完成网络拓扑重构,且能够充分保证分布式星群网络的连通度;通过设置不同优化任务目标,DLM-DRL算法能够给出具有不同目标侧重的优化结果,如更高的连通度、更少的拓扑变化或更长的拓扑维持时间,以此满足不同的分布式星群组网需求。此外,DLM-DRL算法与NSGA-II和PSO算法的效果对比显示,DLM-DRL算法在保持与NSGA-II和PSO算法相当的优化结果的前提下,能够显著缩短网络拓扑优化时间,适应空间分布式星群的快速拓扑重构和动态连续组网要求。

Fig. 5 Optimal Results of DSC with Different Tasks


作者简介

尹 浩,男,工学博士,中国科学院院士,军事科学院研究员,博士生导师,通信网络领域专家,中国电子学会常务理事,工业和信息化部通信科学技术委员会常委等。主要从事通信网络技术研究,在复杂环境通信网络理论方法研究、体系结构设计和技术应用等方面取得了多项创新性成果,主持完成20多项国家和国防重大科研项目,获国家科技进步奖、省部级科技进步奖多项。

何元智,女,工学博士,研究员,军事科学院首席专家,北京航空航天大学、北京理工大学和中山大学兼职教授,博士生导师。中国科协人才专委会委员、中国通信学会卫星通信委员会委员、《电子与信息学报》副主编。长期从事卫星通信系统总体设计、组网理论研究和关键技术攻关工作,获国家科技进步一等奖1项、二等奖1项,省部级科技进步特等奖1项、一等奖8项;获何梁何利科技创新奖、中国青年科技奖特别奖、中国青年女科学家奖和钱学森杰出贡献奖;入选国家百千万人才工程。目前的研究方向为卫星通信组网应用、空间分布式网络、空间频轨资源管控等。




+
+

文章链接:

https://spj.science.org/doi/10.34133/space.0012

引用信息:

He Y., Sheng B, Yin H, Liu Y and Zhang Y. Distributed Satellite Cluster Laser Networking Algorithm with Double-Layer Markov DRL Architecture. Space Sci. Technol. 2023;3:Article 0012. https://doi.org/10.34133/space.0012

>End

>>>                        
本文转载自“空间科学与技术”,原标题《军事科学院尹浩院士、何元智研究员团队:基于双层Markov DRL架构的分布式星群激光组网算法 | SPACE导读》。
为分享前沿资讯及有价值的观点,太空与网络微信公众号转载此文,并经过编辑。
支持保护知识产权,转载请注明原出处及作者。
部分图片难以找到原始出处,故文中未加以标注,如若侵犯了您的权益,请第一时间联系我们。

HISTORY/往期推荐




迪斯尼传播快乐,美丽星球点亮梦想



商业运载火箭为什么那么难?



混合所有制模式:新型举国体制在商业航天发展中的逻辑演进和实践路径(之一)



混合所有制模式:商业航天领域推进新型举国体制的重要途径



>>>                  

充满激情的新时代,

充满挑战的新疆域,

与踔厉奋发的引领者,

卓尔不群的企业家,

一起开拓,

一起体验,

一起感悟,

共同打造更真品质,

共同实现更高价值,

共同见证商业航天更大的跨越!

——《卫星与网络》,观察,记录,传播,引领。

>>>                                           

·《卫星与网络》特别顾问:王兆耀

·《卫星与网络》编辑委员会

高级顾问:王国玉、刘程、童旭东、相振华、王志义、杨烈

· 《卫星与网络》创始人:刘雨菲

· 《卫星与网络》副社长:袁鸿翼,王俊峰,周磊

·  微信公众号(ID:satnetdy)团队
编辑:艳玲、哈玫,周咏
主笔记者:李刚、魏兴、张雪松、霍剑、乐瑜刀子、赵栋
策划部:杨艳
视觉总监:董宁
专业摄影:冯小京、宋伟
设计部:顾锰、潘希峎、杨小明
行政部:姜河、林紫
业务部:王锦熙、瑾怡
原创文章转载授权、转载文章侵权、投稿等事宜,请加微信:18600881613
商务合作;展览展厅设计、企业VI/CI及室内设计、企业文化建设及品牌推广;企业口碑传播及整体营销传播等,请加微信:13811260603
杂志订阅,请加微信:wangxiaoyu9960
· 卫星与网络各分部:
成都分部负责人:沈淮
长沙分部负责人:宾鸿浦
西安分部负责人:郭朝晖
青岛分部负责人:江伟
· 卫星与网络总部负责人:农燕
· 会议活动部负责人乔颢益
· 投融资及战略层面合作:刘雨菲
· 本平台签约设计公司:一画开天(北京)文化创意设计有限公司
· 航天加(深圳)股权投资基金管理负责人:杨艳

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
分布式数据库架构及发展​什么是分布式自主科学?它将如何解决科学发展之困?媒体:Bloomberg 招人 (世界各地、多专业 )松散耦合的分布式系统会让云账单飙升吗ThoughtWorks CTO:2025 年之前,我们会看到架构的演进,但不会看到革命分布式软件跨X86/ARM CPU混合架构部署使用注解实现redis分布式锁Tesla Is Considering a Bid for Battery Metals Miner详解Redisson分布式限流的实现原理阿里为什么出百万年薪,招聘分布式人才?| 极客时间直面业务出海难题:强合规架构、数据合规、多云架构的实践经验|QCon广州浅谈分布式系统中的补偿机制设计问题第三届 冇(Mǎo)国际青年影像周 开始征片啦!渐近式 AI 编程架构:Unit Mesh 架构的设计与探索今日Nature: Ising超导体中的轨道Fulde-Ferrell-Larkin-Ovchinnikov相开源分布式任务调度系统就选它!一条SQL如何被MySQL架构中的各个组件操作执行的?浅析三款大规模分布式文件系统架构设计分布式存储只能是“小而美”吗?一文了解微服务架构的分解设计回家分布式 Session 解决方案被问烂的Redis分布式锁,你真的懂了?夕阳图数据库中的“分布式”和“切图”烟雨使用注解实现redis分布式锁!用树莓派集群进行并行和分布式计算 | Linux 中国百度工程师浅谈分布式日志"𝙇𝙚𝙖𝙙 𝙏𝙝𝙚 𝘾𝙝𝙖𝙧𝙜𝙚"广告#创译挑战互联网算命,从看面相到塔罗牌翻过三座大山:MatrixOne从 NewSQL 到 HTAP 分布式架构演进九种分布式ID解决方案,总有一款适合你!【邀请函】4/27 Braintree市长Charles Kokoros连任筹款会ICLR 2023 | Edgeformers: 基于Transformer架构的表征学习框架
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。