我国学者在遥感生成式模型方向取得进展
在过去的两年里,Stable Diffusion、Sora等多种视觉生成模型引起了学术界和工业界的广泛关注。结合特定领域知识,生成逼真且多样的专业图像和视频数据,已成为各垂直领域的发展趋势。特别是在航空航天遥感领域,发展具有遥感特色的视觉生成模型,对于城市规划等应用具有重要的价值。
在国家自然科学基金项目(批准号:62125102)资助下,北京航空航天大学史振威教授和邹征夏教授团队在遥感生成式模型方向取得重要进展。该团队项目组以遥感俯拍视角出发,提出并构建了“数字地球(MetaEarth)”遥感生成式基础模型,将图像生成技术从日常生活场景和互联网场景扩展到全球尺度。在本项目中,团队尝试将“整颗”地球的卫星遥感影像“装进”深度神经网络,克服了多种要素特征泛化、表征一致性等难题,最终在六亿参数规模的网络中,实现了多种分辨率、连续无界且覆盖全球地理位置的遥感图像生成,创造出丰富多样的“平行场景”,涵盖城市、森林、沙漠、海洋、冰川和雪地等广泛的地貌特征。MetaEarth作为一种神经网络驱动的数据引擎,有望为卫星和无人机等空天无人系统平台提供一个逼真的虚拟环境,并在城市规划、灾害管理等领域发挥作用。
史振威教授和邹征夏教授团队面向民生保障等国家重大需求,长期从事遥感图像处理相关研究。团队在《电气与电子工程师协会会报(Proceedings of the IEEE)》《IEEE模式分析与机器智能汇刊(TPAMI)》《IEEE地球科学与遥感汇刊(IEEE Transactions on Geoscience and Remote Sensing)》等IEEE重要学术期刊上发表科研论文120余篇(ESI高被引论文17篇),论文被引用1万余次。在进行学术研究的同时,团队注重将理论研究与实际应用相结合,承担了高分五号卫星地面处理、资源/高分系列卫星地物分类/变化监测和目标检测识别、巴基斯坦首颗遥感卫星云雪识别等系统的研制,研究成果已应用于20余型卫星,在民生领域得到广泛应用。
图1 MetaEarth-生成式遥感基础模型
图2 全球范围多分辨率连续无界遥感场景生成