专刊简介
专刊名称:Stewardship and analysis of big earth observation data遥感大数据管理与分析
客座主编:王力哲,阎继宁
专刊组成:包括六篇原创研究论文,涉及长时间序列遥感大数据管理参考模型、基于时空格网索引的大数据快速检索技术、大数据影像质量提升技术、面向哨兵影像的大数据挖掘技术、高性能大数据处理通用工作流构建技术和大数据云计算平台构建及其典型应用示范。另外,专刊中还包含一篇编者按,对该专刊的筹划背景和讨论主题的前景进行了梳理和展望。
客座主编推语
截至2019年,中、美、俄、法、日五个航天大国各自累积存储的原始卫星遥感影像数据已接近百PB。如此海量的遥感数据,潜藏了长时序、连续、丰富的对地观测信息,在国土、环保、林业、农业、测绘等领域应用中都发挥了重要作用。卫星遥感大数据作为一种重要的国家战略资源的地位越来越凸显。此外,据美国卫星产业协会(SIA)发布的2020年《卫星产业状况报告》,2019年全球卫星遥感服务业总收入达到23亿美元,“遥感大数据即资产”理念也广泛被认可。然而,遥感大数据的采集、传输、预处理、深加工、共性产品生产、专题产品生产等过程,都耗费了巨大的人力、物力和财力。对于如此来之不易的高价值数据资产的管理、治理、处理、分析和挖掘显得尤为重要。在这样一个背景下,如何制定政策、条款以确保遥感大数据能够被合理的利用与保护,如何构建科学、合理的技术体系以使得数据能够被安全、可靠的持久化存储与快速访问,如何构建科学合理的数据分析模型以充分挖掘出其潜藏的巨大价值,如何构建高效的数据处理工作流以及高可用、高可靠的数据处理平台以快速处理海量数据,是大数据时代下遥感大数据管理、治理与分析面临的重要科学技术问题。
本专刊通过长时间遥感数据序列及管理参考模型、STGI—海洋大数据时空格网索引模型两篇文章,论述当前大数据时代背景下长时间序列的遥感大数据管理需要采取的规章制度及其技术方法;通过USV虚拟训练场景中的海洋图像数据增强,以点带面,论述大数据质量提升技术;通过卫星图像理解—哨兵影像数据挖掘模块描述遥感大数据挖掘的方法体系;通过基于通用工作流的高性能地理计算服务链平台、地质云计算平台的实现及应用两篇文章,论述遥感大数据高性能处理方法体系及其处理平台的构建技术。期望专刊文章能够引发更多的遥感大数据管理、治理以及高性能处理和分析方面的研究,进而推动地球空间大数据科学的发展。
王力哲,男,1974年生,博士,中国地质大学(武汉)教授、博士生导师,国家杰出青年科学基金获得者,入选国家级人才计划及省部级人才计划、IEEE Fellow、IET Fellow、BCS Fellow。现任“智能地学信息处理”湖北省重点实验室主任,“智慧地质资源环境”湖北省工程技术中心主任、“地质探测与评估”教育部重点实验室副主任,应邀担任Remote Sensing、 IJDE、Big Earth Data、ACM Computing Surveys、IEEE TPDS、IEEE TSUSC 的Associate Editor。担任国家重点研发计划“全球变化及应对”总体组专家、指南编制专家,中科院先导专项“地球大数据科学工程”技术总体组副组长。获清华大学工学学士、工学硕士和德国卡尔斯鲁厄大学工学博士。研究兴趣为遥感信息工程、数字地球理论、地质信息应用。
专刊缘起
21世纪以来,世界各国都在大力发展空间遥感,建设高分辨率地球观测系统:如中国的风云系列卫星、海洋系列卫星、环境减灾系列卫星、资源系列卫星以及高分辨率对地观测系统等;美国的Terra/Aqua MODIS和Landsat系列、鸽群(Flock)计划、WorldView系列卫星等;俄罗斯的资源(Resurs)系列和老人头(Kanopus)系列卫星等;日本的先进陆地观测卫星ALOS和先进地球观测卫星ADEOS系列;印度的资源系列卫星(ResourceSAT)、制图系列卫星(Cartosat)、NISAR卫星等;欧盟的SPOT系列卫星、哥白尼计划发射的Sentinel系列卫星等。据美国卫星产业协会(SIA)发布的2020年《卫星产业状况报告》,2019年底全球在轨遥感卫星约664颗;截至2019年,中、美、俄、法 、日五个航天大国各自累积存储的原始卫星遥感影像数据已接近百PB。如此海量的遥感数据对于数据管理、治理、处理、分析与挖掘等都带来了巨大挑战。
对于遥感数据管理与治理而言,不同卫星数据源的遥感数据往往分散存储在各个行业部门数据中心,且各自在存储格式、投影标准、分辨率、重访周期等方面都存在巨大的差异。不仅造成了在数据集成标准统一、集成模式实现等方面的困难,而且形成了严重的“数据孤岛”现象,尤其是给长时间积累的历史数据的综合分析带来了巨大障碍。
对于遥感数据处理与分析而言,遥感数据连续下传且速率较快,需要将实时新增的遥感数据及时处理并进行归档管理,以便于为用户提供最新的遥感数据处理及产品生产服务。而对于当前的遥感数据处理与分析系统而言,其数据处理能力、数据分析算法与产品生产架构,在智能化程度、自动化水平与高性能方面相对较差,无法满足不同用户的、复杂多变的、个性化数据分析与产品生产需求。
为了解决上述遥感大数据管理与分析面临的重要问题,科学合理的数据管理与治理体系、先进的数据处理方法与模型、高效的数据分析与挖掘平台是亟需的。具体而言,
(1)遥感大数据潜藏着对于地球长期不间断的观测信息,需要设计一种新颖的数据管治参考模型,以确保这些高价值数据可以被访问和利用。对于遥感大数据的拥有者而言,数据管治不仅涉及到对于卫星数据集的持久化存储与管理,而且需要采用科学合理的数据治理策略与标准并付诸实践。具体来说,数据管治参考模型描述了在地球观测任务结束之前、之中和/或之后要应用的一系列空间资产、规章制度与技术体系,以确保获得的地球观测数据集能够被持久化保存并产生增值效益。
(2)遥感大数据具有的大规模、时空多尺度等典型特征,对于传统数据索引和检索方法或工具带来了巨大挑战。例如,关系型数据库无法有效处理几百万条记录的多要素联合数据搜索(基于卫星、传感器、经纬度以及时间的搜索)。另外,不同类型的遥感数据通常使用不同的时空参考系统,这也给多源遥感数据的索引和检索带来了巨大困难。因此,为多源遥感数据建立统一的时空参考系统并采用先进的数据管理工具,是提高遥感大数据检索效率的关键。
(3)受气候和云层覆盖等条件的限制,遥感卫星收集的数据通常质量较低,这对地球观测信息提取和挖掘提出了巨大挑战。因此,需要设计一系列有效的数据质量改进和适合数据特征的挖掘模型,才能充分挖掘出遥感大数据潜藏的高价值信息。此外,海量遥感数据的处理和分析对计算模型和计算平台提出了巨大挑战。各级遥感数据产品的上下层级依赖关系,为数据处理工作流的自动构建和执行提供了可能;云计算等新型计算框架的出现为遥感大数据的处理提供了无穷的计算能力。因此,在云计算环境中,可以使用高性能数据处理框架和通用工作流构建技术,来实现遥感大数据的有效处理和分析。
在此背景下,专刊文章针对遥感大数据的管理、治理、高性能处理与挖掘,做出了富有洞见且颇具应用前景的科学认知与分析。下面我们一起来掠览它们吧。
专刊掠览
Editorial
Stewardship and analysis of big earth observation data
遥感大数据管理与分析
论文类型:Editorial
客座主编:
Lizhe Wang & Jining Yan
论文链接:
Article 1
Long time data series and data stewardship reference model
长时间遥感数据序列及管理参考模型
论文类型:Technical Note
论文作者:Mirko Albani & Iolanda Maggio
论文链接:
长时序遥感数据管理参考模型
Article 2
STGI:a spatio-temporal grid index model for marine big data
STGI:海洋大数据时空格网索引模型
论文类型:
Research Article
论文作者:Tengteng Qu, Lizhe Wang, Jian Yu, Jining Yan, Guilin Xu, Meng Li, Chengqi Cheng, Kaihua Hou & Bo Chen
论文链接:
时空格网索引框架
Article 3
Ocean image data augmentation in the USV virtual training scene
USV虚拟训练场景中的海洋图像数据增强
论文类型:Research Article
论文作者:Wei Wang, Yang Li, Xiangfeng Luo & Shaorong Xie
论文链接:
晴天、黄昏和阴天虚拟场景中的典型海洋图像
Article 4
Understanding satellite images: a data mining module for Sentinel images
卫星图像理解:哨兵影像数据挖掘模块
论文类型:
Research Article
论文作者:Corneliu Octavian Dumitru, Gottfried Schwarz, Anna Pulak-Siwiec, Bartosz Kulawik, Mohanad Albughdadi, Jose Lorenzo & Mihai Datcu
论文链接:
哨兵影像数据挖掘模块体系架构及服务门户
Article 5
Universal workflow-based high performance geo-computation service chain platform
基于通用工作流的高性能地理计算服务链平台
论文类型:
Review Article
论文作者:Fang Huang, Hao Yang, Jian Tao & Qiang Zhu
论文链接:
基于通用工作流的高性能地理计算服务链平台体系架构
Article 6
Realization and application of geological cloud platform
地质云计算平台的实现及应用
论文类型:
Research Article
论文作者:Gaodian Zhou, Xinqing Wang, Weitao Chen, Xianju Li & Zhanlong Chen
论文链接:
地质云计算平台体系架构
转载自《地球大数据国际期刊》
经作者授权转载
文章仅代表作者观点,与本公众号无关,版权归原作者所有
原文标题:专刊推荐| 遥感大数据管理与分析
图文排版:许多
审编:黄莘绒
猜你喜欢 返回搜狐,查看更多
责任编辑:
声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。