人工智能GIS软件技术体系初探

宋关福,卢浩,王晨亮,胡辰璞,黄科佳

1. 北京超图软件股份有限公司,北京 100015;2. 自然资源部地理信息系统技术创新中心,北京 100015;3. 中国科学院地理科学与资源研究所,北京 100101

论文来源:《地理信息科学》第22卷 第1期 2020 年1月

摘要:作为人工智能的代表性技术,深度学习已经成为大数据等各个领域中最具有突破性发展的新技术。深度学习的成功主要得益于其新颖的数据驱动的特征表示学习能力,这种能力成功地替代了传统建模中基于领域知识人为设计特征的方式。在这些技术推动下,人工智能技术在新一代 GIS 基础软件技术的研究与应用中发挥着极为重要的作用,而现有人工智能 GIS (AI GIS)技术研究整体仍处于初步探索阶段,距离成熟阶段尚有较大距离。

关键词: 人工智能,GIS软件技术,地理智慧,AI GIS技术体系,空间深度学习,空间机器学习,AI流程工具

A Tentative Study on System of Software Technology for Artificial Intelligence GIS

SONG Guanfu1,2,3*, LU Hao1,2, WANG Chenliang3, HU Chenpu1,2, HUANG Kejia1,2
1. SuperMap Software Company Limited, Beijing 100015, China; 2. GIS Technology Innovation Center of Ministry of Natural Resources, Beijing 100015, China; 3. Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences, Beijing 100101, China

Abstract: As the representative technology of Artificial Intelligence, deep learning has been the most exciting breakthrough technologies in big data analysis and other domains researches due to its novel data-driven feature representations learning, instead of handcrafting features based on domain- specific knowledge in traditional modeling. Driven by these technological developments. Artificial Intelligence plays a key role in the researches and applications of next- generation geographical information system software technology. Nevertheless, most researches about AI GIS are still in the stage of immature and preliminary exploration. As a method and technology for the novel architecture of GIS fundamental software, AI GIS is widely used in many earth science applications including remote sensing data analysis, water resources research, spatial epidemiology and environmental health. All these technologies are significantly improving capabilities of data processing of traditional GIS, and being able to extract geospatial information and characteristics from unstructured datasets such as street view or remote sensing imagery, texts. These applications are showing great value and developing potential of AI GIS. However, the existing research on the system of software technology of AI GIS is not comprehensive enough. A variety of AI GIS algorithms or models and their scenario- specific applications are commonly considered to be the most important topic. Few researchers have addressed the issues or theory of Artificial Intelligence GIS technologies system and software architecture. This paper presents and analyzes several levels of Geo- intelligence and discuss its relationships to AI GIS technology system , reviewed the research status in AI and GIS technologies from the domestic and abroad perspectives. Then, the system of software technology of AI GIS is proposed according to the relationships between Artificial Intelligence and GIS. This paper define the architecture of AI GIS into three parts including Geospatial Artificial Intelligence (GeoAI), AI for GIS, and GIS for AI. And concepts and examples for each parts of Artificial Intelligence GIS are also analyzed for illustration. Furthermore, in order to deeply explain and investigate the AI GIS software technologies architecture, this paper provide the example of the design and implementation of SuperMap AI GIS software architectures and production. Finally, this paper discusses the problems that need to be solved in the future development of GIS. The tentative study of AI GIS in this paper may provide a theory for establishing the fundamental GIS software technology architecture of Geo-intelligence, which would helps to promote the deep integration and development of AI and GIS technology, and make suggestions for further research about Geo-intelligence.

Key words: artificial intelligence; software technology of GIS; Geo-intelligence; AI GIS technology architec-ture; geospatial deep learning; geospatial machine learning; AI pipeline toolkits

*Corresponding author: SONG Guanfu, E-mail: songguanfu@supermap.com

1 引言

在日益增长的应用需求牵引和日新月异的信息技术推动下,GIS软件技术体系也正日益丰富和完善,其中,人工智能GIS(AI GIS)技术是当前重要的研究方向。AI GIS是指将AI技术与各种GIS功能进行有机结合,包括融合AI技术的空间分析或空间数据处理算法(即 GeoAI)以及 AI 与 GIS 的相互赋能的一系列技术的总称。AI GIS近年来逐渐成为地学科研与应用的主要热点[1],越来越多的学者分别从不同专业应用角度探讨AI GIS技术,在遥感图像处理[2-3]、水资源研究[4]、空间流行病学[5]、环境健康领域[6]等方面的应用,并取得了很好的成果。已有研究表明,AI GIS扩展了传统GIS的数据处理能力,能高效地识别和分析街景、遥感和航拍图像、文本等非结构化数据中的地理信息[7-10];AI GIS能从多源异构的时空数据中捕捉到动态变化的复杂时空变化关系,增强了GIS模型的分析预测能力[11-12]。这些研究推动了AI GIS技术的发展。

然而,多数研究主要聚焦某个或某些应用场景下的GeoAI算法研究与应用,即融合AI技术发展空间分析或空间数据处理算法,较少涉及AI GIS技术体系的研究与探索,更缺乏对 AI GIS 产品体系的论述。

本文先从地理智慧金字塔入手,介绍了地理智慧体系的不同层次与关注点,进而构建了AI GIS软件技术体系,研究了该体系每个组成部分的内涵和示例。以 SuperMap GIS 为例,阐述了 AI GIS 软件架构及其实现。最后,探讨未来 AI GIS 的发展趋势。本研究为丰富和完善 GIS 基础软件核心技术理论与技术提供了参考与支持。

2 地理智慧

AI GIS 的兴起,进一步提升了地理智慧(Geointelligence)。早在 2013 年(AI GIS 研究兴起之前),作者就提出了GIS对IT的贡献在于地理智慧,并明确提出把“地理智慧创新 IT 价值”作为发展GIS 软件技术的宗旨。现代地理智慧是指以 GIS、遥感和卫星定位技术为基础的地理空间可视化、分析、决策、设计与控制的技术总称。一方面,GIS需要积极融入IT,成为IT的一部分,只有避免在狭小的专业圈子自缚手脚才能获得更广阔的发展和应用空间;另一方面,GIS 必须要为 IT 创造不可替代的价值,才有持续存在和继续发展的理由。而地理智慧正是 GIS 区别于其他信息技术的最为独特的价值。地理智慧包括4个层次,并构成地理智慧金字塔(图1)。

第1层是地理可视化,指各行业基于GIS的二维和三维的可视化能力,直观清晰地反映业务数据的空间分布格局特征。这是地理智慧中应用最广泛的价值,不少行业早期应用GIS从地理可视化开始,并一度认为这是 GIS 的核心价值,实则为最基础的地理智慧体现。在 AI GIS 体系中,AI 结果可通过地理可视化深入挖掘数据价值。

第2层是地理决策,指以GIS空间分析算法为基础,为政府、企事业单位和个人提供辅助决策支持的价值。空间分析是GIS的灵魂,地理决策是地理智慧核心价值之一,常见于应用GIS相对深入的领域。在AI GIS体系中,各种GeoAI算法的分析结果,可作为决策依据。

第3层是地理设计,指基于地理空间位置和考虑地理环境的设计方法[13]。地理设计不仅体现为宏观的规划领域,当前正越来越多应用于相对更微观和具体的设计领域。例如,传统的建筑设计仅考虑被设计对象本身,地理设计则把被设计对象放入地理环境中来考虑,可以让建筑设计在采光、视野、城市形态等方面更加优化,与环境更协调。地理设计是在二维GIS应用为主的前提下提出来的,在新一代三维GIS广泛应用的今天,有更广阔的应用领域和前景。地理设计在智慧城市等应用领域与AI GIS的各方面都有联系。

第4层是地理控制,即基于GIS的空间分析能力实现对环境和动物体的智能化控制[14]。地理控制包括交通信号灯的自动控制与优化、无人机的航路自动规划与自主飞行控制、农业与工程机械的自动路线规划与驾驶等,地理控制当前的研究热点是乘用车辆的自动驾驶。地理控制常需要嵌入 AI GIS中的GeoAI算法作为底层核心能力,并通过AI增强的交互与控制功能完成智能化控制。

地理智慧4个层次中,自底向上复杂度越来越高,而成熟度则越来越低。地理可视化是最为基础,应用最广泛的地理智慧,地理决策应用也相当普及,地理设计应用也在快速发展和完善,地理控制则应用较少,特别是乘用车辆自动驾驶距离成熟应用还需要多年时间。

GIS软件技术不断发展和升级,将推进地理智慧不断演进和发展,过去几年,新一代三维 GIS 技术和大数据 GIS 技术的发展,都不同程度推动了4 个层次地理智慧的进化。而随着人工智能的引入,地理智慧将会迎来新一轮技术的革新,必将进一步提升地理智慧的能力,为IT创造更大的价值。

3 AI GIS技术体系

AI GIS技术由3部分组成,除得到广泛研究的 AI GIS算法(即GeoAI)之外,还包括AI赋能GIS和GIS赋能AI两部分(图2)。

AI GIS算法是融合AI的空间数据分析与处理算法,是 AI 和 GIS 充分融合的产物,既属于 AI,也属于 GIS。AI 赋能 GIS 则是利用 AI 的能力提升GIS软件的功能和用户体验。GIS赋能AI则是GIS利用其可视化和空间分析技术,对AI算法处理其他非空间数据输出的结果进行可视化和进一步空间分析的技术和应用。

在3类AI GIS技术中,AI GIS 算法的处理对象通常是空间数据(包括各种矢量/栅格形态的经典空间数据,和空间大数据),另外两类通常不涉及使用AI算法处理空间数据本身。

3.1 AI GIS算法

人工智能技术诞生于1956年,但随后相当长时间技术没有得到较大突破。20世纪80年代机器学习诞生后,才得以较快发展,但90年代再次进入低谷。直到2000年机器学习中的重要分支——深度学习诞生,再次推进人工智能的研究和应用热潮。由此可见,机器学习是当前人工智能的核心,而深度学习是人工智能核心中的热点研究方向。当前AI GIS算法由基础工具中AI流程工具(AI Pipeline Toolkits)与 AI GIS 算法(GeoAI)共同组成(图 3)。其中,GeoAI 分为空间机器学习(Geospatial Machine Learning)和空间深度学习(Geospatial Deep Learning)2 部分算法,随着 AI 本身的发展,未来也可能会产生新的AI GIS算法类别。基础工具中的AI流程工具是GeoAI算法的数据准备、模型训练和模型应用整个流程的实现工具。

根据地理学第一定律,空间数据普遍存在距离越近越相关的特性,表现为空间数据具有空间相关性和空间异质性等普遍特征[15]。空间统计算法基于这些性质进行统计学建模,形成了空间总体特征、空间格局、空间插值、地理分布[16]4类空间统计学算法模型(图4)。由于这种算法和计算模式由专家学者通过大量研究的基础上构建,先验知识被直接建模在空间统计模型中,而后被大量应用于定量分析研究中。

3.1.1 空间机器学习

由于空间统计学模型构建在一些理论假设上,数据需要服从或近似符合特定的空间分布或某种性质,模型才能得到可信的结果。与统计学模型不同,机器学习是一种通用的逼近算法[17],一般不需要数据假设。基于机器学习的空间分析算法不需要先验知识,就可根据一组训练集学习地学系统的模式。

经典的机器学习技术包括神经网络(ANN)、支持向量机(SVM)、随机森林(RF)、K均值,DBSCAN等一系列方法,逐渐在城市治理、土地利用、生态恢复等地理生态领域运用[18]。以SuperMap为例,目前已经提供的部分空间机器学习算法包括空间聚类分析、空间分类分析和空间回归分析3类(图5)。

3.1.2 空间深度学习

一般的空间机器学习技术实现复杂性不高,计算速度较快,多适用于各种数据表格形式的空间数据的离散或连续值的分析和预测,模型对于复杂结构关系的学习能力较为有限。而空间深度学习则通过反向传播算法,进行多层次特征提取,可以学习到比一般机器学习更深层次的抽象特征,进而发现 数 据 的 复 杂 模 式 [19]。 以 深 度 卷 积 神 经 网 络(CNN)为代表的深度学习在图像分类[20]、目标检测[21- 23]、目标追踪[24- 25]、语义分割[26]和超分辨率重建[27-29]等计算机视觉任务的优异表现,为地球科学领域的未解决的相关问题提供了新的解决思路。

深度学习能从地理空间相关数据中直接学习识别时间与空间特征,能自动高效地构建复杂特征,使数据驱动的地球科学研究成为趋势[30],发展成为新兴的交叉学科和技术方向——空间深度学习,广泛用于遥感图像处理[31]、智慧城市[32]、水资源环境[33],环境科学和公共健康[34-35]等领域,并在空气质量预测[36-38],人流拥挤预测[39-41],地物分类[42-45]、道路和建筑物提取[46-47]等许多研究中取得了较优的效果。以 SuperMap 为例,目前提供的空间深度学习算法包括三维数据分析和影像分析 2 类(图 6),随着应用领域的拓展,将不断丰富算法的种类和数量。

3.1.3 AI流程工具

模型可重现问题一直是AI领域困扰科研界和工业界的一大问题[48-49]。一些研究成果中呈现了高准确度GeoAI算法,但很难重现。其原因主要为地物的空间特征在不同地域,不同季节的表现并不完全相同,因此提供训练后的模型在地理信息领域并不是最佳方案,需要提供 GeoAI 算法的训练工具,让应用单位可以根据自身的数据重新训练模型,提高模型推理结果的成功率和准确度。

根据机器学习的一般流程,结合地理空间信息的特殊情况,GeoAI 工作流程可分为数据准备、模型构建和模型应用3个环节(图7)。

在数据准备阶段,AI GIS平台需要支持一些通用 AI 标准数据格式与 GIS 格式的转换,提供 AI 样本制作工具。在模型构建阶段,AI模型训练的超参数等元信息与GIS软件难以集成,不同框架的模型文件格式各异,需要设计统一格式进行模型和训练信息的统一。在模型发布和推理阶段,GIS平台需要统一的流程识别模型格式,并在 GIS 服务中部署、发布、管理等。

为解决各流程环节的相关问题,GIS(如SuperMap GIS)可提供覆盖全流程的 AI 流程工具,包括桌面GIS、服务器端GIS、移动端GIS等各种不同的GIS形态产品,以SuperMap为例进行说明(表1)。

例如,在服务器端 GIS 中,数据科学服务提供在线交互式Python编码方式供空间数据科学家使用,以及通过服务形式完成模型注册、发布和应用的机器学习服务。桌面端 GIS 提供用户可交互操作的桌面流程工具,通过可视化交互操作的方式完成数据准备、模型构建、模型应用的机器学习流程。组件式 GIS 则提供 Python 编码的方式给使用者,通过脚本调用形式完成整个流程。

3.2 AI赋能GIS

融合AI的空间数据分析与处理算法研究获得较多关注,除此之外也可以利用AI技术提升GIS软件的智能化水平。随着GIS的全空间化[50]、泛在化和空天地一体化的发展趋势,空间信息的来源已经从传统的遥感测绘逐渐发展到多种多样的形式,对GIS的数据处理能力提出挑战[51]。通过深度学习等人工智能技术的非结构化信息感知与提取能力,能够补充GIS在各种场景下处理新型数据源的能力,提高 GIS 在数据获取、处理和制图,及与用户交互的效率。例如,AI技术可以降低GIS数据采集和测图成本,也可以简化GIS制图和软件交互流程。本文从AI属性采集、AI测图、AI配图和AI交互4个方面进行具体介绍。

3.2.1 AI属性采集

在城市管理执法中,需要频繁录入现场执法案件属性信息。基于AI的图像目标检测和分类技术可以有效提高属性采集效率,如在违章停车案件中,可以快速识别车牌编号、车身颜色、车辆类型等信息,并自动完成填报。其他执法场景如暴露垃圾、乱堆物料、非法广告、城市部件等均可以通过AI进行识别并自动填报(图 8)。类似的 AI 图像识别应用,可以大幅减少手工录入工作量,提高属性采集工作效率。

3.2.2 AI测图

GIS中的测图技术正在逐渐从室外走向室内,而测量精度和测量成本是室内测图的 2 个关键要素。基于激光雷达技术的室内测图方式,测量精度较高但测量成本也相对较大,且整体流程较为复杂。为解决该问题,可将惯性测量单元(IMU)和计算机视觉技术相结合显著降低室内测图成本。该方法首先需要获取连续拍摄的室内图片,基于计算机视觉算法对连续图片进行特征点匹配,并通过特征点匹配结果还原真实空间位置,最后可以将位置信息通过坐标转换的方式映射到地图中,实现整个AI测图过程[52-53]。目前,在移动端GIS软件可以实现基于 IMU 和计算机视觉的 AI 测图功能,用户可以在某些应用中用普通的手机设备部分替代较为昂贵的室内测图设备,降低测图成本。

SLAM(Simultaneous Localization and Mapping)是计算机视觉室内定位的基础[54]。SLAM 最早应用在机器人领域,其目标是在没有任何先验知识的情况下,根据传感器数据实时构建周围环境地图,同时根据这个地图进行自身定位。IMU是测量物体三轴姿态角(或角速率)以及加速度的装置,在导航中有重要应用价值。采用基于 IMU 和 SLAM融 合 的 视 觉 惯 性 系 统(Visual- Inertial System,VINS),可实现低成本的室内AI测图功能。图9为基于VINS的特征点生成原理。

VINS是融合相机和其惯性测量单元数据实现即时定位和地图构建的算法[55],基于空间矩阵变换原理,结合视觉校准和惯性校准算法,实现二三维地图在真实场景中的可视化映射。具体计算过程包括:① 实时图像获取,摄像机坐标系标定;② 特征信息提取,立体匹配;③ 空间映射重建(深度感知),得到二三维地图在空间中的实时姿态、位置、距离信息,实现动态空间和高清像素分辨率的精确深度检测与标定;④ 设置多个控制点,采用测量平差的方式提高测量精度,最终完成室内测图。

3.2.3 AI配图

地图配图是GIS的基础能力,传统手工配图要对众多地图内容要素反复搭配与调整,较为复杂和耗时。图像风格迁移是在保留目标图片内容的基础上,将风格图片的色彩构成、色彩分布等整体风格迁移到目标图片上的技术。AI配图即基于图像风格迁移思想,使用机器学习算法,对输入的图片风格进行识别和学习,结合面积权重、目标对象类型等信息,将图像风格迁移到目标地图的一种自动化配图的技术。桌面端GIS软件中嵌入AI配图功能,能快速将风格图片复杂的颜色风格迁移到目标地图上,显著提升GIS配图效率和效果。

AI 配图的主要流程(图 10)包括:① 提取风格图片关键色,首先输入选定的自定义地图模板风格图片,基于 K-means 聚类算法提取图片特征,得到风格图片中的关键色;② 提取当前地图关键色,主要对原始地图进行关键色提取;③ 面积排序匹配。提取关键色后,需要对提取的图片关键色和地图关键色进行匹配,选择面积匹配算法,按照面积权重将图片的颜色自动匹配至原始地图。

3.2.4 AI交互

在GIS软件当中,经常需要进行地图和场景的交互操作,通过交互操作对空间数据进行查询、浏览和使用。现有的GIS系统,如SuperMap,可借助AI中的语音识别、手势识别、人体关键点检测等技术[56]实现智能化的GIS软件交互。如图11和图12所示,基于手势识别,可以对二维地图和三维场景进行平移、缩放、旋转等交互操作,也可以将手势识别扩展为人体姿态的识别,通过对于人体动作的关键点捕捉,识别姿态动作进行二三维地图操控。

3.3 GIS赋能AI

上文主要介绍 AI 赋能 GIS 方面,应用 AI 技术完善和提升GIS软件功能。另一方面,面向AI计算识别结果,GIS可以利用其空间可视化和空间分析能力处理与挖掘数据价值,即GIS赋能AI。

3.3.1 空间可视化赋能AI

空间可视化技术是 GIS 的核心能力之一,GIS提供了多样化的地图展现手段,对各种应用数据的空间分布特征和趋势进行有效表达。可以将属性值汇总到行政区划图斑中,在地图中展现不同区域的差异变化,也可以通过规则格网进行属性值聚合,发现高值聚集区域,或者使用热力图对空间整体的热点分布状况进行直观表达。

举例来说,视频与GIS的集成应用已经成为当前的一个研究热点,借助AI技术,可以实现摄像头视频的目标检测与追踪,也可以进行智能化的人群感知[57-60],但如果不借助GIS,很难对遍布整个区域的视频识别结果进行全局展示和综合分析。因此,可以基于空间可视化技术,将视频识别结果在地图中进行热力图、聚合图等多种可视化效果的展示。辅助管理人员掌握整体空间趋势,探查空间异常情况,进一步挖掘视频数据的深层隐含信息。

3.3.2 空间分析赋能AI

空间可视化技术可以辅助从整体上认识数据的分布特征,而空间分析技术可以对AI提取结果进行深入处理与挖掘,即将空间计算过程加入到AI识别结果的进一步分析过程当中。例如,通过AI技术可以识别出视频数据中的各类关键目标,例如行人、机动车、公交车等,通过建立视频空间和真实地理空间的映射。如图13所示,可以将公交专用车道占用这样的应用问题转化为地理围栏分析,对视频内目标进行空间关系计算,发现进入公交车道的行人和机动车等违章情况。另一方面,可以基于交通监控摄像头的AI识别获取目标车辆经过的多个位置以及相应时间,基于这些信息,可以结合交通路网数据进行GIS最佳路径分析,还原目标车辆的真实运行轨迹,服务于目标车辆的追踪应用。

3.4 AI GIS软件技术体系

为了对AI GIS的3个方面进行有力支撑,自底向上构建了4层结构,形成较为完整的AI GIS技术体系。如图14所示,最底层为数据层,既包括遥感影像这样的文件型数据,也包括关系型数据以及大数据场景下使用较多的NoSQL数据。数据层之上为AI领域库,主要聚焦样本和模型2个方面开展建设,不断丰富各类空间数据样本和模型。在框架层中,需要通过合理的抽象和封装兼容多种AI框架,既可以避免重复性研发工作,又可以高效地与最新算法和模型研究成果进行融合。最上面的功能层即具体介绍的AI GIS三个方面。

为了保持AI GIS软件技术体系的一致性,同时服务于多种GIS应用场景,AI技术需要与组件GIS、桌面端 GIS、服务器 GIS 等在内的多种形态的 GIS软件进行深度融合,共同构建AI GIS产品体系。其中,AI GIS产品体系如图15所示,产品体系的基础为组件GIS产品,由于Python为AI开发主要语言,SuperMap研发了基于Python语言的组件GIS软件iObjects Python,支持空间统计、空间机器学习与空间深度学习等功能。为了服务大数据场景下的AI GIS功能,在面向大数据GIS的iObjects for Spark软件中添加了空间机器学习功能支持,使得分析过程可以充分利用集群计算资源。在桌面端 GIS 软件中增加了机器学习模块,用于以图形界面操作方式构建 AI 模型。在服务器 GIS 软件中,SuperMap 增加了数据科学服务(Data Science Service),通过在线交互开发方式构建 AI 模型,以及机器学习服务(Machine Learning Service),用于将构建出的AI模型进行注册发布,支撑Web服务化的模型推理。

4 结论和展望

作为新一代 GIS软件技术体系的重要组成,AI GIS通过融合AI的空间数据分析与处理算法、AI赋能 GIS 和 GIS 赋能 AI,改变了传统 GIS 软件处理和分析的方式。利用 AI GIS 完善发展新一代 GIS 技术体系是解决当前GIS系统智能化问题的有效方法。

目前,AI GIS 初步实现了遥感图像、视频等地理信息的二维视觉提取。随着计算机视觉和全空间 GIS 技术的发展,地理控制、视觉导航定位中的深度图、点云等三维环境结构感知变得越来越重要,结合三维计算机视觉的智能提取将是AI GIS 的下一步发展重点。

目前制图导航、地物图像识别、空间分析等方面的 AI 还属于弱人工智能(Narrow AI),只能聚焦某种具体应用问题,离通用人工智能(AGI)还较为遥远。AGI 研究有2种主要方式:① 从先天的类脑结构寻找突破点[61];② 以后天的训练学习为主。实际上,二者都能取得相似效果[62],而互相结合[63]也是AI GIS实现AGI GIS的一个发展方向。

参考文献(References):

  • [1] Karpatne A, Ebert- uphoff I, Ravela S, et al. Machine learning for the geosciences: Challenges and opportunities [J]. IEEE Transactions on Knowledge and Data Engineer-ing, 2019,31(8):1544-1554.
  • [2] Zhu X X, Tuia D, Mou L, et al. Deep learning in remote sensing: A comprehensive review and list of resources[J]. IEEE Geoscience and Remote Sensing Magazine, 2017,5 (4):8 -36.
  • [3] Zhang L P, Zhang L F, Du B. Deep learning for remote sensing data: A technical tutorial on the state of the art[J]. IEEE Geoscience and Remote Sensing Magazine, 2016,4 (2):22-40.
  • [4] Shen C. A transdisciplinary review of deep learning research and its relevance for water resources scientists[J]. Water Resources Research, 2018,54(11):8558-8593.
  • [5] Vopham T, Hart J E, Laden F, et al. Emerging trends in geospatial artificial intelligence (geoAI): Potential applications for environmental epidemiology[J]. Environmen-tal Health, 2018,17(1). DOI:10.1186/s12940-018-0386-x.
  • [6] Kamel Boulos M N, Peng G, Vopham T. An overview of GeoAI applications in health and healthcare[J]. International Journal of Health Geographics, 2019,18(1). DOI: 10.1186/s12942-019-0171-2.
  • [7] Helbich M, Yao Y, Liu Y, et al. Using deep learning to examine street view green and blue spaces and their associations with geriatric depression in Beijing, China[J]. Envi-ronment International, 2019,126(1):107-117.
  • [8] Cresson R. A framework for remote sensing images processing using deep learning techniques[J]. IEEE Geoscience and Remote Sensing Letters, 2019,16(1):25-29.
  • [9] Yan X F, Ai T H, Yang M, et al. A graph convolutional neural network for classification of building patterns using spatial vector data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019,150(1):259-273.
  • [10] Comber S, Arribas-Bel D. Machine learning innovations in address matching: A practical comparison of word2vec and CRFs[J]. Transactions in GIS, 2019,23(2):334-348.
  • [11] Fan J, Li Q, Hou J, et al. A spatiotemporal prediction framework for air pollution based on deep RNN[J]. Re-mote Sensing and Spatial Information Sciences, 2017,IV-4/W2(1):15-22.
  • [12] Bai Y, Zeng B, Li C, et al. An ensemble long short-term memory neural network for hourly PM2.5 concentration forecasting[J]. Chemosphere, 2019,222(1):286-294.
  • [13] Goodchild M F. Towards geodesign: Repurposing cartog-raphy and GIS?[J]. Cartographic Perspectives, 2010,66 (2010):7-22.
  • [14] 钟耳顺.地理控制与实况地理学——关于 GIS 发展的思考[J].地球信息科学学报,2013,15(6):783-792. [ Zhong E S. Geo-control and live geography: Some thoughts on the Direction of GIS[J]. Journal of Geo-information Science,
  • [15] 王劲峰,葛咏,李连发,等.地理学时空数据分析方法[J].地理学报,2014,69(9):1326-1345. [ Wang J F, Ge Y, Li L F, et al. Spatiotemporal data analysis in geography[J]. Acta Geographica Sinica, 2014,69(9):1326-1345. ]
  • [16] 王劲峰,廖一兰,刘鑫.空间数据分析教程(第二版)[M].北京:科学出版社, 2019. [ Wang J F, Liao Y L, Liu X. Tu-torial of spatial data analysis (second edtion)[M]. Beijing: Science Press, 2019. ]
  • [17] Lary D J, Alavi A H, Gandomi A H, et al. Machine learn-ing in geosciences and remote sensing[J]. Geoscience Frontiers, 2016,7(1):3-10.
  • [18] 岳天祥.地球表层建模研究进展[J].遥感学报,2011,15(6): 1111- 1130. [ Yue T X. Progress in earth surface model-ing. Journal of Remote Sensing, 2011,15(6):1111-1130. ]
  • [19] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015,521(7553):436-444.
  • [20] Li P, Xie J, Wang Q, et al. Is second- order information helpful for large- scale visual recognition?[C]. Proceed-ings of the IEEE International Conference on Computer Vision, 2017:2089-2097.
  • [21] Lin T-Y, Dollar P, Girshick R, et al. Feature pyramid Net-works for object detection[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017:936- 944.
  • [22] Huang J, Rathod V, Sun C, et al. Speed/Accuracy trade-offs for modern convolutional object detectors[C]. 2017 IEEE Conference on Computer Vision and Pattern Recog-nition (CVPR), 2017:3296-3297.
  • [23] Chen G, Choi W, Yu X, et al. Learning efficient object de-tection models with knowledge distillation[C]. Advances in Neural Information Processing Systems, 2017:743-752.
  • [24] Zhang Z, Peng H. Deeper and wider siamese networks for real- time visual tracking[C]. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
  • [25] Bertinetto L, Valmadre J, Henriques J F, et al. Fully-con-volutional siamese networks for object tracking[C]. Euro-pean conference on computer vision, 2016:850-865.
  • [26] Zhou B, Zhao H, Puig X, et al. Semantic understanding of scenes through the ADE20K dataset[J]. International Jour-nal of Computer Vision, 2019,127(3):302-321.
  • [27] 呼延康,樊鑫,余乐天,等.图神经网络回归的人脸超分辨率重建[J].软件学报,2018,29(4):914-925. [ Hu Y K, Fan X, Yu L T, Luo Z X. Graph based neural network regres-sion strategy for facial image super-resolution[J]. Journal of Software, 2018,29(4):914-925. ].
  • [28] Zhang Y, Li K, Li K, et al. Image super-resolution using very deep residual channel attention networks[C]. Pro-ceedings of the European Conference on Computer Vi-sion (ECCV), 2018:286-301.
  • [29] Dai T, Cai J, Zhang Y, et al. Second-order attention net-work for single image super- resolution[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019:11065-11074.
  • [30] Reichstein M, Camps- Valls G, Stevens B, et al. Deep learning and process understanding for data-driven Earth system science[J]. Nature, 2019,566(7743):195-204.
  • [31] Li S, Song W, Fang L, et al. Deep learning for hyperspec-tral image classification: An overview[J]. IEEE Transac-tions on Geoscience and Remote Sensing, 2019,57(9): 6690-6709.
  • [32] Zhang S, Wu G, Costeira J P, et al. FCN- rLSTM: Deep spatio- temporal neural networks for vehicle counting in city cameras[C]. 2017 IEEE International Conference on Computer Vision (ICCV), 2017:3687-3696.
  • [33] Ren H, Cromwell E, Kravitz B, et al. Using deep learning to fill spatio-temporal data gaps in hydrological monitor-ing networks[J]. Hydrology and Earth System Sciences Discussions, 2019.DOI:10.5194/hess-2019-196.
  • [34] Li X, Peng L, Hu Y, et al. Deep learning architecture for air quality predictions[J]. Environmental Science and Pol-lution Research, 2016,23(22):22408-22417.
  • [35] Apte J S, Messier K P, Gani S, et al. High-resolution air pollution mapping with google street view cars: Exploit-ing big data[J]. Environmental Science and Technology, 2017,51(12):6999-7008.
  • [36] Qi Y, Li Q, Karimian H, et al. A hybrid model for spatio-temporal forecasting of PM2.5 based on graph convolu-tional neural network and long short-term memory[J]. Sci-ence of the Total Environment, 2019,664(1):1-10.
  • [37] Wang J, Song G. A deep spatial-temporal ensemble model for air quality prediction[J]. Neurocomputing, 2018,314 (1):198-206.
  • [38] Zhou Y, Chang F J, Chang L C, et al. Explore a deep learning multi- output neural network for regional multi-step-ahead air quality forecasts[J]. Journal of Cleaner Pro-duction, 2019,209(1):134-145.
  • [39] Huang C, Zhang C, Zhao J, et al. MiST: A multiview and multimodal spatial-temporal learning framework for city-wide abnormal event forecasting[C]. The World Wide Web Conference on WWW ’19, 2019:717-728.
  • [40] Zhang J B, Zheng Y, Qi D K, et al. Predicting citywidecrowd flows using deep spatio-temporal residual networks [J]. Artificial Intelligence, 2018,259(1):147-166.
  • [41] Li Y G, Yu R, Shahabi C, et al. Diffusion convolutional re-current neural network: Data- driven traffic forecasting [C]. International conference on learning representations (ICLR ’18), 2018:1-16.
  • [42] Rakhlin A, Davydow A, Nikolenko S. Land cover classifi-cation from satellite imagery with U-Net and lovász-Soft-max loss. 2018 IEEE/CVF conference on computer vi-sion and pattern recognition workshops (CVPRW): IEEE, 2018:257-2574.
  • [43] Kuo T S, Tseng K S, Yan J W, et al. Deep aggregation Net for land cover classification. The IEEE conference on computer vision and pPattern recognition (CVPR), 2018:252- 256.
  • [44] Davydow A, Nikolenko S. Land cover classification with superpixels and jaccard index post-optimization[C]. 2018 IEEE/CVF conference on computer vision and pattern recognition workshops (CVPRW), 2018:280-2804.
  • [45] Ma L, Li M, Ma X, et al. A review of supervised object-based land- cover image classification[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017,130(1):277- 293.
  • [46] Zhou L, Zhang C, Wu M. D-LinkNet: LinkNet with pre-trained encoder and dilated convolution for high resolu-tion satellite imagery road extraction[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2018:1922-1924.
  • [47] Ghosh A, Ehrlich M, Shah S, et al. Stacked U- Nets for ground material segmentation in remote sensing imagery [C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2018:252-2524.
  • [48] Olorisade B K, Brereton P, Andras P. Reproducibility in machine learning- based studies: An example from text mining[C]. ICML Reproducibility in ML Workshop, 2017:471-486.
  • [49] Hutson M. Artificial intelligence faces reproducibility cri-sis[J]. Science, 2018,359(6377):725-726.
  • [50] 周成虎.全空间地理信息系统展望[J].地理科学进展, 2015,34(2):129-131. [ Zhou C H. Prospects on pan-spa-tial information system[J]. Progress in geography, 2015, 34(2):129-131. ]
  • [51] 龚健雅.人工智能时代测绘遥感技术的发展机遇与挑战[J].武汉大学学报·信息科学版,2018,43(12):1788-1788.[ Gong J Y. Chances and challenges for development ofsurveying and remote sensing in the age of artificial intel-ligence[J]. Geomatics and Information Science of Wuhan University, 2018,43(12):1788-1796. ]
  • [52] Qayyum U, Ahsan Q, Mahmood Z. IMU aided RGB- D SLAM[C]. 2017 14th International bhurban conference on applied sciences and technology (IBCAST), 2017:337-341.
  • [53] Vosselman G. Design of an indoor mapping system using three 2D laser scanners and 6 DOF SLAM[J]. ISPRS An-nals of Photogrammetry, Remote Sensing and Spatial In-formation Sciences, 2014,II-3(9):173-179.
  • [54] Younes G, Asmar D, Shammas, et al. Keyframe- based monocular SLAM: Design, survey, and future directions [J]. Robotics and Autonomous Systems, 2017,98(1):67-88.
  • [55] Huang G. Visual- Inertial Navigation: A concise review [C]. 2019 International Conference on Robotics and Auto-mation (ICRA), 2019:9572-9582.
  • [56] Tombari F, Salti S, Di stefano L. Performance evaluation of 3D keypoint detectors[J]. International Journal of Com-puter Vision, 2013,102(1):198-220.
  • [57] 孔云峰.地理视频数据模型设计及网络视频GIS 实现[J].武汉大学学报: 信息科学版,2010,35(2):133-137. [ Kong Y F. Design of Geovideo data model and implementation of web- based videoGIS[J]. Geomatics and InformationScience of Wuhan University, 2010,35(2):133-137. ]
  • [58] 张兴国,刘学军,王思宁,等.监控视频与2D地理空间数据互映射[J].武汉大学学报(信息科学版),2015,40(8):1130-1136. [ Zhang X G, Liu X J, Wang S N, Liu Y. Mutual mapping between surveillance video and 2D geospatial data[J]. Geomatics and Information Science of Wuhan University, 2015,40(8):1130-1136. ]
  • [59] Lewis P, Fotheringham S, Winstanley A. Spatial video and GIS[J]. International Journal of Geographical Infor-mation Science, 2011,25(5):697-716.
  • [60] Milosavljević A, Dimitrijević A, Rančić D. GIS-augment-ed video surveillance[J]. International Journal of Geo-graphical Information Science, 2010,24(9):1415-1433.
  • [61] Zador A M. A critique of pure learning and what artificial neural networks can learn from animal brains[J]. Nature Communications, 2019,10(1):3770.
  • [62] Banino A, Barry C, Uria B, et al. Vector-based navigation using grid-like representations in artificial agents[J]. Na-ture, 2018,557(7705):429-433.
  • [63] Pei J, Deng L, Song S, et al. Towards artificial general in-telligence with hybrid Tianjic chip architecture[J]. Na-ture, 2019,572(7767):106-111.