省级农村土地调查数据建库管理方法研究与实践

张欣

( 北京超图软件股份有限公司,北京 100015)

论文来源:《增刊测绘与空间地理信息》 2013年8月 第36卷

摘要:省级农村土地调查数据库是对全省各区县农村调查数据的集中管理,数据量大、更新频繁,包含矢量、影像和统计等数据。如何有效管理这些海量数据,保证数据的安全存储、快速更新、方便共享和广泛应用,是进行省级农村土地调查数据建库管理至关重要的方面。本文结合某省省级农村土地调查数据库建库工作,对海量数据的高效存储管理、更新维护和应用机制等进行了分析研究,在实践基础上,重点对数据的“管”和“用”进行了经验总结。

关键词: 省级农村土地调查,建库管理,共享与应用

Research and Practice on Database Construction & Management for Provincial - level Rural Land Survey Data

ZHANG Xin

( SuperMap Software Co. ,Ltd. ,Beijing 100015,China)

Abstract: Provincial rural land survey database is used to centrally manage the land survey data in every county. The land survey data is featured with large volume and high update frequency. It is a key issue to manage the massive data effectively to ensure the security storage,quick update,easy sharing and wide usage in database construction and management of provincial - level rural land survey data. In this paper,massive data storage,maintenance and application mechanisms were analyzed based on a provincial rural land survey database construction and the experience for data " management" and " use" was summarized.

Key words: provincial rural land survey; database construction; data sharing and application

0 引 言

  第二次全国土地调查( 以下简称“二调”) 是一项重大的国情国力调查,是全面摸清全国土地利用现状,并实现对调查成果进行信息化、网络化管理的工作。农村土地调查是以区县为单位,对城市、建制镇以外的土地进行调查,是二调的重点任务。

  二调数据是最新调查的数据,现实性强,能够反应最新土地利用现状。数据调查完成后,各区县都建立了数据库和数据变更管理系统,实现了数据的更新维护和应用。而省级主管部门日常的行政审批也需要以各区县的最新现状数据为基础,因此需要建立全省统一的农村土地调查数据库。

  农村土地调查数据库建库管理的目标就是对省级与各市、县的数据进行统一集中管理,建立省级农村土地调查数据库( 以下简称“省级数据库”) 。省级数据库建立后,将作为全省统一的数据库共享使用,为国土资源厅各项国土业务提供基础数据支撑,也可以为省级其他业务部门提供数据支持,为“数字省市”建设提供基础数据。

1 省级数据库建设总体框架

  省级数据库建设涉及多个层面的内容,在基础设施层需要网络设备、存储设备和服务器设备的支撑; 平台层需要具备操作系统、数据库、GIS 平台软件等; 数据层包含土地调查矢量数据、影像数据以及文档数据等; 支撑层包括数据库管理系统建设和应用服务系统的建设。省级数据库建设的总体架构如图 1 所示。

图 1 省级农村土地调查数据库总体架构
Fig. 1 Provincial rural land survey database structure

2 省级农村土地调查数据库建库

  2. 1 省级数据库建库流程

  省级数据建库是对各区县提交的成果资料进行入库,建库过程从各区县的数据资料收集开始,主要包括成果资料接收、数据检查、数据汇总统计、地方复核、数据入库等环节( 如图 2 所示) 。通过这个工作流程保证土地调查成果真实、准确,保证调查成果数据的质量。具体的质量检查标准参照《第二次全国土地调查成果国家级核查技术规定》。

图 2 省级土地调查成果核查入库流程
Fig. 2 Provincial rural land survey results verification and storage process

  省级数据库建库参照国家标准《土地利用数据库标准》和《第二次全国土地调查数据库建设技术规范》。

  2. 2 省级数据组织

  省级农村土地调查数据库包含全省各区县数据,数据量大。以某省为例,该省包括十几个市,100 多个区县,所有区县的二调成果数据( 2009 年) 中,矢量数据大约60GB,影像大约 700GB,所有区县的更新包( 矢量) 数据量大约 6GB,平均每个区县的更新包数据量大约 50 MB。

  从数据的记录数方面来说,该省所有区县二次调查的成果数据中,地类图斑面对象数量大约 310 万,每个市范围内的地类图斑面对象数量在 8 万到 40 万之间。地类界线线对象大约 880 万,每个市范围内的地类界线线对象数量在 20 万到 120 万之间。

  针对该省农村土地调查数据的组织管理工作,有 3 种方案可供选择( 如图 3 所示) 。

  第一种方案是整合存储管理。将全省 100 多个区县的各要素类分别进行合并,形成一个大的成果数据库,包含 20 多个要素层,每个要素层都包含全省的要素,如全省地类图斑要素层。这种方式的优点是应用比较简单,比如配置全省的土地利用地图,简单快速。这种方式存在的问题是,由于一个要素层的对象个数过多,拓扑检查、分析效率不理想,比如当前需要新建一条横贯全省的高速公路,需要将规划的线对象和全省的地类图斑数据进行叠加分析,目前主流的 GIS 软件性能不理想,这种方案对机器的硬件配置要求也比较高。

  第二种方案是各区县数据单独存储管理。将全省100 多个区县的数据按照区县边界分别存储管理,形成100 多个区县成果数据库,每个数据库中包含该区县的 20多个要素层。这种方式在 GIS 分析方面比较快速,数据更新维护简单。缺点是数据整合应用比较麻烦,如配置全省的土地利用地图,需要打开 100 多个数据库,每个地图图层都需要加载 100 多个要素类到地图窗口中,并逐一配置风格。

  第三种方案是分区域整合存储管理。将十几个市所

  辖各区县数据分别进行合并,构建十几个成果数据库。这种方式的优点是单个要素层的对象数不会太多,如地类图斑对象数在 8 万到 40 万之间,主流 GIS 软件的分析性能都能够满足应用要求。另外,在数据的灾备、恢复方面也比较方便处理。这种方式在数据更新方面比较简单,应用也比较方便。

图 3 省级数据组织方案对比
Fig. 3 Comparison of provincial data organization schemes

  从数据高效读取访问、应用简便的角度考虑,该省的省级数据库数据组织采用了第三种方案,即分库管理、统一配图的策略。将区县数据按照市级行政区划范围进行合并,并分别存储管理。在地图配置方面,采用了地图模板的方法加快速度。

  2. 3 数据存储管理策略

  数据管理的重要指标是减少存储空间、高效访问。省级数据的物理存储采用分区存储技术。在高效访问方面,主要采用了压缩编码技术、索引技术和影像金字塔技术。

  2. 3. 1 分区存储技术

  空间数据的物理存储方式有多种,如文件系统存储、数据库存储。从数据量、数据安全、共享使用的角度考虑,省级数据库采用了 Oracle 数据库存储管理。

  Oracle 的分区存储技术主要用于对海量数据的存储,通过分区可以将同一个数据表中的记录分别存储在存储设备的不同分区。采用分区存储的优势在于,在区县级的业务应用中,不需要读取整个市的数据,而是读取某个分区的数据,加快数据读取速度。另外,这种方式存储数据也能提高数据安全性,如果某个分区的数据文件损坏,只需要恢复对应分区的数据。

  笔者采用 SuperMap SDX + 空间数据库引擎,将各市行政区划范围内的区县数据存储到十几个成果数据库中,物理文件存储到十几个表空间中,并根据数据坐落单位代码将各区县数据存储到不同的分区中,该省级数据库物理存储结构如图 4 所示。

图 4 省级数据库物理存储结构
Fig. 4 Provincial database physical storage structure

  2. 3. 2 数据压缩编码

  采用压缩编码可以减少空间数据的存储空间,但数据压缩通常会带来精度损失,土地调查数据对于数据精度的要求非常高,因此对省级矢量数据不进行压缩,保证原始数据的精度。

  影像数据一般比较大,而且不用来进行精确的分析,因此在影像数据存储方面,可以先进行压缩编码,提升访问速度,节省存储空间。DCT 编码方式有很高的压缩率和性能,省级数据库中的影像数据采用了 DCT 编码方式。

  2. 3. 3 索引技术

  索引技术是空间数据库引擎的一项关键技术,它直接影响到空间数据访问和查询的效率。SuperMap SDX +目前提供了 R 树索引、四叉树索引、图幅索引和动态索引四种索引类型。各种索引类型优势不同,支持的数据量、并发编辑能力也不同。

  R 树索引的空间检索效率非常高,检索精度也很高。比较适用于只读数据或者不经常进行空间数据编辑的静态数据。R 树索引对 1 000 ~ 100 万数量级的数据能发挥其最佳性能。省级农村土地调查数据属于相对静态的数据,且数据量大,空间数据的访问速度直接影响到数据的高效利用。因此,对省级数据建立了高效的 R 树索引,保证数据的读取访问和查询效率。

  2. 3. 4 影像金字塔技术

  建立影像金字塔可以大幅提升栅格数据的访问效率。在该省的省级数据库建库工作中,对该省约 700GB的影像数据采用了 DCT 编码方式,并建立了影像金字塔,加快影像的读取速度。

  2. 4 数据库更新维护

  农村土地调查数据每年更新一次,合理的更新维护策略可以保障数据库的持续更新。在建库工作的基础上,需要从技术和管理上确保农村土地调查数据的定期更新,保证调查数据的现势性。在实际更新工作中,需要考虑更新数据的结构、更新包数据的提交、检查、入库、存储管理等。

  数据库更新包括数据内容更新和索引的更新维护。更新数据内容包括土地调查数据库中各要素类发生变化的部分和变更过程,主要包括对土地利用数据、土地权属数据、行政区划数据等矢量数据的变化更新; 索引的更新主要是重建空间索引。

  2. 4. 1 更新维护流程

  数据库更新包括 3 个层级的更新,即区县级、市级和省级。从区县级更新包生成到省级数据库更新的完整流程如图 5 所示。

  由于更新工作以区县为单位进行数据采集和变更,因此流程从区县级变更数据的获取开始。区县生成增量数据之后,使用国家统一下发的更新数据上报软件检查增量数据库及相关统计报表,检查通过后生成新数据包,汇交上级( 市) 国土资源管理部门; 然后进行市级数据库变更,市级更新包检查和上交; 然后再提交到省级主管部门,进入省级更新包接收、检查、省级数据库变更环节。

图 5 农村土地调查数据库更新总体流程
Fig. 5 Rural land survey database update process

  2. 4. 2 省级数据库变更

  省级数据更新的更新流程不涉及外业调查,从更新包数据接收开始,具体环节包括更新包数据接收,更新包数据检查,检查通过后,利用省级数据库管理系统对省级数据库进行更新,并输出省级统计报表。

  在省级更新包的入库管理工作中,有 2 种方案可供选择。

  第一种方案是在同一个数据库中组织管理更新包数据,存储初始调查成果数据和各年份变更包,具体又分为两种方式:

  1) 将更新包采用多个数据集组织管理。在变更数据库中包含多个有时间签的增量数据集,即各年份的增量数据。

  2) 将更新包中的同类要素采用同一个数据集组织。将同一类要素变更存储在同一个数据集中,采用时间字段区分。但实际应用中,一般要求不改变更新包的原始数据,而且在更新包之间存在冲突时,难以处理。

  第二种方案是整库更新和存储。基于初始成果数据库和更新包,对成果数据库进行变更处理,生成最新年份的现状数据,将各年份现状数据分别存储为独立的数据库,更新包也以 VCT 文件的形式按照年份、按照区县单独存储起来。这种方式的优点是数据管理维护比较简单。

图 6 省级更新包存储管理策略
Fig. 6 The storage scheme of provincial data update package

  在更新包的存储管理策略选择上,整库存储会造成空间的浪费,只存更新包会导致应用的复杂。省级数据库采用了第二种存储管理方式( 如图 6 所示) ,这也是比较实用的一种方式。即采用每年的更新包将现状数据进行变更处理,生成最新的现状数据,并按照年份单独存储管理。这种方式可以保持数据的独立性,应 用 也 比 较简单。

  2. 5 数据库管理系统建设

  在省级数据库建库管理工作中,开发建设了数据库管理系统,用于数据入库、数据管理、数据检查、数据变更、数据应用分析以及数据交换等工作。

  系统支持成果数据的导入,多种数据格式的一键导入功能,对入库后的成果进行汇总等。在数据管理方面,提供常见地图操作功能、文档管理、影像管理以及元数据管理功能。在数据更新交换方面,提供变更任务管理、数据变更。在数据应用分析方面,支持历史回溯、用地情况专项分析、地图综合工具、制图输出、统计报表汇总等功能。系统管理功能主要包括用户与权限管理、数据备份与恢复功能、日志管理等( 如图 7 所示) 。

图 7 数据库管理系统界面
Fig. 7 Database management system interface

3 数据共享与应用

  在数据共享和应用方面,基于省级数据库为省所辖的各个市县提供统一的数据,可以保证省、市、县三级国土主管部门在同一套数据库基础上,开展国土业务的审查、审批工作,同时也为各市县节省了数据管理维护的成本。

  3. 1 数据共享方式

  对于省级农村土地调查数据库的应用,有 2 种方式可供选择,一种是传统的物理裁切拷贝方式,直接获取访问本地物理数据,这种方式是物理数据分发,共享效率低,数据安全性差。另一种是通过标准服务( OGC) 的形式访问数据,即通过 GIS 服务器平台软件将数据发布为标准服务,提供数据访问的标准接口,用户通过访问接口访问后台的数据。这种途径不会将数据直接暴露给最终用户,确保数据安全,省级数据库数据共享采用了标准服务的方式,通过建立数据共享服务平台,进行数据分发使用,这也是目前主流的数据共享方式。

  3. 2 数据共享服务架构

  在省级农村土地调查数据库建库管理工作中,基于各单位用户对于数据共享和使用的需求,通过数据共享服务平台对外提供标准服务接口,方便各级用户访问省级数据库的现势性数据和历史数据,还可以使土地调查数据服务能无缝地嵌入到各部门、行业的现有业务应用系统中,有效解决以往应用系统建设运行中存在的技术难度大、建设成本高、开发周期长、更新维护难等问题,充分发挥省级数据库的最大效益。数据应用的总体架构如图 8 所示。

图 8 数据共享服务总体架构
Fig. 8 Data sharing service architecture

  SuperMap GIS 是符合 SOA 相关标准的 GIS 软件平台。SuperMap GIS 通过标准的服务接口提供全面的 GIS功能服务,支持发布多种类型的服务,包括 REST 服务、SOAP 服务、OGC W * S 服 务 ( WMS,WFS,WCS,WPS,WMTS 等) 、KML 服务等。这些服务对外以 GIS 服务接口( GIS Service Interface) 的形式表现出来。省级数据库的数据应用总体架构中,数据共享服务平台是基于 SuperMap iServer Java 开发建设的,方便与已有系统的对接与集成。

  3. 3 数据共享服务平台建设

  数据共享服务平台主要用于将省级农村土地调查数据以标准服务的形式发布为网络服务,并进行服务的管理等。其中,目录服务主要用于在共享服务平台门户上发布数据目录和元数据; 元数据与数据目录管理系统可以由其它系统调用,用于通过数据目录和元数据访问系统的数据; 信息服务主要用于管理平台发布的各种标准服务,并对服务进行授权; 服务门户网站是数据共享服务平台对外提供数据和服务的唯一出口,服务于有农村土地调查数据应用需求的用户。

  数据服务的管理维护包括相关的数据应用制度和规范等。在技术层面上,可以通过技术手段保障数据服务的安全,具体包括身份认证、权限管理、用户活动记录、运行监控和日志记录等。

4 结束语

  笔者将某省省级数据库建库过程中采取的策略以及考虑的因素等进行了经验总结,为类似建库工作提供参考。省级农村土地调查数据库的建设,使省、市、区县三级在统一的数据库上开展业务应用,解决了业务部门使用数据不统一的问题,提升了工作效率,提高了数据的规范性,数据质量也有了统一的标准。通过索引技术、数据编码、影像金字塔等技术的应用,提升了数据访问的效率。通过数据共享服务平台的建设,确保了省级数据库的数据以标准服务的形式在国土专网上发布,保证数据应用的安全。

  实际上,省级农村土地调查数据库建库管理工作没有最佳的方案,需要综合权衡考虑各方面的因素,如存储空间、存储效率、高效查询分析、应用便捷等,综合选择一个适宜方案。另外,随着信息技术、计算机技术的发展,空间数据量的扩张,应用范围( 用户群体) 的扩大,还需要对方案不断优化调整。

参考文献:

  [1] 黄嵘,董春晓,张新,等. 省级国土资源数据应用模式及布局策略研究—以陕西省多级国土资源数据为例[J].测绘与空间地理信息,2012,35( 9) : 12 - 14.

  [2] 李武,任家强,苏里. 第二次土地调查的技术方案与成果检查方法研究———以农村土地利用现状调查为例[J].测绘与空间地理信息,2012,33( 2) : 84 - 86.

  [3] 李邵俊,周芹,王尔琪,等. SuperMap 高性能海量空间数据管理策略[C]/ /2009 地理信息产业论坛论文集,武汉: 中国地理信息系统协会,2009,513 - 523.

  [4] 国土资源部. TD/T 1016 - 2007,土地利用数据库标准[S]. 北京: 中国标准出版社,2008.

  [5] 国土资源部. TD/T 1014 - 2007,第二次全国土地调查技术规程[S]. 北京: 中国标准出版社,2008.

作者简介: 张 欣( 1981 - ) ,女,山东临沂人,博士,2008 年毕业于中国科学院地理科学与资源研究所地图学与地理信息系统专业,主要从事 GIS 行业的应用研究与实践工作。