数据库技术在山西气象业务中的应用

摘要：气象部门是以大量气象信息数据收集、传输、处理、存储为基础的科研部门，数据的存储管理经历了纸面记录、计算机文件、专用的气象信息准数据库等多种方式。随着计算机技术和数据库技术的不断发展，计算机硬件的性能越来越好，通用数据库对大容量、多类型数据的处理、管理能力的强大，气象基本业务转向以数据库为基础的工作方式，是必然的发展方向。

关键词：数据处理；气象；数据库

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）25-0003-03

Abstract： The meteorological department in a large number of meteorological information data collection， transmission， processing， storage， on the basis of the scientific research department， data storage management experienced paper records， computer files， special meteorological information database and so on a variety of ways.With the continuous development of computer technology and database technology， computer hardware performance is getting better and better， universal database of large capacity， multi-type data processing， management ability strong， meteorological basic business Based on the database works， is the inevitable development direction.

Key words： data processing； weather； database

1 数据库技术简介

数据库技术产生于20世纪60年代末70年代初，其主要目的是有效地管理和存取大量的数据资源。数据库技术主要研究如何存储，使用和管理数据，是数据管理的实用技术。

近年来，数据库技术和计算机网络技术的发展相互渗透、相互促进已成为当今计算机领域发展迅速和应用广泛的两大领域。数据库技术不仅应用于事务处理，并且进一步应用到情报检索，人工智能，计算机辅助设计等领域，在气象行业的应用也十分普遍。

1.1 数据处理技术发展的三个阶段

数据处理技术的发展与计算机技术的发展密切相关，数据处理技术经历了三个发展阶段：人工管理阶段、文件系统数据的管理阶段和数据库系统阶段。

1.1.1 人工管理阶段

早期的计算机主要用于科学计算，计算机的存储设备只是磁带、卡片、纸带等，既没有操作系统，也没有管理数据的软件。这时候对数据处理主要是人工管理。人工管理数据阶段的特点：数据无法长期保存，没有专门的软件对数据进行管理，数据无法实现共享，每个应用程序有着相应的数据，不同的应用和程序之间无法共享数据。数据的冗余度大。数据不具有独立性。应用程序与数据密切相关，一旦数据的结构发生改变，应用程序也要作相应调整。

1.1.2 文件系统阶段

计算机技术发展到一定阶段后，出现了磁盘等直接存取的硬件设备和专门用于数据管理的文件系统，不但可以实现文件的批处理，还可以联机实时处理。文件系统管理数据阶段的特点：数据事以长期保存。由文件系统专门管理数据，但在共享性、独立性方面仍存在着明显缺陷。

1.1.3 数据库系统阶段

20世纪60年代中后期以来，计算机技术得到迅猛发展，出现了大容量的磁盘设备，硬件性能大幅提升，操作系统也可以实现多用户、多应用的实进处理，出现了数据库管理系统，数据库管理系统示意图见图1。

数据库系统管理数据的主要特征：數据结构化。用数据模型来描述数据，采用记录等形式来组织数据。数据共享性高、冗余度小、易扩充。数据独立性强。数据的独立性保证当数据库中的数据发生改变时，应用程序不用改变，对数据的集中控制。数据库管理系统提供了对据的安全性、完整性、并发性、可恢复性等方面的集中控制。

1.2 数据库

数据库（Database，简称DB）是长期储存在计算机内、有组织的、可共享的大量数据集合。

数据库管理系统（Database Management System， DBMS）位于应用程序和操作系统之间，是为建立、使用和维护数据库而配置的一层数据管理软件、负责对数据库中的数据进行统一的管理和控制。

数据库系统（Database System， DBS）是带有数据库的计算机系统。包括数据库、数据库关系统、应用程序、数据库管理员以及用户等部分。

2 山西气象业务中数据库的应用

2.1 Sybase数据库

Sybase 数据库管理系统具有以下特点： （1） 开放的体系结构； （2） 可伸缩性，不管SQL Server 是安装在哪一个平台上，所有的表、SQL 代码、存储过程等数据库对象都能在其上运行； （3） 互操作性，即能透明地与其他厂商的DBMS 集成在一起； （4） 分布式数据库支持； （5） 能保持数据的安全和完整。

全国气象部门所应用的9210卫星通信工程的核心组成部分之一“数据库子系统”是国家级、区域级、省级信息控制中心和地市级管理系统中建立的四级分布实时气象资料数据库系统。9210数据库系统是利用SYBASE商用数据库管理系统建立的一个实时数据处理系统。系统组织和管理全球观测的气象资料，以及基于这些观测资料加工而成的气象分析产品、预报产品、图形图像产品等资料。

9210数据库系统是一个以客户机/服务器体系结构建立在网络环境下数据库系统。利用本系统提供的检索功能，用户可以在主机终端和WINDOWS环境下使用实施程序或高级语言接口对本系统中的各种资料进行查询。

基于SOA的山西省气象历史数据库系统就是以此为依托建立的WEB方式查询。目前现在数据库技术的发展，采用SOA架构，利用web service组件（J2EE） 对历史数据库开发能够在内网上进行各种查询访问、统计的共享服务系统。SYBASE数据库包含了：地面气候月报表资料，包括每日3次或4次的定时观测的气压、气温、湿球温度、露点温度、水汽压、相对湿度、云量、云高、云状、能见度、降水量、蒸发量、积雪、积冰、风向、风速、冻土、日照、地温等资料，建立山西省气象数据库应用服务系统，提供数据库管理、用户管理、数据查询等功能，用户可以通过这个系统实现气象科学数据的查询统计，为日常气象决策服务及科研开发的使用提供便利。系统要求可扩展、可移植性强。

系统的建成将为气象预报水平的提高和领导正确决策提供及时准确的依据，同时也可为社会各界科学研究和公益服务提供历史气象资料，使气象历史数据得以有效地利用，最大限度地为社会经济发展发挥应有的作用。

2.2 MySQL数据库

目前省内新一代通信系统与全国综合气象信息共享平台（CIMISS）中收发业务系统（CTS）采用了MySQL数据库。

新一代国内气象通信系统是由国家气象信息中心组织开发的新一代国内通信系统。系统由数据收发系统、存档服务系统、信息服务系统、数据库管理系统和业务监控系统五个系统组成。系统主要功能包括：气象信息收集及分发传输服务、实时数据的处理、实时气象信息服务、实时数据通信业务监控、业务信息统计和查询服务等几个大的功能组成。

MySQL是一个关系型数据库系统，将数据保存在不同的表中，增加了读写速度和灵活性。MySQL对某些功能（例如引用、事务、审计等）的实现方式使得它与其他的关系型数据库相比缺少了一些可靠性。但对于简单繁重的读取操作，在气象传输业务系统中，对于传输频次有较高要求，有频繁的读写操作，MySQL比较适用。

MySQL群集需要有一组计算机，每台计算机的角色可能是不一样的。MySQL群集中有三种节点：管理节点、数据节点和SQL节点。群集中的某计算机可能是某一种节点，也可能是两种或三种节点的集合。这三种节点只是在逻辑上的划分，所以它们不一定和物理计算机是一一对应的关系。

管理节点（也可以称管理服务器）主要负责管理数据节点和SQL节点，还有群集配置文件和群集日志文件。它监控其他节点的工作状态，能够启动、关闭或重启某个节点。其他节点从管理节点检索配置数据，当数据节点有新事件时就把事件信息发送给管理节点并写入群集日志。数据节点用于存储数据。SQL节点跟一般的MySQL服务器是一样的，我们可以通过它进行SQL操作。

2.3ORACLE数据库

Oracle Database，又名Oracle RDBMS，简称Oracle。是关系数据库管理系统。其系统具有可移植性好、使用方便、高效率、可靠性好的 适应高吞吐量和各类大、中、小、微机环境等特点。

在全国气象信息共享平台（山西）CIMISS系统中应用了ORACLE11g R2数据库，气象数据库系统采用ORACLE联合文件系统的架构，实现对海量、高并发访问气象数据的全生命周期的存储管理。SOD系统是CIMISS系统的核心业务模块，包括数据入库及管理、监视等多种功能的统一数据存储管理平台。CIMISS通过构建统一的数据存储管理系统（数据库系统），实现对各类气象数据的高效、完备、可扩充的一体化管理。按照用途和服务对象，气象数据库分为基础库、实时库、互联网库和行业库，各个库存储管理的数据范围和种类不同。基础库存储管理气象数据的全集，包括全部观测资料和产品、元数据和管理应用信息等，其他3个库均为基础库的子集。

存储管理系统的核心任务是构建一个“气象信息数据库系统”，这一数据库系统是上游数据收发、加工处理与下游的共享服务系统之间的衔接点和转折点。在业务运行过程中，上游系统将数据源源不断传递到本系统，以规范化的方式存储之后，系统将快速向下游系统发布数据和提供数据服务，系统的存储能力和运行效率将直接影响到数据的服务能力。

数据库的核心内容是根据不同用户需求，为共享服务系统、加工处理系统等使用者提供的各类气象数据信息以及相关支撑信息的集合，包括气象数据和产品、元数据、气象数据的管理和应用信息、业务监视统计信息等，此外，还包括进行归档的气象数据。从逻辑上划分，CIMISS可包括4个“数据库”，分别是“实时库”，“基础库”，“监控库”和“支撑库”，所有这些“数据库”由数据库存储管理系统负责管理和维护。

“数据库应用系统”实现对气象信息数据库中所存储气象数据的入库、处理、备份恢复、迁移回迁、数据归档、存储结构管理及安全控制，为本系统的使用者提供标准且统一的数据访问服务接口，并进行系统运行必需的存储配置信息管理。

气象信息数据库存储的主要内容是各类气象数据及相关的数据信息。根据不同的服务特性，本系统的数据库由4个逻輯数据库组成，分别为实时数据库（RDB），基础数据库（BDB），监控信息数据库（MDB）和支撑数据库（SDB），数据库的逻辑结构见图2。

3 数据库整合

随着气象探测和观测技术的不断进步，气象资料的种类和数量与日俱增，省级信息中心实时收集来着国内外的各种气象资料和业务产品数量已近TB级别，如何实时快速收集和处理这些海量的资料和业务产品，有效管理气象资料，为用户提供方便快捷的数据服务，是气象资料业务的重要内容。近年来，通过各类不同的项目，气象业务中已建设了多个为不同目的而服务的数据库系统。

为了能够更全面地为用户提供所有这些不同类型数据库中的气象数据的服务，对多个数据库并存的复杂状况进行改进，减少不必要的数据冗余，使数据存储和服务逐步实现资源利用和管理的集约化，在逐步建立完善的气象业务中对已建和在建的数据库系统进行一定程度的整合，实现气象数据的存储规范和集约化，将气象数据有效合理的应用，为气象预报业务、气象服务业务提供有力的数据保障。通过整合省级中心的数据库系统将形成以基础数据库为核心的逻辑上统一的数据存储管理和服务系统。

参考文献：

[1] 沈文海，赵芳，高华云，等.国家级气象资料存储检索系统的建立[J].应用气象学报，2004，15（6）：727-736.

[2] 吴煥萍，张永强，孙家民，等.气象信息交互显示与分析平台（CIPAS）设计与实现[J].应用气象学报，2013，24（5）：631-640.

[3] 李月安，曹莉，高嵩，等.MICAPS预报业务平台现状与发展[J].气象，2010，36（7）：50-55.

[4] 韩笑，王力，王吉滨，曹锦飞.一种地市级气象数据库的设计与应用[J]. 气象科技，2015（6）.

[5] 王若曈，黄向东，张博，王建民，罗兵.海量气象数据实时解析与存储系统的设计与实现[J]. 计算机工程与科学， 2015（11）.

[6] 白长清，矫宏鹤.云计算在气象检定系统中的应用[J]. 软件，2015（11）.

[7] 刘俊娜，唐怀瓯，季永华. 省级气象探测资料归档与备份系统[J]. 电子世界，2015（21）.

推荐访问:山西 气象 数据库技术 业务