DVB-S服务器上数据文件分发及监测系统建设

摘要:简要介绍了DVB-S服务器的业务应用和现有软件不能满足业务需求的实际状况。针对不同操作系统平台和不同业务的时效性,分析传输方式的优劣,采用不同的技术手段设计数据分发软件,该软件用c#2005编程实现。为了解文件的分发情况,以及各目的服务器的网络连通状况,记录文件分发过程中发生的系统错误,建立了日志。建立基于Web的监测系统,监视当前文件分发系统的运行状况,监视目的服务器的网络连通状态等。系统网页采用ASP与数据库相结合的方式设计,实现对分发文件的统计、检索功能。

关键词:DVB-S;分发;监测

中图分类号:TP311文献标识码:A 文章编号:1009-3044(2010)16-4347-02

Construction of Data Files Distributing and Monitoring System on DVBS Server

LI Jing1,WANG Shu2,DONG Ping1,LIU Jin-xia1,ZHAO Wei1

(1.Liaoning Province Meteorological Information and Technological Support Center,Shenyang 10016,China;2. Shenyang Institute of Atmospheric Environment,Shenyang 10016,China)

Abstract: Described that the DVB-S server business applications and existing software can not meet the business needs of the actual situation. For different operating system platforms and timeliness of different business, ,analyzed the pros and cons of using different techniques of transmission, designed data distributing software. The software was programmed using c # 2005. To detect the distribution of documents, as well asthe target server"s network connectivity status, record system errors occurred during distribution, the logs were established. A web-based monitoring system was established to monitor the current status of the file distribution system operation, the target server"s network connectivity status. The web pages were designedusing ASP combined with database technique, implemented statistics and searching of the files distributed.

Key words: DVB-S; distribution; monitoring

新一代卫星通信气象数据广播DVB-S(Digital Video Broadcast-Satellite,基于卫星的数字视频广播)系统是继9210工程中PCVSAT系统(单收站)之后的升级产品,与原有的PCVSAT系统相比,它具有更大的数据传输能力,DVB-S 数据广播可支持高达45 Mbps 速率的数据广播,可以解决气象资料传输的瓶颈从而实现大数据量的资料广播,如基础卫星云图数据、雷达探测数据等,都可以广播,而且使气象数据文件广播的时效性大大提高。DVB-S还可以处理超长文件名(255 字节),实现包括卫星、雷达资料在内的各种气象数据、图形、图像文件资料的高速广播。在数据文件分发上,采用原有的PCVSAT数据接收处理软件已经不能够满足长文件名、大数据量的资料传输需求。

1 系统设计

1.1 系统总体要求

将DVB-S接收到的文件,分发到局域网上的几台装有Linux OS和Windows OS的服务器上或者个人计算机上;分发的文件主要以长文件名为主;同一文件不超过两台计算机使用;对DVB-S服务器不能进行磁盘共享;对于其他安全性要求较高的服务器,也不能采用磁盘共享方式。

时间上的要求,有的文件需要10分钟传一次、有的文件需要2分钟传一次,有的文件需要一到就传,也有的文件对时效性要求不强,1小时传一次即可。

能够用Web界面显示分发的情况,并能够进行分发文件的统计和检索功能。

1.2 系统结构的设计

采用ftp和copy的方法将DVB-S服务器上的各类文件分发到几台局域网服务器上,将分发情况记录到传输日志中。再将日志信息入库,Web服务器从数据库中读取日志,显示当前的传输信息,用户通过该Web界面能够实现按日期统计、按服务器统计和按文件名检索的功能。系统总体设计如图1。

1.3 文件分发方式的设计

传输方式分为两种:一种是ftp方式;一种是copy方式。copy方式,比较适用于接收方计算机能够进行目录共享的情况,这种方法的好处是:速度快;ftp方式,针对安全性较高不适合目录共享的计算机、不是windows操作系统的计算机。ftp的速度要比copy的慢,主要体现在网络连接、用户验证方面;ftp的优点是:它的安全性要比copy方式高。

启动传输程序的方法:一种是定时启动发送;另一种是目录监测发送。定时启动,是比较常用的方法,适合于对文件传输时效要求有规律的情况,比如,地面资料10分钟分发就可以满足需要、Notes资料1小时分发就可以满足需要;目录监测适合于几乎所有的文件,监测到指定目录下,有文件就发送,但是这种方式,比较耗费资源,所以本系统把对时效要求非常高,或是文件比较大,数量比较少的文件类型采用这种方式:如fy3a卫星云图资料。

对文件目录的监测用到了C#语言中的FileSystemWatch对象。当对监测目录进行了文件操作,如写入文件、修改文件等,就会触发FileSystemWatch对象的created和changed等事件处理程序,籍此可以激活文件分发程序,根据文件名判断资料的分发目的地,将资料传输到指定的服务器中。

采用定时分发的任务被定时器在指定的时间激活。在文件分发的节目表中依据资料的预定分发时间激活特定的分发任务,将资料传输到指定的服务器中。

DVB-S服务器的文件分发工作可能出现以下几种情况。

情况一:同一个目录下的文件分发到同一个目录下(一对一);

情况二:同一个目录下的文件分发到不同的目录下(一对多);

情况三:不同目录下的文件分发到同一个目录下(多对一)。

对于情况一和情况三,可以在程序中定义每项源数据文件的分发路径:例如,所有star文件,从所有的star子目录下发送到172.19.1.3服务器上的/bcsy/star目录下。当系统分发完成后,从源路径中清除传输成功的文件,这个流程不会产生矛盾。

对于情况二,由于源数据文件存在多个分发路径,必将进行多次分发传输工作。如果根据每次传输成功的记录在源路径中删除文件,就将出现重复删除文件的错误。由此要单独考虑多服务器分发的问题。为此,在资料分发的传递通道中加入了中间目录,用于临时存放资料。

在资料分发节目表中,加入标志位flag ,记录是第几个要分发的服务器,最后一个为0,不同服务器,中间目录不同。

在本机进行中间目录拷贝或是移动时,当flag<>0时,在文件本地进行copy操作;当flag==0时,进行move操作。

当进行ftp时,将各自的中间目录作为原路径,成功后,删除各自中间目录的文件。

该方法的缺点是:在本地可能会有多个copy,目前的使用情况没有超过2台服务器同时分发的预期,最多只需考虑一份copy,可以采用该方法。优点是:不用做一个非常详细的节目表,一个文件一个文件的进行传输。

1.4 系统工作日志

为了解文件的分发情况,以及各目的服务器的网络连通状况,记录文件分发过程中发生的系统错误,有必要设计一套系统工作日志。日志共包括服务器状态日志、文件分发日志和系统错误日志。

在每次进行分发任务之前,首先要对目的服务器的运行状况进行监测,包括服务器是否可达,资料目录的可用空间是否耗尽。每次的监测结果记录在服务器状态日志中,并根据日志判断分发到特定的服务器的任务是否激活,未激活任务的信息也要记录在日志中,用于分析文件缺失的依据。

对于每次执行的文件分发任务,要记录执行分发任务过程中产生的所有的回显,其中包括成功分发的资料文件名、系统开始和结束时间、各种资料的实际传输字节数等信息。根据文件分发日志可以统计近期分发的文件总数和系统的吞吐量。

所有传输过程中遇到的系统错误记入日志中,有助于值班人员及时发现系统故障,也可以作为日后分析文件分发系统运行状态的依据。

1.5 系统显示界面

DVB-S数据文件分发系统的用户界面采用Web的方式设计,可以在业务网络中任意的计算机上监视当前文件分发系统的运行状况,监视目的服务器的网络连通状态,以及统计当前经由本系统分发出的总文件数量和总字节数。系统网页采用ASP与数据库相结合的方式设计,将主要监视目标放在主页中显示,并且设计了按服务器、日期和分发文件检索的多种查询统计方法。如图2。

2 系统的技术特点

DVB-S服务器的数据文件分发与监测采用C#语言与数据库、网络相结合的技术编程实现,利用了微软公司最新的.NET Framework框架程序设计思想,既提高了系统的开发效率,也增强了系统的扩展性和可维护性。

在系统的设计中,将ftp传输作业进行了整合,保证在一次ftp连接中传输尽可能多的数据,减少了与目标ftp服务器的登陆连接时间,提高了传输效率。

3 系统应用情况

在DVB-S数据文件分发系统设计实现后,在辽宁省的DVB-S备份接收服务器设备中调试运行。分发系统的传输效率较以往有了较大的提高,并且通过工作日志可以清楚地看到每天分发系统的运行状态。

参考文献:

[1] 肖文名,鄷薇,杨根录.气象信息传输业务流程优化的初步分析[J].应用气象学报,2009,20(4):497-503.

[2] 蒋克俭,王春芳,陈宏尧.DVB-S在气象数据广播中的应用研究[J].气象科技,2006,34(增刊):13-18.

[3] 赵立成,关彤.网络编程实现气象卫星资料的分发[J].应用气象学报,2003,14(4):395-401.

[4] 王红艳,刘黎平,肖艳娇.新一代天气雷达三维数字组网软件系统设计与实现[J].气象,2009,35(6):13-18.

推荐访问:分发 监测系统 器上 文件 数据