修正模板内容错误

master
李一帆 2025-09-12 10:40:40 +08:00
parent 0d7d354f7b
commit 3815f22935
2 changed files with 14210 additions and 469 deletions

View File

@ -1,622 +1,343 @@
# 第4章 项目总体设计 # 项目总体设计
## 4.1 总体架构 ## 总体架构
### 4.1.1 四层分布式体系架构
黑石咀水库系统作为湖北省山洪灾害监测预报预警"四预"系统的重要组成部分,采用面向服务的架构模型,建立了完整的"基础支撑层-数据支撑层-业务支撑层-业务应用层"分布式体系架构。 湖北省山洪灾害监测预报预警"四预"系统采用面向服务的架构模型,建立"基础支撑层-数据支撑层-业务支撑层-业务应用层"的分布式体系架构。总体架构图如下:
#### 架构层次设计
**基础支撑层**
- **感知设备体系**:集成雨量站、水位站、图像站、末端预警站等监测设备,构建全方位的数据采集网络
- **传输网络架构**:采用水利专网和互联网双通道数据传输,确保数据传输的可靠性和实时性
- **基础资源平台**:基于省政务云水利专区的计算资源、存储资源、安全资源和资源调度服务,为系统提供稳定的基础设施支撑
- **设备接入管理**:通过标准化的数据模型实现设备数据的标准化接入,支持多种类型的监测设备统一管理
**数据支撑层** ![**图4.1-1 总体架构图**](media/image2.png){width="5.925694444444445in"
- **多源数据整合**:建设汇聚库、主题库、基础库、共享库、专题库五级数据体系,实现数据的分类管理和高效检索 height="4.220138888888889in"}
- **数据治理平台**:对各类基础数据、地理空间数据、监测预报数据进行集成、存储、处理、共享,确保数据质量和一致性
- **数据同步机制**通过定时任务实现5分钟间隔的多源数据同步保证数据的实时性和准确性
- **数据质量控制**:实现数据清洗、验证、标准化处理,为上层应用提供高质量的数据支撑
**业务支撑层** 1.基础支撑层:包括感知设备、传输网络、基础资源三部分,其中:
- **算法模型体系**
- 小流域分布式水文模型集成,支持洪水预报和风险评估
- 简化淹没范围与水深分析模型,提供淹没分析功能
- 气象数据处理模型支持GRIB2等气象文件的专业处理
- 空间数据分析模型,提供强大的空间分析能力
- **应用支撑平台**
- GIS引擎提供专业的地理信息处理和空间分析能力
- 微服务管理:支持服务的模块化部署和独立扩展
- 数据支撑平台:提供高效的数据访问和处理能力
- 消息中心:实现预警消息的统一管理和分发
- 文件管理:支持大文件的安全存储和高效访问
**业务应用层** 感知设备主要包括需要对接雨量站、水位站、图像站、末端预警站、测雨雷达站等。
- **预报系统**:提供气象预报和洪水预测功能,支持多时间尺度的预报分析
- **预警系统**:实现多级别、多类型的预警信息管理,支持实时预警发布和统计
- **预演系统**:提供考核评估和演练管理功能,支持应急响应能力的提升
- **预案系统**:实现应急响应和决策支持,提供完整的应急管理流程
#### 技术架构合理性 传输网络是数据传输的承载环境,包括水利专网和互联网。
**微服务架构优势** 基础资源通过省省政务云水利专区提供系统运行所需要的计算资源,存储资源、安全资源和资源调度服务。
- **服务独立性**:各业务模块独立部署,单个服务的故障不会影响整体系统运行
- **技术异构性**:不同服务可以采用最适合的技术栈,提高开发效率
- **弹性伸缩**:根据业务负载动态调整服务实例数量,优化资源利用率
- **持续部署**:支持独立的服务更新和部署,加快产品迭代速度
**分层架构设计原则** 2.数据支撑层:整合多来源数据信息,建设汇聚库、主题库、基础库、共享库、专题库,对各类基础数据、地理空间数据、监测预报数据及其他外部共享数据等进行集成、存储、处理、共享;
- **关注点分离**:每层专注于特定的功能领域,降低系统复杂度
- **接口标准化**:层间通过标准接口交互,降低耦合度
- **数据流向清晰**:数据在各层间有序流动,便于监控和管理
- **可扩展性强**:各层可以独立扩展,适应业务发展需求
## 4.2 网络架构 3.业务支撑层:包括算法模型和应用支撑两部分,其中:
### 4.2.1 多网络区域架构设计 算法模型部分涵盖本次升级的小流域分布式水文模型,新增简化淹没范围与水深分析模型,以及对前期项目建设完成的算法模型的复用。
根据云平台整体架构规划,系统网络接入采用多区域隔离设计,包括互联网接入区、政务外网接入区,每个接入区的业务处理网络彼此隔离 应用支撑部分涵盖支撑系统运行的GIS引擎、微服务管理、数据支撑平台、短信网关及本次新增建设的模型管理服务
#### 政务外网及专网区实现 4. 业务应用层:基于各类支撑平台,结合山洪相关业务,建设山洪灾害"四预"系统,并面向不同用户的需求,提供多样化信息服务,实现对各类山洪相关数据的便捷信息查询、立体信息展示及高效数据分析。
**网络分区设计** ## 网络架构
- **接入区**:提供专线接入湖北省水利厅专网,确保数据传输的安全性和稳定性
- 外部系统集成通过标准API接口与外部系统进行数据交换
- 安全认证机制采用Token认证和IP白名单等多重安全措施
- 动态缓存管理:支持实时缓存清理和更新机制
- **核心交换区**:完成各功能分区之间数据流量的高速交换 根据云平台整体架构规划,网络接入包括互联网接入区、政务外网接入区,每个接入区的业务处理网络彼此做了隔离,以保证安全性。如下图所示。本项目主要业务系统部署在政务外网及专网区,通过专线接入湖北省水利厅,互联网区和政务外网及专网区区域之间通过安全隔离区彼此隔离。网络架构如下:
- 数据库主从同步:采用主备架构确保数据安全和高可用性
- 缓存集群部署:多实例缓存服务提高数据访问效率
- 负载均衡:基于容器化部署的服务编排和负载分发
- **运维区**:提供远程运维接入服务 ![**图4.2-1 网络架构图**](media/image3.png){width="5.922916666666667in"
- 安全远程访问:基于密钥认证的安全访问机制 height="2.525in"}
- 统一日志管理:应用日志和系统日志的集中管理
- 性能监控:数据库和应用性能指标的实时监控
- **管理区域**:提供数据中心整体的管理功能 一、政务外网及专网区
- 用户权限管理:基于角色的访问控制和权限管理
- 配置管理:多环境配置文件的统一管理
- 审计日志:操作行为和安全事件的审计跟踪
#### 安全隔离区实现 政务外网及专网区内部具体分区功能如下:
**容器化安全隔离** 1.接入区:提供专线接入湖北省水利厅专网,主要是通过路由器或链路负载均衡设备对外部流量进行引流,将流量接入数据中心内部,同时考虑安全,接入区对内部分区之间需通过防火墙做隔离,并对外设置安全策略。
- 网络模式采用host网络模式实现负载分担和高性能
- 端口管理:统一的服务端口管理和访问控制
- 访问控制基于Token的API访问控制和权限验证
**网络安全配置** 2\.
- 网络隔离:通过容器技术实现进程和网络层面的隔离 核心交换区:主要功能是完成各功能分区之间数据流量的高速交换,是接入侧纵向流量与内部服务功能分区间横向流量的交汇点。作为整个平台的汇聚,考虑安全性,对业务数据、存储数据、管理数据分别采用不同设备进行汇聚。
- 服务编排:基于容器编排工具的服务生命周期管理
- 资源限制:对容器资源使用进行限制和监控
### 4.2.2 外部网络集成 3\. 运维区:主要提供远程运维接入服务。
#### 三网接入支持 4\.
管理区域:提供数据中心整体的管理功能,包括云平台、云管平台、运维管理、安全管理几大部分,提供云服务支持、日常运维、运营保障的功能,以及漏洞扫描、安全审计等安全部署。
**多网络接入架构** 5\.
- **电信接入**通过外部API配置支持电信网络接入 计算区(云资源区):按不同需求对外提供云计算服务,主要部署服务器,结合虚拟化技术,对外提供不同类型的虚拟机资源。
- **联通接入**:多网络负载均衡和冗余设计
- **移动接入**:移动网络接入支持
**外部API集成体系**
- 气象数据API集成气象局提供的气象监测和预报数据
- 水库数据API接入水库监测系统的实时数据
- IP白名单管理动态IP白名单管理和访问控制
- 数据同步API实现多源数据的定时同步和更新
- 预警信息API集成气象预警系统提供预警信息
## 4.3 部署架构
### 4.3.1 容器化部署架构
#### 前端服务器配置
**VPC部署设计**
- 独立VPC环境分配弹性IP确保网络访问的独立性
- 集群技术实现负载分担和高可用,提高系统的可靠性
- 等保三级安全要求部署WAF、防DDOS、IPS等安全服务
**网络优化配置**
- 服务端口管理:统一的服务端口配置和管理
- 数据压缩启用HTTP压缩提高数据传输效率
- 静态资源优化:对静态资源进行压缩和缓存优化
#### 后端服务器配置 6\.
存储及本地备份区域部署存储及备份设备服务器资源通过高性能IP/FC交换机与存储相连。同时根据业务需求对于重要数据做本地备份。
**独立VPC部署** 7\. 灾备区域:通过网络互通,提供远程的数据容灾与备份功能。
- 后端服务器在单独的VPC不分配弹性IP提高安全性
- 内部IP地址交互减少外部攻击面
- 云防火墙安全隔离,提供网络层面的安全防护
**容器编排配置** 二、互联网区
- 基础镜像:采用标准化基础镜像确保环境一致性
- 数据存储:持久化数据存储和备份机制
- 时区配置:统一的时区配置和时间同步
- 环境配置:多环境配置管理和动态配置更新
### 4.3.2 数据引擎部署 互联网具体分区功能如下:
#### PostgreSQL主备架构 1.接入区:提供电信、联通、移动三网互联网带宽接入,主要是通过路由器或链路负载均衡设备对外部流量进行引流,将流量接入数据中心内部,同时考虑安全,接入区对内部分区之间需通过防火墙做隔离,并对外设置安全策略。
**主数据库配置** 2\.
- 主从同步基于PostgreSQL流复制的数据同步机制 核心交换区:主要功能是完成各功能分区之间数据流量的高速交换,是接入侧纵向流量与内部服务功能分区间横向流量的交汇点。作为整个平台的汇聚,考虑安全性,对业务数据、存储数据、管理数据分别采用不同设备进行汇聚。
- 故障转移:自动主备切换机制确保服务连续性
- 连接池:高性能连接池管理优化数据库访问效率
**备用数据库配置** 3\. 运维区:主要提供远程运维接入服务。
- 数据一致性:确保主备数据的一致性和完整性
- 只读服务:备库提供只读服务分担查询压力
- 监控告警:数据库状态监控和异常告警
#### 缓存系统部署 4\.
管理区域:提供数据中心整体的管理功能,包括云平台、云管平台、运维管理、安全管理几大部分,提供云服务支持、日常运维、运营保障的功能,以及漏洞扫描、安全审计等安全部署。
**缓存集群配置** 5\.
- 会话管理:用户登录状态和会话信息的缓存管理 计算区(云资源区):按不同需求对外提供云计算服务,主要部署服务器,结合虚拟化技术,对外提供不同类型的虚拟机资源。
- 查询缓存:热点数据查询缓存提高访问性能
- 分布式缓存:多实例数据一致性和缓存同步
**缓存策略** 6\.
- 缓存失效:基于时间的缓存失效策略 存储及本地备份区域部署存储及备份设备服务器资源通过高性能IP/FC交换机与存储相连。同时根据业务需求对于重要数据做本地备份。
- 缓存更新:数据变更时的缓存更新机制
- 缓存穿透防护:防止缓存穿透和雪崩的保护机制
## 4.4 数据架构 三、安全隔离区
### 4.4.1 数据源体系 同时增加了安全隔离区,实现互联网区与政务外网及专网区之间的隔离,保证跨区域数据交互的安全。
#### 行业外数据源 ## 部署架构
**气象数据源** 前端服务器在单独的VPC虚拟网络区域并分配弹性IP用户通过互联网直接访问使用集群技术实现负载分担和高可用。按照等保三级的要求部署WAF、防DDOS、IPS等安全服务对前端服务器进行安全保护采用容器化部署实现前端服务器的弹性伸缩。
- 数据来源:省气象局气象监测雨量和预报雨量
- 接入方式通过标准API接口进行数据接入
- 数据类型GRIB2气象文件、实时监测数据、预报数据
- 处理服务:专业的气象预报处理和数据分析服务
**水文数据源** 后端服务器在单独的VPC不分配弹性IP后端服务器和前端服务器通过内部IP地址进行交互。按照等保三级的要求部署云防火墙与前端服务器虚拟网络进行安全隔离采用白名单的方式进行安全控制采用容器化部署实现后端服务器的弹性伸缩。
- 数据来源:省水文处水文监测雨量
- 接入方式:专线接入确保数据传输可靠性
- 数据类型:降雨量、水位、流量等水文监测数据
- 同步频率5分钟定时同步确保数据实时性
**水库数据源** 数据引擎服务器满足107个重点小流域风险隐患排查数据、空间地理数据新增34个县站点接入数据、调查评价数据等新增数据的存储需求。
- 数据来源:省水库处水库监测数据
- 接入方式通过标准API接口进行数据接入
- 数据类型:水库水位、蓄水量、入库流量等
- 处理机制:实时数据和历史数据的分类存储和管理
#### 行业内数据源 本期项目建设申请的云资源都部署在水利专区政务外网及专网区。
**基础地理数据** <figure>
- 数据来源中国水科院提供的107条小流域风险隐患调查数据 <img src="media/image4.png" style="width:5.72986in;height:2.74306in"
- 数据类型:空间地理数据、流域边界、风险隐患要素 alt="6c3265844bfd26fe30a41158a76e7f3" />
- 处理方式GIS空间分析和可视化展示 <figcaption><p><strong>图4.3-1 部署架构图</strong></p></figcaption>
- 应用场景:风险评估和预警分析 </figure>
**行政区划数据** ## 数据架构
- 数据来源:各区县水利局提供的行政区划信息
- 数据类型:行政区划边界、责任人信息、防治对象
- 管理服务:行政区划的层级管理和维护
- 关联关系:行政区划与其他业务数据的关联管理
### 4.4.2 数据支撑平台 数据架构是对整个数据生命周期中数据的处理、存贮、转换、整合、分布制定的策略、模型、流程以及支持这些策略、模型、流程的技术架构方案,可以消除信息孤岛,建立一个统一和共享的数据基础平台。数据架构从跨应用系统的视角统一对数据进行组织和规划,提高跨系统间数据存贮和共享的效率。
#### 数据处理能力 <figure>
<img src="media/image5.png" style="width:5.93889in;height:3.15208in"
alt="0bccc427e67efe8d4f699558a945d3e" />
<figcaption><p><strong>图4.4-1 数据架构图</strong></p></figcaption>
</figure>
**气象文件处理** 山洪灾害防治项目,数据源众多、规模庞大,涉及数据量大,按照水利部关于省级平台"一级部署、多级应用"的建设要求,需对不同数据源数据统一加载、按数据标准和安全要求对数据进行清洗、数据转换,形成高质量的数据,存储在湖北山洪数据库中,供平台使用。
- GRIB2文件解析专业气象网格数据的解析和处理
- 雷达数据处理:短临预报数据的实时处理和分析
- 网格计算:基于空间插值算法的网格化计算
**数据计算分析** 1. 数据源
- 面雨量计算:基于泰森多边形等方法的面雨量权重计算
- 时间序列分析:历史数据的趋势分析和统计
- 多维分析:基于数据仓库的多维数据分析
**算法模型对接** <!-- -->
- 洪水算法库:专业洪水计算算法的集成和调用
- 空间分析:几何计算和空间分析引擎
- 预测模型:气象预报和水文预测模型的集成
#### 数据交换共享平台 (1) 行业外数据源
**数据同步机制** 包括国家统计局的行政区划、省水文处的水文监测雨量、省水库处的水库监测雨量、省气象局的气象监测雨量和气象2小时和24小时预报雨量等。
- 定时同步:基于定时任务的多源数据定时同步
- 实时同步:关键数据的实时同步和更新
- 增量同步:基于时间戳的增量数据同步
**数据汇聚中心** (2) 行业内数据源
- 多源汇聚:来自不同数据源的数据统一汇聚
- 质量控制:数据质量检查和异常数据处理
- 标准化处理:数据的标准化和规范化处理
### 4.4.3 数据库体系 包括中国水科院提供的107条小流域风险隐患调查和影响分析的结论性成果、各区县水利局提供的行政区划信息和山洪灾害防御责任人等。
#### 基础数据库设计 2. 基础支撑平台
**实体模型体系** <!-- -->
- 监测数据模型:降雨、水位、流量等监测数据的标准化存储
- 预警数据模型:预警规则、预警消息、预警统计等数据管理
- 业务数据模型:考核任务、防治对象、维护计划等业务数据
**数据关系设计** (1) 数据支撑平台
- 一对多关系:防治对象与监测设备的关联关系
- 多对多关系:考核任务与考核对象的复杂关联
- 层级关系:行政区划的层级结构管理
#### 专题数据库设计 包括省气象局气象文件的接收、解析、处理;五峰县、建始县两个雷达数据的接收、解析、处理,地理空间文件的存储和使用;集成数据计算和多维分析;和多种算法模型对接等。
**预报专题库** (2) 数据交换共享平台
- 气象预报数据:短期和长期的气象预报数据
- 网格降雨数据基于GIS的空间网格降雨数据
- 历史比对数据:历史同期数据的对比分析
**预警专题库** 包括省水文处的水文监测雨量、省水库处的水库监测雨量等数据的同步。
- 预警规则配置:多级别预警规则的配置管理
- 预警消息记录:预警消息的发布和状态管理
- 预警统计分析:预警数据的统计分析和趋势展示
### 4.4.4 数据应用体系 (3) 流域接收中心
#### 水雨情监测应用 包括25个县区的山洪5分钟监测降雨数据的汇聚。
**实时监测功能** 3. 数据库
- 实时数据展示:监测数据的实时展示和更新
- 历史数据查询:历史监测数据的检索和分析
- 数据统计报表:多维度数据的统计分析和报表生成
**监测站点管理** 分析业务需求、梳理业务流程,根据信息分析和定义,抽象出主题数据库,依据数据应用需求建设基础库和专题库,对外共享的共享数据库。
- 站点信息管理:监测站点基本信息的维护
- 站点状态监控:设备运行状态的实时监控
- 数据质量评估:监测数据质量的评估和报警
#### 预报应用专题 4. 数据应用
**天气预报功能** 包括水雨情监测应用专题、预报应用专题、预警应用专题、预演应用专题、预案应用专题、移动APP应用专题、监督管理应用专题和、数字孪生应用专题和其他应用专题等。
- GRIB2数据处理专业气象文件的解析和处理
- 网格降雨量计算:基于空间插值的网格化计算
- 预报结果展示:多时间尺度预报结果的展示
**洪水预报功能** ## 安全架构
- 水位预测:基于历史数据的水位趋势预测
- 流量预测:基于水文模型的流量预测
- 风险评估:洪水风险的评估和预警
#### 预警应用专题 本项目安全需求是全方位的、整体的,需要从技术、管理、服务等方面进行全面的安全设计和建设,有效提高信息系统的防护、检测、响应、恢复能力,以抵御不断出现的安全威胁与风险,保证系统长期稳定可靠的运行。
**多级预警机制** 本项目的安全保障体系将在统一的安全策略指导下,充分利用和依托已有网络安全基础设施,并基于省级政务云为湖北省应急管理厅提供安全管理体系和安全服务体系,并形成集防护、检测、响应、恢复于一体的安全保障体系,从而实现物理和环境安全、网络和通信安全、设备和计算安全、应用和数据安全、安全管理,构建可信、可控、可管的安全体系。
- 水位预警:超校核水位、超设计水位、超汛限水位预警
- 渗压预警:渗流压力监测和多级预警
- 降雨预警:强降雨监测和预警
**预警消息管理** 总体安全体系架构设计如图所示:
- 消息推送:基于角色的预警消息推送
- 状态管理:预警消息的确认和处理状态
- 统计分析:预警数据的统计和分析
## 4.5 安全架构 ![**图4.5-1安全体系架构图**](media/image6.png){width="4.672083333333333in"
height="4.461944444444445in"}
### 4.5.1 总体安全策略 总体安全体系架构包括总体安全策略、网络安全等级保护制度、安全技术体系、安全管理体系和安全服务体系五个有机组成部分。
#### 数据安全策略 1. 总体安全策略
**敏感数据保护** 整体安全策略是立足本单位现状和将来一段时间内,以保护整体信息安全而制定的安全方针,需要单位全体人员遵守并执行。总体安全方针、策略具有战略高度,并且根据单位面临的安全风险,进行定期更新。
- 数据库连接加密采用SSL加密确保数据传输安全
- API访问认证基于Token的身份认证机制
- 密码安全:密码的加密存储和安全验证
**输入数据安全** 2. 网络安全等级保护制度
- XSS防护跨站脚本攻击的防护
- SQL注入防护参数化查询防止SQL注入攻击
- 输入验证:基于标准的输入数据验证
#### 系统安全策略 本项目需要落实国家网络安全等级保护制度,安全保障建设首先需要对单位系统进行科学定级、备案,通过等级测评对单位安全防护能力进行有效检测,在安全运营中持续进行安全监测和响应,同时需要配合上级单位和监管单位的安全监督检查。
**访问控制** 3. 安全技术体系
- 基于角色的权限控制:细粒度的权限管理
- API访问控制接口级别的访问控制
- 数据访问控制:基于用户权限的数据访问控制
**审计安全** 从计算环境安全、安全区域边界、安全通信网络和安全管理中心四个方面分别设计。
- 操作日志记录:用户操作行为的全面记录
- 系统日志监控:系统运行状态的实时监控
- 安全事件审计:安全事件的记录和分析
### 4.5.2 网络安全等级保护 计算环境安全主要是对单位定级系统的信息进行存储处理,并且实施安全策略保障信息在存储和处理过程中的安全,包括用户身份鉴别、用户身份鉴别、自主访问控制、标记和强制访问控制、系统安全审计、用户数据完整性保护、用户数据保密性保护、客体安全重用、程序可信执行保护。
#### 等保三级要求 通信网络安全主要实现在网络通信过程中的机密性、完整性防护,重点对定级系统安全计算环境之间信息传输进行安全防护。安全通信网络包括:安全审计、数据传输完整性保护、数据传输保密性保护、可信接入保护。
**网络安全防护** 安全区域边界主要实现在互联网边界以及安全计算环境与安全通信网络之间的双向网络攻击的检测、告警和阻断。安全区域边界包括:区域边界访问控制、区域边界包过滤、区域边界安全审计、区域边界完整性保护。
- 网络隔离:政务外网和互联网的区域隔离
- 访问控制基于IP和端口的访问控制
- 入侵检测:网络入侵的检测和防护
**数据安全防护** 安全管理中心主要实现安全技术体系的统一管理,包括系统管理、安全管理和审计管理。同时,按照权限划分提供管理接口。
- 数据加密:敏感数据的传输和存储加密
- 数据备份:定期的数据备份和恢复机制
- 数据完整性:数据完整性的校验和验证
**应用安全防护** 4. 安全管理体系
- 应用防火墙Web应用攻击的防护
- 漏洞管理:定期的漏洞扫描和修复
- 安全编码:安全编码规范的执行
### 4.5.3 安全技术体系 从安全策略、管理制度、管理机构、人员管理、安全建设管理和安全运维管理等方面分别设计。重点内容包括安全管理机构的组建,安全策略、管理制度、操作规程、记录表单等内容的安全管理制度体系的补充和完善,安全相关人员的录用、培训、授权和离岗管理,围绕信息系统全生命周期安全的安全建设管理和安全运维管理。
#### 计算环境安全 5. 安全服务体系
**容器安全** 从信息系统安全角度出发,通过网络安全风险评估、安全加固、渗透测试、应急响应、安全重保、应急演练、安全培训等服务,与安全技术体系、安全管理体系相辅相成保障信息系统的安全风险始终处于可控、可管的安全状态。
- 容器隔离:进程和网络层面的隔离
- 镜像安全:基础镜像的安全扫描
- 运行时安全:容器运行时的安全监控
**应用安全** ## 数据流向
- 安全框架:集成专业的安全框架
- 会话管理:安全的会话管理机制
- 异常处理:统一的异常处理和错误信息管理
**数据安全** 平台集成多类型数据源,通过多途径的数据接入方式和一数一源采集原则进行数据汇集,经数据清洗形成标准的结构化数据,数据支撑平台通过实时同步和离线同步的数据同步方式和达梦业务数据库进行数据交互,数据经过数据支撑平台的数据仓库建设、多维数据计算与分析、集成算法模型计算,形成一数一源的湖北山洪标准库,在此基础上建设各主题库、基础库、专题库,满足平台的各功能需求和对外共享的需要。
- 数据库安全:数据库的安全配置和访问控制
- 文件安全:文件存储的安全管理
- 缓存安全:缓存数据的安全保护
#### 安全区域边界 数据源主要有山洪雨量监测数据水文雨量监测数据水库雨量监测数据气象雨量监测数据调查评价成果数据地理空间文件2/24小时气象预报测雨雷达数据、行政区划、山洪防御责任人、山洪防御预案等。
**网络边界安全** 1. 数据汇集
- 防火墙:网络边界的防火墙防护
- 负载均衡:安全的负载均衡配置
- DDoS防护分布式拒绝服务攻击的防护
**应用边界安全** <!-- -->
- 接口控制统一的API接口访问控制
- 请求限流API访问频率的限制
- 参数验证:输入参数的严格验证
### 4.5.4 安全管理体系 (1) 山洪5分钟雨量监测数据
#### 安全策略管理 全省74个县的山洪5分钟雨量监测数据采用一站双发的形式一路通过4G和北斗传输至流域接收中心再通过消息队列发送到达梦业务数据库和数据支撑平台一路发送到县级监测预警平台再经过数据汇集与共享平台同步到达梦业务数据库。
**安全策略制定** (2) 气象1小时雨量监测数据
- 数据安全策略:敏感数据保护的策略制定
- 网络安全策略:网络安全防护的策略制定
- 应用安全策略:应用系统安全的策略制定
**安全管理制度** 气象1小时雨量监测数据先上报到省气象局Oracle数据库再通过数据汇集与共享平台同步到达梦业务数据库。
- 访问控制制度:基于角色的访问控制制度
- 数据管理制度:数据分类和管理制度
- 应急响应制度:安全事件的应急响应流程
#### 安全运维管理 (3) 水库1小时雨量监测数据
**安全监控** 水库1小时雨量监测数据先上报到省水库处SqlServer数据库再通过数据汇集与共享平台同步到达梦业务数据库。
- 实时监控:系统安全状态的实时监控
- 日志审计:安全日志的审计和分析
- 异常检测:安全异常行为的检测
**安全维护** (4) 调查评价成果数据
- 漏洞修复:定期的漏洞扫描和修复
- 安全更新:系统和应用的安全更新
- 备份恢复:数据备份和恢复演练
## 4.6 数据流向 2016\~2023年调查评价数据通过数据导入工具同步到达梦业务数据库2013\~2015年调查评价数据、2022年风险隐患调查成果、2016\~2020年沿河村落重要城集镇成果、2021\~2022年动态预警指标成果和地理空间文件通过数据支撑平台的文件接入存储在对应的专题库和OSS对象存储系统。
### 4.6.1 数据采集流程 (5) 数据交互
#### 多源数据采集 数据支撑平台提供数据处理能力,根据业务需求达梦业务数据库和数据支撑平台进行数据交互,例如:对山洪、气象、水文、水库的降雨监测数据进行整编、按行政区划维度、小流域维度、时间维度等多维度进行数据处理,形成丰富的业务数据,满足平台功能。建设一数一源的湖北山洪标准库,创建基础数据、业务管理数据、监测数据、雨情数据、预警数据等。
**山洪5分钟雨量监测数据** (6) 数据应用和对外共享
- 数据源全省74个县的山洪5分钟雨量监测数据
- 采集方式:一站双发形式,确保数据可靠性
- 处理机制:定时同步任务进行数据采集和处理
- 数据存储:实时数据表和历史数据表的分类存储
**气象1小时雨量监测数据** 水对支撑平台的各功能需求包括预报、预警、预演、预案、监督管理、其他等对外提供数据共享能力数据API服务、数据库表同步、离线文档等。
- 数据源:省气象局数据库
- 采集方式:通过数据汇集与共享平台同步
- 处理机制GRIB2文件解析和网格化处理
- 数据存储:处理后的网格数据存储和管理
**水库1小时雨量监测数据** <figure>
- 数据源:省水库处数据库 <img src="media/image7.png" style="width:9.575in;height:5.23958in"
- 采集方式:通过数据汇集与共享平台同步 alt="数据流程图-24年架构" />
- 处理机制:定时同步和数据验证 <figcaption><p><strong>图4.6-1 数据流向图</strong></p></figcaption>
- 数据存储:水库水位数据的分类存储 </figure>
#### 数据质量控制 ## 技术路线
**数据验证机制** 湖北省山洪灾害监测预报预警"四预"系统部署在省政务云水利专区,采用微服务架构进行开发,整体技术路线如下:
- 完整性检查:数据字段完整性的验证
- 格式检查:数据格式和类型的验证
- 范围检查:数据值范围的合理性验证
**数据清洗流程** ![**图4.7-1 技术路线图**](media/image8.png){width="5.929861111111111in"
- 异常数据处理:异常数据的识别和处理 height="3.2319444444444443in"}
- 重复数据去重基于时间和设备ID的去重
- 数据标准化:数据格式和单位的标准化
### 4.6.2 数据处理流程 1、微服务
#### 实时数据处理 根据湖北省智慧江汉平台的统一规划,湖北省山洪灾害监测预报预警"四预"系统选择微服务的架构体系。通过使用微服务架构,将应用程序构建为独立的组件,并将每个组件作为一项服务,使得微服务可以独立的部署、运行、升级、更新和扩展,实现微服务之间在结构上的"松耦合",以满足对应用程序特定功能的需求。
**实时数据流入** 同时这种架构可以在功能上表现为一个统一的整体使用轻量级API和明确定义的接口进行通信围绕业务功能构建提供业务共享的能力。按照前期湖北省智慧江汉平台统一规划的微服务技术架构本项目将续用微服务架构。
- 外部API数据通过HTTP请求获取
- 数据经过解析和验证后存储到数据库
- Redis缓存更新以提高访问性能
- 业务服务消费数据并提供前端展示
**数据同步机制** 湖北省山洪灾害监测预报预警"四预"系统部署在省政务云水利专区,依托度湖北省山洪灾害监测预警平台"四预"功能提升项目在省级建设的各微服务模块,实现对已开发功能的直接复用和少量定制开发。通过省级微服务平台提供的注册中心和服务网关能力,将建设的微服务进行统一的调度和管理。实现平台的一级部署、多级应用。
- 基于定时任务的多源数据定时同步
- 异步处理提高数据同步效率
- 批量数据处理优化性能
- 缓存更新确保数据一致性
#### 历史数据处理 注册中心是微服务架构的通讯录,记录了服务和服务地址的映射关系。开发的微服务模块会统一注册到这里,当服务需要共享调用时,可通过注册中心获取服务地址进行访问。
**数据整编处理** 结合山洪灾害监测预警"四预"功能的需求已建设的聚合服务有预报服务、预警服务、预演服务、预案服务、基础服务、系统服务、文件服务、三维仿真服务、APP服务、数据服务、模型服务等从而减少前端接入接口请求量和复杂程度在保证服务的低耦合和微服务特性的同时更快速的响应需求。
- 小时数据整编:基于短时间间隔数据生成小时统计数据
- 天数据整编:基于小时数据生成天统计数据
- 月数据整编:基于天数据生成月统计数据
**数据归档策略** 服务网关提供定制的API通过统一的请求入口可完成认证、鉴权、安全、流量管控、缓存、服务路由协议转换、服务编排、灰度发布、监控报警等功能。客户端相关的请求直接发送到网关由网关根据请求标识解析判断出具体的微服务地址再把请求转发到对应的基础服务或聚合服务中去。
- 实时数据保留最近30天的实时数据
- 历史数据:长期保存历史整编数据
- 统计数据:保存各类统计数据用于分析
### 4.6.3 数据应用流程 2、云计算
#### 业务数据应用 本项目部署在省政务云水利专区,采用了云计算技术。政务云是专门为政府部门和公共机构提供的云服务,主要用于支撑本项目算法模型、"四预"系统等业务,以及承载山洪灾害数据共享等应用场景。
**预报数据应用** 省政务云与公有云的数据中心完全隔离,政务云采用独立的物理机房,为水利厅用户提供专属的云平台和云产品,保障省山洪灾害防治项目用户在政务云上的业务数据不出政务云专属机房。项目部署在省政务云,可以提高省水利厅信息化整体的水平,降低成本,提升效率,实现数据安全和隐私保护,更好的支撑了数字政府的建设和发展。
- 气象预报数据GRIB2文件处理和网格化展示
- 洪水预报数据:基于水文模型的洪水预测
- 预警数据应用:基于阈值的预警信息发布
**管理数据应用** ## 接口设计
- 考核数据管理:考核任务的创建和管理
- 防治对象管理:防治点的信息管理和维护
- 维护管理:维护计划的制定和执行管理
#### 对外数据共享 ### 用户接口设计
**数据接口服务** 用户接口主要的功能是为用户提供湖北省山洪灾害监测预报预警"四预"系统的功能操作,需要的接口见下表:
- REST API标准化的数据访问接口
- 文件导出:多种格式的数据导出功能
- 实时推送:实时数据的推送服务
**数据安全保障** ------------------ ------------------------------------------------------------
- 访问控制:基于权限的数据访问控制 **接口** **功能**
- 数据脱敏:敏感信息的脱敏处理
- 审计日志:数据访问的日志记录
## 4.7 技术路线 登录 确保正常登录四预平台
### 4.7.1 微服务架构 首页 能够全域查看湖北省2条小流域的概况
#### 服务拆分策略 流域首页 能够查看某一条小流域的概况以及降雨、预警等汇总信息
**业务模块化** 预报 提供降雨预报、流量分析、淹没分析等功能
- 按业务领域划分:预报、预警、预演、预案等业务模块
- 按数据类型划分:监测数据、管理数据、统计数据等数据模块
- 按用户角色划分:管理员、县级用户、普通用户等用户模块
**技术组件化** 预警 提供风险预警、预报预警、监测预警等功能
- 数据同步组件:多源数据同步的定时任务组件
- 预警处理组件:预警消息的处理和分发组件
- 预报计算组件:气象预报和水文预测的计算组件
#### 服务治理机制 预演 提供预演管理:"创建预演、预演列表、预演详情",会商管理功能
**服务注册发现** 预案 提供预案管理、预案可视化、预演预案管理功能
- 服务注册:服务的自动注册和发现 ------------------ ------------------------------------------------------------
- 配置中心:多环境配置的统一管理
- 健康检查:服务健康状态的监控和检查
**服务间通信** : 表4.8-1用户接口设计表
- HTTP REST同步的服务调用方式
- 异步消息:基于消息队列的异步处理
- 事件驱动:基于事件的松耦合架构
### 4.7.2 云计算技术 ### 外部接口设计
#### 云平台部署 ------------------ ----------------------------------------------------
**接口** **功能**
**政务云集成** 数据操作接口 查询、存储、删除数据
- 省政务云水利专区部署,确保数据安全和合规性
- 专属云平台和云产品,提供专业的云服务
- 独立物理机房安全保障,确保系统稳定运行
**容器化部署** 实时数据接入接口 接入实时降雨数据
- Docker容器化部署提高部署效率和一致性
- 容器编排工具的服务编排和管理
- 持续集成和持续部署的自动化流程
#### 云原生技术 模型对接接口 对接模型结果并调用数据操作接口进行数据操作
**微服务支持** 数字孪生接口 进行3D渲染和数据渲染
- 云原生微服务框架,支持微服务架构
- 云原生配置管理,支持动态配置更新
- 弹性伸缩和负载均衡,优化资源利用率
**DevOps实践** GIS接口 用以生成GIS图层影像
- 自动化构建基于Maven的自动化构建 ------------------ ----------------------------------------------------
- 自动化测试:单元测试和集成测试
- 自动化部署:容器化部署的自动化流程
## 4.8 接口设计 : 表4.8-2外部接口设计表
### 4.8.1 用户接口设计 ### 内部接口设计
#### REST API接口 ------------------ ----------------------------------------------------
**接口** **功能**
**接口标准化** 新增用户 新增用户信息
- RESTful设计符合REST架构风格的设计原则
- 统一响应格式标准化的JSON响应格式
- 错误处理:统一的异常处理机制
**接口分组管理** 修改用户 修改用户信息
- 按业务模块分组:预报、预警、管理、系统等模块
- 按用户角色分组:管理员、县级用户、普通用户等角色
- 按功能类型分组:查询接口、管理接口、统计接口等类型
#### 前端集成接口 删除用户 删除用户信息
**数据查询接口** 查看用户 查看用户信息
- 实时数据查询:监测数据的实时查询接口
- 历史数据查询:历史数据的检索和分析接口
- 统计数据查询:统计数据的查询和分析接口
**业务操作接口** 新增权限 新增权限信息
- 预警发布接口:预警信息的发布和管理接口
- 考核管理接口:考核任务的管理接口
- 系统管理接口:系统配置的管理接口
### 4.8.2 外部接口设计 修改权限 修改权限信息
#### 气象数据接口 删除权限 删除权限信息
**数据获取流程** 查看权限 查看权限信息
- 文件获取:从气象服务器获取气象数据文件
- 数据解析:专业气象数据的解析和处理
- 结果计算:基于气象数据的计算和分析
**数据处理流程** 新增角色 新增角色信息
- 文件获取从气象服务器获取GRIB2文件
- 数据解析:解析气象网格数据
- 结果计算:计算面雨量和预报结果
#### 水文数据接口 修改角色 修改角色信息
**数据同步机制** 删除角色 删除角色信息
- Token认证API访问的安全认证机制
- IP白名单访问IP地址的控制
- 重试机制:网络异常的重试处理
### 4.8.3 内部接口设计 查看角色 查看角色信息
#### 服务层接口 新增预演方案 新增预演方案信息
**业务服务接口** 修改预演方案 修改预演方案信息
- 预报服务:气象预报和洪水预测服务
- 预警服务:预警消息的管理和分发服务
- 考核服务:考核任务的管理服务
**数据服务接口** 删除预演方案 删除预演方案信息
- 实时数据服务:实时监测数据的访问服务
- 历史数据服务:历史数据的检索服务
- 统计数据服务:统计数据的分析服务
#### 数据访问接口 查看预演方案 查看预演方案信息
**数据访问设计** 新增流量分析 新增流量分析实时任务
- 基础操作:数据的增删改查操作
- 自定义查询:复杂业务查询的实现
- 动态查询:基于条件的动态查询构建
**缓存接口设计** 查看流量分析 查看流量分析实时任务结果详情
- 查询缓存:查询结果的缓存机制
- 更新缓存:缓存的更新和清除 新增淹没分析 新增淹没分析实时任务
- 分布式缓存:多实例缓存的同步机制
查看淹没分析 查看淹没分析实时任务结果详情
------------------ ----------------------------------------------------
: 表4.8-3内部接口设计表

14020
template.md Normal file

File diff suppressed because it is too large Load Diff