数据管理平台软件
数据管理平台软件
拜安科技基于云原生技术架构自主开发数据管理平台软件，目前选用服务器提供中央算力，收集、综合、解算柜内光纤分析仪信息。中央计算服务器搭载拜安智慧大平台系统，将解算综合后的数据以通俗易懂的方式展示，且可提供预警、趋势分析等功能。
(1) 系统对突发重大异常（继续运行可能导致严重事故）立刻报警，对其他突发异常提供延时反馈；
(4) 平台支持服务模块化拆分， 文件系统可挂载，应用服务支持水平拓展；
(5) 平台支持自动化监控和告警机制可以实时收集和分析应用性能数据，及时发现和解决问题，确保平台应用的稳定性和可用性；
(7) 支持算法采用Python语言开发，支持离线数据分析，统计分析实时试验数据和全寿命周期试验长周期数据，并可视化展示；
(9) 平台基础及配置、维护类数据存储于OLTP类数据库，平台传感器数据存储于OLAP的列式存储数据库，可定时导出文件供用户查看分析；
(10) 可提供第三方软件通讯接口读取数据或双方协商交换数据；
(11) 产品管理－传感器类型管理，支持传感器类型的增删改查；
(12) 产品管理－传感器管理，支持对接入平台传感器的增删改查；
(13) 产品管理－设备管理，支持对接入平台设备的增删改查，设备模块支持自定义树级结构，传感器映射在设备的各个模块；
（1）测试软件能够进行系统配置、通道配置、通道参数配置、数据记录方式设置、传感器标定参数设置等；
（2）测试软件能够将这些配置信息保存为文件的形式，系统在运行时可以直接调用这些配置文件。
通道参数设置能够对各项试验参数进行设定，包括参数名称、物理单位、编码等；
具有通道参数工程量转换功能，能够对每个通道进行工程量转换。支持传感器参数的批量导入和导出功能；
架构整体围绕几个方面展开：
• 应用间通过Restful API 通讯
• 可以被独立的部署、更新、缩放和重启
平台根据功能模块拆分微服务，加强代码复用，支持微服务(单个模块)的水平扩展能力
• 微服务的最佳载体
• 异构代码应用整合，C++/Java/Python容器化承担各自业务功能
• Cloud Native的基石
• 频繁发布、快速交付、快速反馈、降低发布风险
数据仓库
数据库方面采用了OLTP + OLAP数据库的方式
基础数据、平台管理类数据存储于OLTP数据库中进行维护，传感器/算法数据存储于OLAP数据库。
OLAP数据库架构设计采用了分布式、列式存储和向量化查询等多项优化技术，设计考虑到了高吞吐量、低延迟以及高效的数据压缩。
采用分布式架构，可以水平扩展，支持多节点集群。每个节点都可以独立处理查询请求，使得查询吞吐量可以线性扩展。同时，节点之间通过网络通信，可以将数据分片存储，提高数据读写效率。
采用列式存储，将同一列的数据存储在一起，可以实现更高效的数据压缩和查询。由于数据按列存储，每次查询只需要读取需要的列数据，避免了不必要的I/O操作，大大提高了查询性能。
支持向量化查询，将多个查询操作合并为一个操作，同时对每个操作执行相同的指令，提高了CPU的利用率。这种方式可以显著减少CPU的空闲时间，进而提高查询性能。
支持多种数据压缩算法，如LZ4、ZSTD、Delta等。这些算法可以有效压缩数据，降低存储空间和I/O开销。同时，支持多种压缩级别，可以根据实际需求选择最优的压缩级别。
支持数据预热功能，可以在查询之前将数据加载到内存中，加快查询速度。这个功能可以提高查询性能，尤其是对于一些重复查询的场景，可以减少I/O操作。
支持数据分区功能，可以将数据按照时间或其他维度进行分区，提高查询效率。同时，数据分区可以帮助数据管理，使得数据存储更加高效。
实时处理数据，适应性强；可以快速响应事件；适合动态和不断变化的数据源。
例：滚动时间窗口内，完成多种类传感器波长、物理量的存储、简单数据计算及存储。
使用python对传感器数据进行复杂数学的算法建模，对接分布式任务调度平台，批量调度处理离线数据。
