JIMODB公安交通行业应用案例

案例概述

　　1、客户系统建设的背景和需求

　　传统的社会安全与交通安全更多的是靠事后调研，在大数据时代背景下，通过大量原始数据与不同领域数据的整合分析，安全隐患预测技术将使我们在事故与危险发生前就做出反应；同时，利用大量历史数据进行行为习惯模型的定义，可以提供给公安追逃、交通违章快速定位分析提供更有依据的实时建议。

　　某省公安交通系统已经现有多个信息化系统，但多个系统间功能各异，数据只能通过远程有权限的调用后，进行半人工的整合分析，效率极低。因此，该省的公安与交通部门希望建立一套自动汇聚跨平台的数据，提供智能化行为研判分析，提供实时高效的建议与决策支持。

　　通过与相关部门的沟通，根据其现有的多个信息化系统数据、逻辑以及公安、交通领域方面的相关专家的建议，本次项目主要的需求分为数据存储类需求、数据安全类需求、系统扩展性需求、数据查询类需求、统计类需求、数据分析类需求以及统计分析结果的展示方式需求。

　　2、JimoDB解决方案

　　JimoDB是上海晟淘独立研发、拥有完全独立自主知识产权的新型NoSQL实时智能大数据平台和大数据完整解决方案。JimoDB在普通硬件上实现了高度分布和线性扩展，其即可以在一台设备上运行，也可以在上千台设备构成的集群上运行，实现PB级海量处理能力。通过JimoDB为客户架构大数据平台，以普通的x86 pc server代替价格高昂的高性能服务器实现客户3-5年的话单及流量明细数据的存储，并通过JimoDB的快速分析平台，为客户实现快速的数据分析功能，使客户原来小时级的查询可以在秒级实现。

　　本方案充分利用了JimoDB的高性能数据存储、非结构数据处理、无共享点技术、快速查询与快速统计等功能，使得研判分析的深度、数据量及响应速度都在同类方案中领先，同时通过云立方实现的完全无共享点技术使得整个系统的硬件投入降低90%。因此，同样的投入情况下，本方案能够提供更多维度更高效的舆情分析能力。

　　本方案具备的技术亮点有：

　　1）高性能大数据存储引擎（JDFS）

　　高性能大数据存储是所有大数据系统的基石。Hadoop的HDFS虽很大程度解决了大数据存储，但HDFS存在着诸多问题，导致应用开发极为困难。JDFS是晟淘大数据独立研发的一款高性能大数据虚拟文件系统，专注高性能大数据存储核心技术，解决了HDFS诸多问题：

　　●多级缓存

　　●高性能索引引擎

　　●高性能排序引擎

　　●高性能小块数据（Docs）引擎

　　●克服了HDFS只写不修改和不支持随机读取限制，支持高性能随机读取、写入和动态更新

　　通过Data Connector可以非常容易地集成外部数据，包括Hadoop、关系型数据库数据、HBase等

　　2）云立方体系结构

　　云立方剥离运行环境与物理设备的依赖，通过虚拟技术，建立大数据抽象层。云立方"垂直分割"大数据系统，拥有完整的计算能力；每个云立方相互独立，在统一抽象数据层上组成云立方集群，构成强大的高并发计算矩阵。云立方相互多份备份，发生故障时实时切换。数据路由技术"算出"哪个数据保存在哪个云立方上、备份在哪些云立方上，系统任何单点故障源，无系统瓶颈口。当系统硬件发生变化时，云立方检测其变化而做相应调整，实现动态实时扩容。

　　3）可视化大数据应用开发平台

　　众所周知软件开发难，而大数据应用开发则是难上加难。传统的手工编程需要靠员工的丰富的编程经验以及不停的Debug来使软件变得稳定可靠。然而大数据系统由于数据量如此之大，以至于很多的任务本身就要几个小时乃至几天才能得到结果，由人手工编程此时的风险则显得风险更加不控制。可视化编程技术极大地简化应用开发的难度，让业务人员可以直接业务数据的分析与应用开发，摆脱对编程人员和开发商的依赖。

　　可视化不编程技术无需手工编程，是实现极速应用开发的关键性技术，让我们可以对市场和公司经营出现的新需求做出快速反应，捕捉商机。而Hadoop系统必须手工编程，开发周期长且对开发商的依赖程度大。

　　4）快速查询与快速统计

　　数据仓库本来为快速统计而生，但陈旧技术无法面对大数据。晟淘大数据 Sync Data Warehouse 专利技术从数学模型入手，专为高性能大数据统计设计，放弃 tables，采用多维向量矩阵存储计算技术、Bicodes技术、和多层叠代统计技术，极大地提升统计速度，实现了千亿级数据秒级速度。

JimoDB方案说明

　　1、方案配置

　　根据客户的存储及查询量的需求，我们最终为用户设计了系统硬件由12台普通DELL服务器组成，每台2个CPU，共8核，内存为48G，硬盘为5个2T的SATA，2个千兆网口。硬件费用约60万人民币。

　　通过公安专用网实现交通系统与公安系统的互联互通，将所需信息同步并入库。所有数据的同步与使用权限均遵循内部数据安全规范。在交通厅机房建立大数据服务中心，统一为公安部门与交通部门提供信息支撑。

　　2、承载业务及相应时间

　　现有情况                  大数据系统

　　车辆轨迹查询             分钟级，若跨机构则要按天计            秒级

　　涉案车辆排查                按天计，基本靠人经验               秒级

　　涉案车辆布控                    靠经验                       秒级响应

　　违法车辆筛查                     按小时计                秒级呈现更精确的结果

　　交通状况分析           提供简单的交通流量统计      提供不同维度的流量统计分析

经验与收获

　　1、节约成本

　　JimoDB系统使用传统的x86 pc 服务器代替价格比较高的小机+存储的架构，一方面为客户节约了大量的成本，使整个系统有更高的投入产出比，另外通过数据的多分备份，权限控制等功能增强系统的安全性，保证客户系统的安全稳定运行。

　　2、快速响应

　　JimoDB系统查询分析速度基本都在秒级完成，对比原系统小时级别的统计分析速度有非常大的提升，同时对于更大量的数据，更长的分析周期都可以在秒级完成整个查询分析。

　　3、灵活可扩展

　　系统可以非常灵活的进行扩展，容量和性能问题都可以通过添加额外的硬件即可，如果硬件发生损坏也可以方便的进行硬件的替换，而对整个系统的数据不会产生任何影响。