FusionInsight 大数据分析平台

华为企业级大数据分析平台FusionInsight 包括FusionInsight Hadoop和FusionInsight Streaming两个组件：

  • Fusion    Insight Hadoop包含了开放社区的主要软件及其生态圈中的主流组件，并进行了大量优化，让企业可以从各类繁杂无序的海量数据中洞察商机；
  • FusionInsight Streaming是FusionInsight企业级大数据分析平台中的实时数据处理引擎，以事件驱动(Event-driven)模式处理实时数据的大数据技术，解决高速事件流的实时计算问题。可以在金融、通信、交通、公共安全等领域发挥流式事件实时处理优势，提供实时分析、实时决策能力。

特性

  • 智慧：高达百万维度的全量建模，深刻洞察用户行为与特征。
  • 实时：对海量数据进行在线实时处理。
  • 可信：第一家支持RBAC用户组权限管理、消除HDFS明文存放；第一家支持超过1000公里以上的异地容灾。
  • 易用：原生态的大数据技术因其本身的复杂性，局限应用于自身具备强大研发实力的互联网行业，而华为FusionInsight产品针对传统行业客户设计，全自动化在线运行维护，自定义Dashboard，自动化的二次开发助手，大幅降低了大数据在传统企业内部的部署难度，帮助传统企业轻松驾驭大数据业务。

技术规格

分类

指标项

规格

说明

并行计算引擎（MapReduce）

性能指标

WordCount：平均每节点处理能力(GB/分钟)

6GB/分钟

10节点集群；
节点典型配置：
CPU:E2670 2*4
内存：64G
硬盘：SAS盘

Terasort：平均每节点处理能力(GB/分钟)

5GB/分钟

K-means：平均每节点处理能力(MB/分钟)

400MB/分钟

Bayesian：平均每节点处理能力(MB/分钟)

12MB/分钟

Hive性能指标

处理能力-HiveAggregation：平均每节点处理能力(GB/分钟)

5GB/分钟

处理能力-HiveJoin：平均每节点处理能力(GB/分钟)

2GB/分钟

HBase性能指标

100%随机读：平均每节点读取记录条数（每条记录1KB），响应时间小于50MS

5000 Records/s

100%随机写：平均每节点写入记录条数（每条记录1KB），响应时间小于50MS

40,000 Records/s

顺序扫描：平均每节点scan记录条数（每条记录1KB），响应时间小于50MS

60，000 Records/s