大数据：九大最适合实时数据分析的应用领域

如今整个商业世界都面临着新的难题，即如何处理来自各客户接触点、交易以及互动对象的大量数据。但与此同时，我们也看到了解决问题的曙光——实时数据流技术，其能够存储大量数值及历史数据，以备日后随时调用。

可能很多朋友还没有接触过大数据分析方案，也有人认为其仅仅算是个愿景而非现实——毕竟能够证明其可行性与实际效果的案例确实相对有限。但可以肯定的是，实时数据流中包含着大量重要价值，足以帮助企业及人员在未来的工作中达成更为理想的结果。

实时分析用例

众多行业及工作都能够从数据流处理方案中获得助益。数据流能够通过管理数据实时变化迅速建立起形势判断，并帮助企业以最快速度收集来自传感器(包括GPS与温度计等)、摄像头、新闻消息、卫星、股票行情、网络爬虫、服务器日志、Flume、Twitter、传统数据库甚至是Hadoop系统的数据，最终将其转化为能够提升企业业绩的决策工具。

话虽如此，但实时数据分析结论带来机遇的同时也充满挑战，意味着管理层或者负责人员需要采取准确的数据提炼模式才能将其转化为可靠的决策依据。一般来讲，实时数据分析方案需要立足于专业知识并配合业务洞察力，方能真正实现最优决策与响应提速。而且更重要的是，分析结论除实时性质之外还需要被确切交付至相关者手中。

医疗卫生与生命科学：

ICU监控 – 高效监控机制，主动及时关注重症监护病人。

远程医疗监控 —远程医疗监控能够简化医护人员访问并分析病患医疗记录的流程，从而确保病人得到有效诊疗并降低不必要的成本。

临床试验与医疗设备数据 — 临床数据流分析能够顺利识别出异常或者预料之外的行为或者表现，从而辅助做出更准确的诊断意见。换言之，其有助于检测疾病的早期迹象，识别多名病患间的关联性并量化特定治疗手段的实际功效。

疫情预警系统 — 实时传感器数据分析有助于检测传染病的暴发可能性，并通过早期预警系统提示预防及准备。

保险业

欺诈检测

提升案例管理效率

检查策略针对性

策略绩效评估

更好地预测未来走向，并据此做出产品设计、开发与交付

对产品价格做出细化区分

根据当前销售趋势做出销售预测分析

通过实时尽职性调查剔除不合格保险案例

电信运营商

电信运营商能够深入了解客户行为并提供定制化服务(例如基于位置的服务、优惠政策及产品建议等)，并分析客户的忠诚度、喜好及需求变化趋势。以此为基础，运营商将能够改进计费标准、提升服务质量、改善安全性并控制欺诈活动。

能源行业

实时数据分析在能源行业中的一大典型案例在于智能化电网。其将以实际使用情况为基础显著提升能源供应效率。

根据特定条件预测设备活动。

检测多设备阈值级别以降低故障影响。

通过对勘探及生产数据的实时分析降低现场人员的工作风险。

电子商务

客户分析

购买建议

根据社交媒体情绪分析控制事故或进行修正

运输行业

通过GPS实现实时追踪

智能化交管方案以降低高峰时段的路线拥堵情况

即时与自动远程信息处理，实现车辆联网

投机市场

情绪分析

动量计算

天气对股市及股票价格的影响

极低延迟实现市场数据分析

执法领域

智能警务(传感器、闭路电视安装并接入中央云数据库、车牌识别、语音识别、犯罪嫌疑人及罪犯GPS追踪等)

监控并识别异常活动、行为或事故，旨在加快决策制定速度并防止及减少犯罪事件

刑事调查

监控各执法机构及公众间交互

技术领域

网站流量分析与参与(最常浏览页面、浏览时长最高页面、访客行为及用户导航模式等)

移动应用——下载、会话、偏好、交易、使用模式等，有效分析客户行为并设计服务以提升使用感受

实时数据处理的挑战所在

实时事件/交易/交互数量每秒以百万计，由此产生的数据自然会给数据流处理系统造成巨大的压力。即使数据已经收集完成，系统仍然需要具备强大的能力以并行处理这些数据。之后是进行事件关联，旨在帮助我们从数据中提取有价值信息。除此之外，整套系统还需要具备容错性与分布式设计——这意味着系统需要拥有低延迟水平以及速度更快的计算机制以完成实时响应任务。

如何实现

为了满足以上各项苛刻条件，我们需要将大量工具加以结合。其中Apache Kafka负责收集数据流，并通过Apache Storm或者Apache Spark(基于具体系统需求)将其路由至HIVE/HDFS，接下来由分析引擎提取结论并将其发送至仪表板。

如何简化实现流程

来自任何来源的数据都会由Kafka集群负责收集与暂时存储，而Zookeeper——>中继——>主题分类机制则随即跟上。而后其会通过Storm或者Spark被发送至HIVE/HDFS，并由后者再传递至分析引擎(例如SAS VA)——这一切都以实时方式完成，结论则被推送至仪表板供用户理解及据此行动。

最后，为了充分发挥实时数据分析的潜能，企业之间还需要通力协作。大数据领域的经验证明，合作伙伴之间的配合是实现分析的前提条件。最后，各合作伙伴还需要广泛接触各垂直行业，从而理解其中的具体业务及错综复杂的相关要素。

因此，选择理想的合作伙伴亦左右着实时分析项目的最终命运。

总结

多数企业都拥有大量最终用户接触点，而当下对此类组织以及政府机构而言可谓决定性时刻。通过即时了解当前状况，各组织机构将能够让自己的工作更加富有成效——而实时数据分析方案则给了它们一个将理想转化为现实的选项!

33个热门数据分析软件，你都用过哪些？

数据分析工具类软件，大体可以分为以下5类：

Excel生态工具、数理统计工具、BI工具、数据库工具、编程工具

（Excel单独分成一类，主要是因为它应用场景广泛，且用户基数过于庞大，甚至超过其他所有工具用户之和）

每个类别的代表工具分别有：

「Excel生态」 ：Excel、VBA、PowerQuery、PowerPivot、Power View、Power Map

「数理统计工具」 ：SAS、SPSS、Stata、Minitab、Eviews、Statistica、MATLAB、Mathematica

「BI工具」 ：PowerBI、Tableau、Qlikview、SAP BI、Oracel BI、FineBI、Yonghong BI

「数据库工具」 ：MySQL、PostgreSQL、Oracle、SQLServer、MongoDB、Hive

「编程工具」 ：Python、R、Julia、Scala、Spark、Java、Hadoop

下面分别就每个工具做简单介绍

Excel生态

Excel不光包含表格软件，还有很多内置的数据分析工具和插件，从群众基础来说无人能及。

1、Excel

无需多言，几乎人人都在用的数据处理软件，由微软开发，是office三剑客之一。

虽然excel很容易入手，但大部分人对excel的使用程度还处在入门阶段，存取数据、做做表。

其实excel可以制作复杂的报表、模型、应用、系统，比如构建金融分析模型。

大家学习excel，可以从基本界面、导入导出、公式&函数、筛选排序、数据格式、可视化图表、数据透视表、数据模型、工作协作这几个方面入手，最好是按照官网文档指导，配合实践，一般进步会很快。

2、VBA

Excel里的编程语言，通俗理解为宏，自动化地执行一些操作。Office 软件提供丰富的功能接口，VBA 可以调用它们，实现自定义的需求。

VBA最大的作用是自动化、批量化、智能化地操作Excel，被广泛应用于数据分析处理、数据建模、报表开发、应用开发等，在金融、审计、财务等行业非常流行。

3、PowerQuery

一种嵌入Excel Microsoft 产品的技术，旨在帮助你塑造数据。在Excel，选择功能区上的"数据"选项卡，查看"获取&转换数据和查询"&连接"组。

从各种数据源导入和刷新数据后，可以在分步转换中调整数据，逐步创建唯一的表格形状以满足数据分析需求。

4、PowerPivot

一种数据建模技术，用于创建数据模型，建立关系，以及创建计算。可使用 PowerPivot 处理大型数据集，构建广泛的关系，以及创建复杂（或简单）的计算，这些操作全部在高性能环境中和所你熟悉的 Excel 内执行。

5、Power View

一种数据可视化技术，用于创建交互式图表、图形、地图和其他视觉效果，以便直观呈现数据。 Power View 在 Excel、BI SharePoint、SQL Server 和 Power BI 中均可用。

6、Power Map

一种三维 (三维) 数据可视化工具，可用于以新方式查看信息。通过电源图，可发现传统二维表格和图表中 (二维) 见解。

使用 Power Map ，可以在三维地球或自定义地图上绘制地理和时态数据，显示这些数据，并创建可以与其他人分享的视觉浏览

数理统计工具

这类工具偏专业数学统计分析，可以做数据挖掘、数据建模、系统搭建等工作，适合学术和大型商业公司。

7、SAS

三大统计软件之一。是目前国际上最为流行的一种大型统计分析系统，被誉为统计分析的标准软件。

它由数十个专用模块构成，功能包括数据访问、数据储存及管理、应用开发、图形处理、数据分析、报告编制、运筹学方法、计量经济学与预测等等。

主要完成以数据为中心的四大任务：数据访问；数据管理；数据呈现；数据分析。

8、SPSS

三大统计软件之一。IBM公司的一系列用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务的总称。

SPSS和Excel比较像，界面简单，适合初学者使用，且统计功能强大，拥有四大模块，用于数据处理、描述性分析、推断性分析和探索性分析。

SPSS具有完整的数据输入、编辑、统计分析、报表、图形制作等功能，自带11种类型136个函数。

SPSS提供了从简单的统计描述到复杂的多因素统计分析方法，比如数据的探索性分析、统计描述、列联表分析、二维相关、秩相关、偏相关、方差分析、非参数检验、多元回归、生存分析、协方差分析、判别分析、因子分析、聚类分析、非线性回归、Logistic回归等。

9、Stata

三大统计软件之一。是一套提供其使用者数据分析、数据管理以及绘制专业图表的完整及整合性统计软件。它功能非常强大，包含线性混合模型、均衡重复反复及多项式普罗比模式。

用Stata绘制的统计图形相当精美，且Stata具有操作灵活、简单、易学易用、运行速度极快等优点。

功能包括：数据管理，统计分析，图表，模拟，自定义编程。

10、Minitab

数据分析、统计、过程改善工具。应用场景是现代质量管理统计，通常结合一些统计处理方法，如六标准差（Six Sigma）, 能力成熟度模型集成（CMMI），以及其他制程改善方法等。

11、Statistica

一个整合数据分析、图表绘制、数据库管理与自订应用发展系统环境的专业软件。

STATISTICA不仅提供使用者统计、绘图与数据管理程序等一般目的的需求，更提供特定需求所需的数据分析方法(例如，数据挖掘、商业、社会科学、生物研究或工业工程等)。

12、MATLAB

三大数学软件之一。一种用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境。

除矩阵运算、绘制函数/数据图像等常用功能外，MATLAB还可用来创建用户界面，以及调用其它语言（包括C、C++、Java、Python、FORTRAN）编写的程序。

MATLAB的工具箱非常强大，可以支持各行各业做数据分析建模。

典型应用有：数据分析、数值与符号计算、工程与科学绘图、控制系统设计、航天工业、汽车工业、生物医学工程、语音处理、图像与数字信号处理、财务、金融分析、建模、仿真及样机开发、新算法研究开发、图形用户界面设计等。

13、Mathematica

三大数学软件之一。一款科学计算软件，有时候也被称为计算机代数系统，广泛使用于科学、工程、数学、计算等领域。

它很好地结合了数值和符号计算引擎、图形系统、编程语言、文本系统、和与其他应用程序的高级连接，很多功能在相应领域内处于世界领先地位。

BI工具

BI也就是商业智能，一般用来分析商业数据，洞察商业机会。这可以是大部分数据分析岗位需要用到的工具，因为学习简单，且数据处理和展示功能强大。

下图是Gartner统计的BI工具实力榜：

14、PowerBI

微软的BI产品，也是目前世界上最流的BI工具之一，它优势在于和微软生态集成较好。

Power BI 是软件服务、应用和连接器的集合，它们协同工作以将相关数据来源转换为连贯的视觉逼真的交互式见解。

无论用户的数据是简单的 Excel 电子表格，还是基于云和本地混合数据仓库的集合，Power BI 都可让用户轻松地连接到数据源，直观看到（或发现）重要内容，与任何所希望的人进行共享。

Power BI 简单且快速，能够从 Excel 电子表格或本地数据库创建快速见解。同时 Power BI 也可进行丰富的建模和实时分析，及自定义开发。

因此它既是用户的个人报表和可视化工具，还可用作组项目、部门或整个企业背后的分析和决策引擎。

15、Tableau

同样是目前世界上最流的BI工具之一，优点是数据分析、可视化能力强大。

Tableau是用于可视分析数据的商业智能工具。用户可以创建和分发交互式和可共享的仪表板，以图形和图表的形式描绘数据的趋势，变化和密度。

Tableau可以连接到文件，关系数据源和大数据源来获取和处理数据。该软件允许数据混合和实时协作，这使它非常独特。它被企业，学术研究人员和许多政府用来进行视觉数据分析。它还被定位为Gartner魔力象限中的领导者商业智能和分析平台。

16、Qlikview

一个完整的商业分析软件，使开发者和分析者能够构建和部署强大的分析应用。QlikView应用使各种各样的终端用户以一个高度可视化，功能强大和创造性的方式，互动分析重要业务信息。

它让开发者能从多种数据库里提取和清洗数据，建立强大、高效的应用，而且使它们能被Power用户、移动用户和每天的终端用户修改后使用。

17、SAP BI

SAP公司的BI服务，一款支持数据报告、可视化和共享的集中式套件。作为 SAP Business Technology Platform [业务技术云平台] 的本地 BI 层，该套件可以随时随地将数据转化为有用的洞察。

18、OracleBI

Oracle公司的BI服务。

19、FineBI

国内较为领先的BI软件，定位于自助大数据分析的BI工具，提供数据处理、即时分析、多维度分析、可视化等服务。

20、Yonghong BI

同样是国内较为领先的BI软件，基于本机安装，省去繁琐的部署环节，即装即用。提供一站式、敏捷、高效的数据治理及可视化分析、AI深度分析能力。

数据库工具

数据库是数据存储的工具，一般企业都会有自己的私有部署数据库，或者云数据库，每一位数据从业者几乎都需要和数据库打交道。因为熟悉各类数据库，并编写SQL查询，是数据人必备技能之一。

21、MySQL

最流行数据库之一，国内互联网公司最喜欢的数据库，我愿称之为必学。

MySQL在过去由于性能高、成本低、可靠性好，已经成为最流行的开源数据库，因此被广泛地应用在Internet上的中小型网站中。

随着MySQL的不断成熟，它也逐渐用于更多大规模网站和应用，比如维基百科、Google和Facebook等网站。非常流行的开源软件组合LAMP中的“M”指的就是MySQL。

22、PostgreSQL

最强大且最具潜力的数据库之一，开源免费，分析能力强，稳定可靠，支持广泛。在很多方面都比MySQL强，如复杂SQL的执行、存储过程、触发器、索引。我愿称之为最强。

23、Oracle

老牌企业，最稳定的数据库之一。大部分银行、证券、电信等行业都在使用Oracle，因为其商业化程度高、功能强大且稳定，所以备受世界500强欢迎。

24、SQLServer

微软公司数据库产品，windows系统上最强王者。具有易用性、适合分布式组织的可伸缩性、用于决策支持的数据仓库功能、与许多其他服务器软件紧密关联的集成性、良好的性价比等。

25、MongoDB

一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。

MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。

26、Hive

Hadoop大数据生态的数据查询工具，一个用来开发SQL类型脚本来执行MapReduce操作的平台，当前在互联网公司应用非常广泛。

具体来说，Hive是一个数据仓库基础设施工具，用于处理Hadoop中的结构化数据。它位于Hadoop的顶部，用于汇总大数据，并使查询和分析变得轻松。

编程工具

除了上述的数据分析软件外，编程用于数据分析也是大趋势。越来越多的数据分析师通过Python、R等进行数据建模、可视化，而且编程语言快速、灵活、复用性强的特点也适合数据处理分析。

27、Python

目前最火的数据科学编程语言，没有之一。Python因为其简洁的语法、强大的生态、无所不能的应用几乎已经霸占了数据分析编程领域的半壁江山。

前段时间matlab被限制在中国使用，知乎上开始讨论什么工具可以替代matlab，python是被提及最多的编程语言。

且不说python能否替代matlab，就目前python在科学计算、模型构建、可视化上的能力就已经可以傲视编程界，其拥有像numpy、scipy、statemodels、pandas、matplotlib等众多现象级的数据科学库。

不管是github、kaggle、天池，还是企业高校里的数据项目，python几乎都已成为首选支持语言之一。

另外在高端科技领域，同样有python的身影。自 1997 年，NASA 就大量使用 Python 进行各种复杂的科学运算。

至于AI，这也是python的看家本领了，其应用生态可谓波澜壮阔、群星云集。

不仅有tensorflow、pytorch、caffe、keras等主流人工智能学习框架，还有Gensim、NLTK、OpenCV、Mahotas等专注于nlp、cv细分领域的经典开发工具。

28、R

编程统计工具的鼻祖。作为一种统计分析软件，是集统计分析与图形显示于一体的。它可以运行于UNIX、Windows和Macintosh的操作系统上，而且嵌入了一个非常方便实用的帮助系统。

R是一套由数据操作、计算和图形展示功能整合而成的套件。

包括：有效的数据存储和处理功能，一套完整的数组（特别是矩阵）计算操作符，拥有完整体系的数据分析工具，为数据分析和显示提供的强大图形功能，一套（源自S语言）完善、简单、有效的编程语言（包括条件、循环、自定义函数、输入输出功能）。

29、Julia

编程数据分析领域的新星。Julia 是一个面向科学计算的高性能动态高级程序设计语言，

首先定位是通用编程语言，其次是高性能计算语言。

Julia在分布式并行化、精确数值计算等方面提供了独具特色的支持，并包含大量可扩展的数学函数库。

尤其是在线性代数、随机数生成、信号处理、字符串处理等方面，集成了众多成熟、优秀的基于C和Fortran开发的开源库，有着很高的性能与效率。

另外，Julia有着强大开放的开发者社区，贡献了大量的第三方库，并可通过内置的包（Package）管理器进行方便的安装使用。

30、Scala

Java的衍生语言，用于spark数据分析、大数据开发等。

31、Spark

一个开源集群运算框架，Spark在存储器内执行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍，即便是执行程序于硬盘时，Spark也能快上10倍速度。

Spark允许用户将资料加载至集群存储器，并多次对其进行查询，非常适合用于机器学习算法。

32、Java

不用多说，最流行的编程语言。其在数据分析领域的应用主要是搭建大数据框架。

33、Hadoop

最流行的大数据框架，几乎大部分互联网公司都在用，如果你做大数据，肯定离不开它。

简答来说，Hadoop是一款支持数据密集型分布式应用程序，并以Apache 2.0许可协议发布的开源软件框架。它支持在商用硬件构建的大型集群上运行的应用程序。

Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。所有的Hadoop模块都有一个基本假设，即硬件故障是常见情况，应该由框架自动处理。

❝

部分信息来源：维基百科、百度百科、百度文库

❞