AI与大数据分析结合，就像给大象装上翅膀 - 永洪社区

(, 下载次数: 107)

上传

点击文件名下载附件

“啤酒与尿布”的故事非常经典。

在某些特定情况下，“啤酒”与“尿布”两件看上去毫无关联的商品经常会一同出现在购物篮中，这一销售现象引起了美国沃尔玛超市管理人员的注意。

为了搞明白原因并利用它，当时的管理人员采用的方法是实际调查。终于发现，有婴儿的美国家庭中，负责照看婴儿的年轻父亲到超市采购时，在购买尿布时往往会顺便为自己购买啤酒。

如果把这件事放在今天，完全不用花十几天的工作日做调查，仅利用深度分析工具，十几分钟就能找出了答案。“这个故事的实质其实就是商品的交叉销售，放到今天就犹如电商网站的商品推荐。研究这种关联关系的方法就是购物篮分析，购物篮分析可以帮助我们在门店、网站的销售过程中找到具有关联关系的商品，以此推动销售额的增长。”永洪科技咨询总监符鹏飞在11月18日的北京用户大会上，面对记者时对这一问题进行了解释。

(, 下载次数: 141)

上传

点击文件名下载附件

永洪科技咨询总监符鹏飞

采用了当今的大数据分析工具的一站式、敏捷性特性，与搅动世界发展的AI技术结合，让大数据分析更容易了。

AI与数据分析结合正在改变产业格局

技术社会发展的引擎正由互联网逐步转换为AI。以前，企业面临互联网化的挑战，互联网+引领潮流。现在，AI的崛起正改变着企业间的竞争力，吃螃蟹者正领先进入“人工智能时代”。

符鹏飞认为，大数据分析领域应用AI还属起步阶段，一切都处于探索期，但是效果却令人惊奇。永洪旗下Yonghong Z-Suite套件就包含了具备AI能力的深度分析模块，目前已经支持90%以上的常用算法，到今年底将支持95%以上的常用算法。截至目前，已有不少客户已经在这一平台上开展自己的AI工作，并取得了一定的成果。

要对数据进行更深度的应用，需采取深度分析算法或数据挖掘算法，通过机器内部的算法自动对数据规律进行运算，并对结果进行预测，该算法不预先对数据的分布和变量间关系做假设。

符鹏飞对BI和AI进行了简单的类比。BI是用历史数据，进行数据特征的提取，发掘其规律性，“告诉你已知的”。具备AI能力的深度分析应用则是用历史数据进行自我提炼、深度学习、分析，进而建立模型进行预测，“告诉你未知的”。

从使用对象上看，BI使用者以前大都是具有专业技能的“高富帅”，而用具备AI能力的深度分析的则可以是企业的普通人，既可以是IT技术人员，也可以是业务人员。

符鹏飞认为，目前大数据分析对AI技术的应用可分为两类：一是走一体化路线，如永洪科技，整合BI与AI，向用户提供使用更简单、效果更好的平台型产品；另一类则是提供整合AI的工具类产品，定位更专业，更偏重专业技能人才应用。

引入AI，深度分析的核心能力是预测变化

企业积累了大量的业务数据，亟需功能强大的数据分析工具，揭示数据规律，为企业的经营决策提供可靠信息。传统的数据分析只局限于反映企业过去和现在的经营状况，管理者无法从报表展示中直接得出问题结论，企业的数据也无法发挥真正的价值。

改变从AI开始！

永洪科技在深度分析中集成了复杂的统计算法和机器学习技术，能够从海量数据中挖掘具有潜在价值的关系、模式和趋势，构建数据模型，做出预测分析，帮助企业及时了解自身问题，发现市场机会，做出科学的经营决策。

符鹏飞向记者演示了用户深度分析的原理和应用步骤：

第一步：通过平台提供的计算力，对接需要的数据；

第二步：自服务准备建模，完成数据准备的过程，处理干净数据之后可以作为数据深度分析的入口；

第三步：选择算法，通过深度分析的可视化工作流，用户可将数据集拆分为测试集和训练集，选择特征列和目标列，构建算法模型，对模型进行训练、得出模型参数，利用测试集对模型评分，调整参数/特征、使模型更具准确性；

第四步：最终应用于数据集和可视化报告，得到预测分析结果。

(, 下载次数: 114)

上传

点击文件名下载附件

Yonghong AI产品架构

符鹏飞介绍说，永洪深度分析既提供经典统计方法，如一元线性回归、逻辑回归、K-means 聚类、HoltWinters 时序分析、关联分析、决策树，满足用户常用分析场景，简单可视化操作，即可轻松构建模型，完成预测分析；又支持用户调取R 包函数，定制分析算法，充分发挥R 中更丰富、更高级的统计分析与预测分析功能。

采用AI，让永洪深度分析用起来更简单

“AI+大数据分析并不是高不可攀，每一个人都可以使用，只要你有需要。”符鹏飞说，这就是永洪科技在深度分析方面树立的一个新的“易用、实用”的标杆。

在永洪科技一站式数据分析平台Yonghong Z-Suite V7.5 版本进行了功能模块化升级，深度分析作为一个独立的功能模块，拥有全新的操作界面，实现更专业的机器学习功能。符鹏飞介绍，它的优势体现在五个方面：

第一，降低 AI 应用门槛。企业业务发展和决策中，经常需要预测型和建议型的指标辅助。以往，这个过程往往由于专业性通常是由专业数据挖掘工程师完成，这个门槛能不能降低，由非专业的数据挖掘工程师或者普通的业务用户来完成？永洪自服务数据准备功能，更便捷的完成数据治理。而可视化操作页面，业务用户通过拖拽式完成深度分析应及模型校验。

第二，提升计算性能。永洪MPP集市通过分布式计算，支持大数据规模的机器学习算法，包括kmeans聚类、逻辑回归算法等。在机器学习的过程中，数据查询、模型训练、模型评分都可以基于MPP计算。分布式计算的应用将数据计算的巨大工作量分散在多台服务器上，保证了大数据规模机器学习的处理性能和响应速度。

第三，实现数据分析与应用一体化。永洪深度分析与敏捷BI构成一站式分析平台。用户在数据连接模块连接并准备数据后，可直接利用高质量的数据进行数据建模，实施数据模型，预测分析数据，制作数据报告。从构建深度分析模型到可视化报告分析，各功能模块之间无缝衔接，一站解决所有数据问题。核心是：自服务数据准备与深度分析结合，深度分析算法产生的数据结果可以被BI应用复用，BI与深度分析结合，做联动与深度分析。

第四，可扩展，包括算法支持与算法扩展。不熟悉R 语言的分析人员，可以利用预定义的常用分析算法，能快速上手，自助挖掘数据、预测形势。对专业的数据分析师，支持定制分析算法，R 深度用户可访问有权访问的任何R 包，构建深度分析模型，自由灵活的预测分析数据。

当然，不得不提可视化分析。可视化的工作流帮助用户实现自服务建模。轻松拖拽操作节点，形成完整的工作流，即可完成数据集拆分、特征列选择、模型构建、模型训练、模型评分的完整过程。同时，永洪深度分析与敏捷BI 相结合。用户在制作报告时，可直接使用构建的深度分析模型，通过可视化图表的形式展现分析预测结果，输出可视化数据报告，便于业务人员进行可视化评估。

在核电站设备检测预测这一重大项目中，核电站柴油机及各控制系统使用了大量的继电器，在运行过程中可能会出现部分继电器不可靠。为了提高继电器的可靠性，需对继电器进行预防性维修，及早剔除不合格或者接近不合格的继电器。通过对测点收集的数据进行预处理及探索，并根据历史积累的训练数据建立分类模型，从而更智能地判断继电器是否合格。实践证明，这种模型分类效果良好，不存在明显的欠拟合或过拟合现象。

永洪科技利用AI的深度分析方案已经在电力、制造、金融、交通、公安、物流等行业得到的应用，发挥出了巨大的能量与作用。不过，AI在数据深度分析上应用才刚刚开始，潜力和能量绝对值得想象。

欢迎光临永洪社区 (https://club.yonghongtech.com/)