|
近十年前，随着技术的不断更新迭代，大数据逐渐走向成熟，而如今，大数据已经渐地淡出人们的谈资。从2015年开始，大数据已经在Gartner新兴技术成熟度曲线中消失，Gartner对此的解释是，大数据不再是“新兴的”，而是正在慢慢融入我们的生活中。
这一说法，也得到了永洪科技高级副总裁邵文龙的认同。他表示，虽然新兴技术成熟度曲线中已经没有了大数据，但是很多其他技术都是基于大数据的，大数据已经成为这些技术的基础。 永洪科技 高级副总裁 邵文龙
根据福布斯的报道，“89%的行业领袖认为大数据将像互联网一样改变传统的商业运作模式。” 的确，随着新兴技术的不断演进，大数据逐渐成为了企业中最重要的资产。如何从数据中挖掘出有价值的信息，辅助企业甚至是直接进行决策，成为了众多企业的必行之路。 大数据已经走向成熟？ 得益于互联网的飞速发展，企业中的数据越来越多，过去，企业的关注点在于大量的多样的数据如何存储，而如今，更多的企业则希望从这些数据中挖掘价值，为企业的业务发展做出决策。
大数据发展了很多年后，是否已经走向了成熟呢？邵文龙告诉笔者：
从企业的数据架构方面来看，技术还在不断地演进，还有很多创新的技术在不断推出来，比如Spark、Flink等等；
从企业应用的角度来判断，大数据是已经走向成熟了，因为更多的企业开始行动，将大数据作为企业的基础设施。 在当前阶段，大数据的热点更多集中在大数据的应用以及分析方面，怎样从数据中挖掘价值，是很多企业的关注点。此外，企业希望服务提供商可以提供大数据一站式的解决方案，从大数据的基础架构、数据仓库，到数据分析平台、商业智能的展现能力，甚至是数据挖掘能力、人工智能的能力全部包含，一揽子的解决方案受到了更多企业的青睐。 数据爆炸式增长带来多方变化 过去数据大多都是由业务系统所产生，静静的存储在企业的数据库中，而如今产生数据的来源也是多种多样的，有来自新媒体、社交数据，也有来自物联网等传感器的数据，并且这些数据的形态也是多样的、杂乱的。而这些不同来源的数据给企业的大数据处理、分析带来了更大的挑战。此外，数据的类型，例如视频、音频、图片等不同格式的数据也增加了企业的存储、清洗、甚至是分析挖掘的难度。
在数据爆炸的时代，带来的变化不仅是数据处理分析难度的变化，更多的是用户以及技术上的变化。邵文龙表示，大数据分析和数据挖掘已经逐渐变成企业领导人的共识，他们需要从数据中挖掘价值从而指导自己企业的运营以及决策，因此企业需要利用好历史数据以及外部数据，从而更好的做出规划以及决策。 用户方面的变化 企业对于大数据处理的需求也更为清晰。过去很多用户只是看到大数据很热就开始做大数据，但是并不知道用大数据来具体做什么事情。而现在这样的小白用户越来越少，大部分企业还都是需求明确的。这说明企业对于大数据是有一定的认可度的，大数据已经成为企业的必备品。
技术方面的变化 从Gartner的新兴技术成熟度曲线中可以看到，虽然大数据在Gartner的新兴技术成熟度曲线2015年的报告中消失，但是很多新兴的技术背后都是由大数据作为支撑，大数据已经变成其他技术的基础。比如，像人工智能，数据就是其重要的因素，如果没有数据，那么算法模型都只是空壳，并不能产生真正的价值。 虽然，现在像视频、图片等非结构化数据已经很多，但是企业中大部分数据还是结构化数据居多。邵文龙表示，结构化数据更加容易挖掘出价值，规律性和特征比较容易总结，因此价值密度相对较高。 永洪科技的PASO应对之法 数据来源多样化、数据量级增加、数据来源复杂等多种原因，扰乱了数据之间的关系，增加了用户对数据治理、分析挖掘的难度，同时，对数据安全、隐私保护也带来了更高的挑战。
为此，永洪科技提出了PASO(Platform, Application, Service, Operation)，通过技术手段和非技术手段两方面解决这些挑战问题。技术方面主要通过Platform和Application的方式，能够有效的涵盖用户所面临的挑战，比如数据清洗、数据治理等难题，并且可以通过可视化拖拽这样简单易操作的方式实现，同时可以通过相关的血缘分析，找到数据的原始存在位置以及对数据进行过的操作，从而对数据了如指掌。
在非技术手段方面则是通过Service和Operation两方面着手。Service方面，永洪科技设有售前、售后、客户成功实施等不同的团队，都有完整的服务体系，提供从前端到后端完整的服务，随时帮助用户解决遇到的问题和挑战。而Operation则是永洪科技已经根据以往的经验，将利用数据的方法、遇到的问题和解决方案制作成最佳实践，将这些最佳实践毫无保留的告诉用户，让用户可以避免很多问题的发生。当然，如果用户出现其他解决不了的问题时，永洪科技的技术人员还是会帮助其进行解决。邵文龙表示，通过技术和非技术相结合的方式，能够解决用户在数据量很大时遇到的挑战，让用户能够真正的使用起来。 而对于数据安全，永洪科技通过数据权限控制以及产品安全双重保障的。
数据权限分层控制系统 可以定义数据的查看权限，例如根据部门或是根据人员级别查看，这样保证不同层级的用户可以看到授权的数据。
抵抗第三方攻击 若用户使用手机或者公共环境登入系统查看数据，可能会被中间人攻击将个人信息劫走，进而查看到公司相关数据，造成损失。
邵文龙表示，永洪科技每发布一个版本都要通过第三方的严格的安全检测和扫描，并且在发布前都要进行数周的稳定性测试和漏洞扫描，在压力集中的情况下保持运行数周不出问题，才会正式发布，以便保证产品的高可靠性、稳定性。 为客户多想一步： 标准化产品+定制化开发+行业解决方案 商业智能是从九十年代提出的，将企业中现有的数据进行有效的整合，快速准确地提供报表并提出决策依据，帮助企业做出明智的业务经营决策。早期的商业智能有两个特点：
1. 构建在关系型数据库上，分析为非实时性的 2. 数据量并不是很大
因此，早期商业智能所做出来的数据挖掘和呈现，往往都需要很长的时间。而当大数据出现以后，商业智能进入到第二阶段，从原有的IT人员逐步转向了业务人员，业务人员可以根据自己的需求自己操作，马上就可以呈现结果内容。
但是在分析需求变更时，业务人员不会直接调整报表，需要IT人员重新建模或修改已有分析模型，耗时较长，响应速度较慢。因此，永洪科技提供了自主研发的大数据高性能计算引擎软件MPP数据集市，采用了列存储、内存计算、分布式计算、分布式通信，高性能多层缓存等技术，当用户将数据从数据库导入到分析平台时，可以及时响应。
邵文龙表示，客户在商业智能方面的需求比较发散，很难有一款商业智能的产品能够完全满足用户，因此，永洪科技采用标准化的产品+定制化的开发+行业解决方案，来满足不同行业不同用户的需求。
标准化的产品提供通用型的技术能力，比如Yonghong Z-Suite一站式大数据分析平台，覆盖了数据分析过程的各个环节，包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等，让用户可以在一个统一的平台上完成全流程数据分析任务，降低了实施、集成、培训的成本。对于某些特殊的功能，则是可以通过定制化或插件的形式提供，目前永洪科技也开放了产品接口，感兴趣的人员可以自己开发后放到应用市场中，如果用户没有找到合适的插件，永洪科技的技术人员也是可以开发的。 Yonghong Z-Suite 技术架构
对于行业用户，永洪科技也是有不同行业的解决方案，通过永洪科技的行业专家数十年的行业理解，总结出不同行业的业务需求和挑战，从而制定通用型的行业解决方案。目前，永洪科技已经针对制造、零售、金融、电商、交通、电力、医疗、电信、互联网、高教、政府等不同行业做出了解决方案，覆盖了主流行业的数据分析和挖掘的需求。 虽然很多企业都意识到大数据可以为企业带来价值，但是往往想的还不够透彻。邵文龙举例说，以零售行业为例，如果客户数据仓库已经准备好，永洪科技会与客户的业务人员以及IT人员沟通，了解清楚客户做大数据分析的目的，客户一般是想要做数据销售情况的展示效果，但是永洪科技还可以帮助用户做销量预测、库存优化等等，帮助客户多想一步，将数据分析挖掘做的更加透彻。
AI+BI：让数据价值可衡量
人工智能技术的出现，让机器可以模仿人类的思考方式变得更加智能。人工智能和商业智能该如何结合呢？邵文龙表示，很多用户不太关心后端的技术是使用的哪些以及如何实现的，只是关心提出的需求是否能满足。但是，永洪科技会根据用户的需求来选择合适的AI模型以及最优的BI展示形式。
在数据清洗后会分成训练集和测试集，根据训练集进行训练模型，调整模型参数，验证模型，然后将模型部署到测试环境中进行测试，测试没问题后部署到生产环境中，最终的结果将在商业智能上进行展现，让用户在无感知的的情况下体验到AI与BI的结合。
邵文龙认为，现在用户对于AI的需求会越来越多，未来会逐渐变成一种典型的场景。因为用户在效果上是能够感知的、观察的、可衡量的。通过AI技术的结合，将复杂的模型高度抽象，帮助用户发现通过肉眼观察分析看不到的内容，并且可以预测判断未来的内容，让价值变得可衡量。 不过，人工智能的模型训练是需要大量投入的，找到最合适的算法模型才能分析预测出更精准的结果。从训练模型、调整参数、验证模型、部署模型等一系列的流程，都是需要大量的人力、计算力，以及时间等成本。永洪科技也正在研发AI相关的标准化产品，将复制性比较强的项目进行总结，从而做出标准化的模型和功能，减少多方面的投入成本。 未来的三步发展 从商业智能到大数据分析，再到现在人工智能技术的结合，未来大数据的发展会集中在哪些方向呢？邵文龙表示主要在智能分析能力、提升产品性能、产品对数据挖掘洞察力的支持三个方面，而这三方面也将是永洪科技的研发方向。
智能分析能力（增强分析技术）
智能分析的能力也就是Gartner今年预测的十大战略技术之一的增强分析技术。为了获得更好的数据洞察能力，增强分析将把大数据重塑为智能数据。作为一种先进的数据处理工具，增强分析能够从大数据中获得洞察力的真正本质。因此，当用户打开报告后可以直接看到数据异常点以及产生的原因，而不再需要手工的钻取与分析。此外，用户的交互方面也是智能的，业务人员可以通过自然语言的方式来进行查询，直接获取数据洞察力。
产品性能提升 提升产品的性能。由于数据量越来越大，企业后台的计算能力也是成指数级增加，因此无论是基础架构还是软件系统，都需要更强的性能来做支撑，以保障数据的分析挖掘的能力。永洪科技的MPP数据集市是业内领先的大数据计算引擎。在永洪MPP的基础上，正在通过技术革新来进一步提升产品的性能，保证用户在使用时的使用体验。
有保障的用户支持 产品对用户需求的支持要有保障。由于人工智能技术的加速发展，企业对数据挖掘的洞察力要求也会越来越多，数据训练的模型，验证模型，评估模型，部署实施等一系列流程都要清晰。服务提供商的产品要能够支持不同的数据模型，并且可以与现有的数据分析进行无缝结合，统一展现出数据分析以及预测的结果。 永洪科技于2012年成立，致力于为企业提供高效可靠又简单易用的数据分析解决方案。七年多的发展中，虽然有很多技术推陈出新，但是永洪科技始终保持初心，扎根于数据分析领域，帮助企业将数据转换成有价值的信息。除了提供标准化产品，个性化服务以外，永洪科技利用技术能力降低数据分析的门槛，将数据分析变得更加简单易用，让用户真正的使用起来。而永洪科技的坚持以及理念也得到了资本市场的认可，从2013年到2016年四年时间里，永洪科技先后完成了四轮融资，获得了包括腾讯创投、元生资本、经纬创投等投资机构的青睐。随着智能时代的来临，在技术不断演进的过程中，相信永洪科技会帮助企业挖掘出更大的数据价值，将数据的价值最大化。 —— 51CTO 鸢玮
*文章转自51CTO，内容稍有修改。
他们都在用Yonghong服务
人人都是数据分析师专区
| 
