数据湖 华为正在打造数据基础设施
水、阳光与土壤,是人类生活的三要素。当人类进入万物互联的智能时代,在基础生活要素之外,数据便成了新的生产资料。根据《华为全球行业展望GIV》报告预测,全球数据量将从2018年32.5ZB快速增长到2025年的180ZB。行业专家认为:在数据成为新生产资料的同时,智能也成为新生产力。 当前,各行各业都在积极进行着数据基础之上的智能化转型,这种转型让重新构建数据基础设施成为关键。为何需要重新构建数据基础设施?数据基础设施与智能化的发展有哪些必然?数据价值如何落地?华为从计算、接入、存储、处理和数据使能这五个领域重定义数据基础设施,解决这些挑战,助力各行业加速迈向智能时代。 上图为:华为IT产品线副总裁,智能数据与存储领域总裁 周跃峰 FusionData 华为打造数据湖解决方案 华为FusionData的终极目标是要打造数据湖解决方案,它可以称作为数据湖解决方案的基础。华为数据库,最大的难点是在高可用稳定上,华为数据库研发了八年,通过投入大量的人力和时间成本,研发出自主创新的数据库。 目前,这些创新方案正应用于各行各业。在北京,通过“数据+智能”,实现政务服务“一门一号一窗一网”,让数据多跑路,群众少跑腿,业务办理时间缩短了50%;在深圳,通过“数据+智能”,道路交通控制从“车看灯”变成了“灯看车”,实现早高峰主干道车速提升了18%,让城市交通更顺畅。 在招商银行,华为的金融实时风控解决方案,在6000多条风控规则下,对交易风险决策的响应速度达到了30ms以内,让招行的交易风控从事后变成事中。华为的金融实时风控解决方案,从2016年在招行部署以来,已累计保护32亿笔交易安全,帮助客户大幅减少交易损失。 但是,由于多样性数据、多样性系统和多样性业务的现状,导致企业实现数据价值的过程中,面临数据接入难、数据融合分析难和数据消费难三大挑战。 数据接入难 随着应用移动化的高速发展,企业前端应用系统和应用模块达到上千个,后端平台有数十个,整个数据平台有上万个接入点,导致系统前端和后端的数据接入很复杂。比如某公司,一条财经数据涉及30多个前端系统,一个业务开发流程需要和400多个系统进行数据对接。 数据融合分析难 一个业务在分析过程中,往往需要从多个数据来源抽取数据,经过融合分析实现业务目标。由于企业烟囱式架构带来的系统开发接口不统一,数据标准不统一,数据处理链路长等问题,使得数据融合分析成为一大难题。 以某银行精准营销为例,需要使用用户注册数据、消费行为数据、位置数据等,这些数据分散在关系数据库、MPPDB、Hadoop、 流计算等多种系统中。这些系统提供的接口标准不统一,有SQL、API等;数据存储格式不统一,有文件,表等。数据融合分析耗费大量人力物力。最终,耗时一个月实现该业务。 数据消费难,其实质就是数据用不好 以某公司为例,全公司共有130多万张表,分散在各个业务系统中;经过数据加工入湖的数据有14多万张表,约占总数据量的11% ;经过加工聚合后的主题库表约5千张,不足总数据量的0.5%,无法应对灵活多变的业务需求。 华为从计算、接入、存储、处理和数据使能这五个领域重定义数据基础设施,解决这些挑战,助力各行业加速迈向智能时代。 在计算领域,华为引领多样性计算,从单一算力到多样性算力,匹配多样性数据,计算更高效。 在数据接入领域,华为引领多样性数据连接,通过智能全连接,加速数据流动,让应用与数据连接更高效。 在存储领域,为应对存储效率低、管理复杂的问题,华为重定义存储架构,从单一类型存储到多样性融合存储,构建融合处理基础,大幅提升效率。 在数据处理领域,为应对更实时和智能的需求,华为重定义数据处理平台,从单一处理到智能融合处理,加速实现数据价值。 在数据使能领域,打造创新的数据使能平台,构建数据处理与业务创新的桥梁,提升业务体验,让业务更敏捷。 据企业网D1Net记者了解,华为本次发布的智能数据解决方案FusionData包含数据接入、数据处理和数据使能这三个部件。其中,数据接入ROMA解决多样性数据接入问题,连接企业应用和数据,消除数据孤岛;数据处理解决数据融合分析难的问题,实现数据免搬迁,高效分析。 数据使能解决用户找数难,取数难的问题,让用户获得“ATM”式的数据自助获取与分析体验,提升数据使用效率,让业务更敏捷。 这三个部件的具体能力及关键技术如下: 智能数据连接部件ROMA支持多数据源接入、消息和API的统一管理、智能通道选择等技术实现智能全连接,加速数据流动,让应用与数据连接更高效。 多数据源接入:支持1100多种应用和异构数据源接入,通过开放式数据接入框架可灵活接入第三方数据源。 消息和API的统一管理:支持分布式消息和API的路由统一配置管理,轻松实现分布式消息和API服务的跨网跨域跨云集成,让数据自由流动。 智能通道选择:支持数据多通道传输,并且可根据数据特点智能选择传送通道,大幅提升数据接入效率。 智能数据处理部件包含分布式存储FusionStorage、分布式数据库GaussDB和大数据平台FusionInsight等,通过多类型数据融合存储、融合分析引擎等技术实现从单一处理到智能融合处理,加速实现数据价值。 多类型数据融合存储:通过存储与计算分离技术,打破系统烟囱式建设;通过智能分布式存储的多协议融合技术,实现一份数据同时支持数据库、大数据、AI等多种业务的分析需求,让融合数据分析成为可能。 融合分析引擎:支持数据库、大数据、AI多引擎融合分析和多样性算力统一调度。通过统一架构,降低海量数据处理难度,实现极简分析。 智能数据使能部件DAYU通过智能元数据感知和OneQuery Turbo 技术构建数据处理与业务创新的桥梁,提升业务体验,让业务更敏捷。 智能元数据感知:通过AI技术,自动感知和采集多个系统的元数据,并进行智能化分级分类,生成全局统一的数据视图,数据寻找秒级响应。 OneQuery Turbo :提供统一的数据访问接口,实现多数据源、多类型数据的统一访问,简化数据加工流程,数据获取速度提升10倍以上。 (编辑:湘西站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |