加入收藏 | 设为首页 | 会员中心 | 我要投稿 湘西站长网 (https://www.0743zz.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

极客时间

发布时间:2022-12-15 13:39:50 所属栏目:大数据 来源:网络
导读: 近日,爱奇艺高级技术经理杜益凡在 DataFun 发表的演讲中分享了爱奇艺大数据分析平台的演进之路。他表示,目前爱奇艺的业务线达到 20 多条,存量的设备信息达到 30 亿,每天处理的用户行为

近日,爱奇艺高级技术经理杜益凡在 DataFun 发表的演讲中分享了爱奇艺大数据分析平台的演进之路。他表示,目前爱奇艺的业务线达到 20 多条,存量的设备信息达到 30 亿,每天处理的用户行为日志超过 300T。这种业务数据量对数据运维、开发人员提出了很高的要求。

1. 起始时代

爱奇艺刚刚起步时平台架构很简单,数据流从日志通过 RSYNC 流入到 Hive,然后通过脚驱动 Hive SQL 语句统计分析,结果导入到 MySQL,最后形成报表展示。

2. 魔镜时代

在魔镜系统中进行投递管理、投递验证,分析人员可以在魔镜系统上通过配置进行自助取数,不需要等待开发排期。

3. 通天塔时代

通天塔集合了整个爱奇艺技术部门所有数据、所有计算资源和服务框架,重新构建形成一个大数据平台框架。底层是大数据平台所用的计算资源;再往上层是开发平台层,主要负责工作流开发;最上层就是直接面向用户的分析报表平台。

4. 工作流管理与开发方式的演变

刚开始的时候在这方面投入不是很大,使用 Crontab 直接驱动数据处理脚本运行。之后,他们利用 Shell 写了一个框架,可以自动批量维护很多计算。随着业务发展又无法满足需求,引入了 Linkedin 公司的开源工作流调度器 Azkaban。

5. 爱奇艺 BI

爱奇艺 BI 平台是一个很大的平台系统,报表只是其中的一部分,最核心的部分就是对不同业务线进行拆分。在前期的基础上,之前从 SQL 语句开始配置是基于开发的思路,现在是从报表构建的思路去配置,先配置报表的雏形,然后详细配置报表的各个组件爱奇艺大数据,这种方式更加符合数据分析者的思路。

6. 魔镜与庖丁刃

魔镜是通过勾选配置的方式写 SQL 达到取数的目的,通过定义指标、选取维度、定义详细的条件、排序方式,通过勾选方式生成 SQL,最后落在 SQL 执行的引擎上。庖丁刃就是提供给用户一个 SQL 编辑的工具,同时还提供一些数据源的管理。

7. 莫奈系统

莫奈系统目标是只需要鼠标如作画般划过屏幕,就可以进行大数据分析,将抽象数据变成画作。

8. 爱奇艺大数据分析体系

该体系集成了 BI 报表、莫奈分析、魔镜与庖丁刃和分析工具。

(编辑:湘西站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!