ETL和大数据分析有区别吗
1056人已读
发布于:2023-02-08 14:30:13
展开目录
展开目录收起
一、定义
1、什么是 ETL ?
2、什么是大数据分析?
二、岗位区别
1、大数据分析师岗位职责
2、ETL 工程师岗位职责
ETL和大数据分析有区别。ETL是数据分析中用到的一种技术手段。数据分析,大部分是针对存储在数据库中的数据来进行的,有些时候这些数据不能被拿来直接分析,需要进过一定的加工,转换等才行,这个时候就需要ETL,经过ETL以后的数据就变成了可用的数据,然后就可以用来做数据分析了。

ETL和大数据分析有区别吗

一、定义

1、什么是 ETL ?

ETL , Extract - Transform - Load 的缩写,是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程。ETL 是数据集成的第一步,也是构建数据仓库最重要的步骤,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL 一词较常用在数据仓库,但其对象并不限于数据仓库。

2、什么是大数据分析?

大数据分析就是指对规模巨大的数据进行数据分析,大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,而数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

二、岗位区别

1、大数据分析师岗位职责

(1)根据市场情况,开拓国内金融业大数据市场,收集、整合相关数据

(2)应对海量数据的处理,涉及包括信息检索、数据挖掘等领域

(3)负责业务数据整理及分析工作,提交数据分析报告

(4)通过数据分析过程,主动发现业务中潜在存在的问题,为业务决策提供数据支持依据

2、ETL 工程师岗位职责

(1)负责数据调研分析过程实施,在项目前期根据业务数据需求,与客户确认数据来源并对源数据进行剖析,为后续设计和开发工作奠定基础

(2)负责数据标准建设,包括数据元标准、数据代码标准、数据库标准 Q 等

(3)承担项目中数据质量目标和规则的设计,执行数据质量稽核,并对数据问题进行原因分析,确保项目数据成果符合预期要求

(4)承担项目中逻辑数据模型 Q 及映射转换规则的详细设计

(5)参与数据分析挖掘相关的业务分析模构建

(6)参与其他数据相关工作

让数据流动起来,开启业绩增长!

了解500+品牌零售商使用LinkFlow的场景用例