本文转发自:
https://blog.csdn.net/weixin_39032019
大数据工程师知识体系:
工 作 内 容
1.数据采集 | 找出描述用户或对业务发展有帮助的数据,并将定义相关的数据格式,交由业务开发部门负责收集对应的数据。 |
2.ETL工程 | 对收集到的数据,进行各种清洗、处理、转化等操作,完成格式转换,便于后续分析,保证数据质量,以便得出可以信赖的结果。 |
3.构建数仓 | 将数据有效治理起来,构建统一的数据仓库,让数据与数据间建立连接,碰撞出更大的价值。 |
4.数据建模 | 基于已有的数据,梳理数据间的复杂关系,建立恰当的数据模型,便于分析出有价值的结论。 |
5.统计分析 | 对数据进行各种维度的统计分析,建立指标体系,系统性地描述业务发展的当前状态,寻找业务中的问题,发现新的优化点与增长点。 |
6.用户画像 | 基于用户的各方面数据,建立对用户的全方位理解,构建每个特定用户的画像,以便针对每个个体完成精细化运营。 |
成为一名大数据分析师,需要具备哪些技能?
那么,问题来了,如果想成为一名大数据分析工程师,胜任上述工作内容,需要具备什么样的条件?拥有什么样的知识呢?笔者团队结合多年的数据分析工作实践经验,总结出了下面的表格,作为一名初级的大数据分析工程师,需要具备以下技能:
分类 | 子分类 | 技能 | 描述 |
技 术 能 力 | 编程基础 | Java基础 | 大数据生态必备的java基础 |
Scala基础 | Spark相关生态的必备技能 | ||
SQL基础 | 数据分析师的通用语言 | ||
SQL进阶 | 完成复杂分析的必备技能 | ||
大数据框架 | HDFS&YARN | 大数据生态的底层基石 | |
Hive基础 | 大数据分析的常用工具 | ||
Hive进阶 | 大数据分析师的高级装备 | ||
Spark基础 | 排查问题必备的底层运行原理 | ||
Spark SQL | 应对复杂任务的利刃 | ||
工具 | Hue&Zeppelin | 通用的探索分析工具 | |
Azkaban | 作业管理调度平台 | ||
Tableau | 数据可视化平台 | ||
业务基础 | 数据收集 | 数据是如何收集到的? | |
ETL工程 | 怎么清洗、处理和转化数据? | ||
数据仓库基础 | 如何完成面向分析的数据建模? | ||
元数据中心 | 如何做好数据治理? | ||
分析思维 | 数据分析思维方法论 | 怎么去分析一个具体问题? | |
排查问题思维 | 如何高效排查数据问题? | ||
指标体系 | 怎么让数据成体系化? |
为什么要发布这门课程?本课程如何满足上述学习需求?
第1部分:基本概念及特性
这部分会花较大篇幅给大家介绍java中的几个很重要的基础概念,面向对象、类、对象、封装、继承、多态和泛型,一来给后续讲解中有示例代码的地方打个基础,二来让之前没怎么了解过Java的小伙伴对Java有个初步认识。
第2部分:初始化过程
主要讲述类(子类和父类)中各成员变量的初始化顺序。
第3部分:常见的集合及方法
主要简述Collection和Map两个接口以及各集合的常用方法。
第4部分:常用的字符串处理方法
这部分会对每种方法进行详细说明并通过示例帮助小伙伴们加深理解。
第5部分:日期处理方法
主要通过示例代码对最常用到的日期处理类java.util.Date、java.util.Calendar、java.text.SimpleDateFormat进行介绍。
第6部分:json的解析与操作
重点介绍了两点,一是java变量和json格式之间的相互转化,二是json对象与字符串的相互转化。
第7部分:正则表达式
讲述了正则表达式的概念、作用、基本规则,并给出了示例代码。
第8部分:异常处理
此处根据实际经验给大家总结下异常处理常遇到的几种问题。
第9部分:JDBC
主要是通过示例代码给出java连接数据库的操作步骤。
……………….
1、基本概念及特性
Java 是面向对象的高级编程语言,所谓对象就是真实世界中的实体,对象与实体是一一对应的,也就是说现实世界中每一个实体都是一个对象,它是一种具体的概念,正所谓万物皆对象。
对象有以下特点:
咚咚咚,敲黑板!!!
以上图例中,第四个特点说到:对象都是某个类别的实例。借此,我们要引出Java中另外两个非常重要的概念,那就是类和对象。
类:
对某类事物的普遍一致性特征、功能的抽象、描述和封装。
对象:
使用 new 关键字或反射技术创建的某个类的实例。同一个类的所有对象,都具有相同的基础属性(比如人的年龄、性别)和行为(比如人的吃饭、睡觉),但是每个对象的具体属性值和行为表现会具有自己独特的个性。
举例:
老师是java中的一个类,一位24岁的、性别女、名字叫马冬梅的老师就是老师这个类别里对应的一个具体对象。
我们来看一下创建一个具体的java类和对象的代码框架是什么样子的:
public class Teacher {
//属性:姓名、所教课程名、性别、年龄
Stringname;
StringteachClass;
Stringsex;
int age;
publicvoid setName(String name) {
this.name= name;
}
publicvoid setTeachClass(String teachClass) {
this.teachClass = teachClass;
}
publicvoid setSex(String sex) {
this.sex = sex;
}
publicvoid setAge(int age) {
this.age = age;
}
publicTeacher() {
}
//方法:获得老师所教授的课程名
publicvoid getClass(String name, String teachClass) {
System.out.println(name + "老师所教授的课程是"+ teachClass);
}
}
//创建老师类的一个具体对象
————————————————
版权声明:本文为CSDN博主「明月十四桥」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
未完,本文转发自:
https://blog.csdn.net/weixin_39032019