Java教程

第二讲 数据预处理

本文主要是介绍第二讲 数据预处理,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

1.认识数据

(1)数据集由数据对象构成,数据对象由属性来描述,属性的类型由属性可取的值决定
(2)标称类型,二元属性(对称,非对称),序数属性,数值属性: 离散/连续属性
(3)数据的统计描述
中心性度量: 均值,中值,众数,中位数
离散性度量: 方差,标准差,分位数
注: 分位数: 五数概括
最小值,Q1, 中值,Q3,最大值(去除离散点以后)
均值图→五数概括图

2. 数据采集

爬虫技术

3. 数据清洗

数据质量: 正确性,唯一性
正确性:
(1)完整性(完备性(模式符合性,统一性),有效性)
(2)一致性
(3)密度

唯一性:。。。

语法类,语义类

数据清洗具体技术:
数据解析方式(误差距离最近)
数据类型转换(男女→01)
数据去重

4. 数据集成

物理式,虚拟式

需要克服的困难:
异构性: 联邦数据库(需要转换再转换合并),数据仓库模式(完全合并,更新问题,增量式更新),中介者模式(查询转换,不合并))

实体解析合并方法

这篇关于第二讲 数据预处理的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!