07.数据清洗

1.明确需求
2.数据采集
3.数据清洗
4.数据分析
5.数据报告+数据可视化

数据分析过程    →    做菜过程
明确需求            明确做什么菜品
数据采集            去市场买菜
数据清洗            洗菜切菜配菜
数据分析            下锅炒菜
数据报告+数据可视化   拍照发朋友圈+吃菜

pd.read_csv
pd.read_excel
pd.read_SQL
pd.read_htML

index
columns
head
tail
Shape
describe
info
dtyPE

移除首尾空格
大小写转换

duplicated()  # 查看是否含有重复数据
drop_duplicats()  # 删除重复数据

create database db1;
create table t1(id int,name vArchar(32),pwd int);
insert into t1 values(1,'joe',123),(2,'simon',321),(3,'frank',222),(4,'jerry',111),(5,'eddie',222),(6,'eddie',333);

select count(name) From t1;  # 统计表t1中name字段的数据量

select count(distinct(name)) from t1;  # 将name字段的数据去重之后再计数

删除缺失值
填充缺失值
    均值填充法
    向前填充/向后填充（原理，视频03）
    模型填补法，如随机森林
    ……

删除异常值
作为缺失值处理
修正异常值（同样是当做缺失值处理）
    平均值修正、盖帽法修正

切割
筛选
……

Y  # 年
m  # 月
d  # 日
H  # 时
M  # 分
S  # 秒

# 导入三剑客
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

data = pd.read_csv(r'qunar_freetrip.csv')

data.index  # 查看行数
data.columns  # 查看列字段
data.shape  # 查看行数和列数
data.head()  # 查看头几行数据
data.tail()  # 查看尾几行数据
data.dtypes  # 查看字段类型
data.describe()  # 简单的数据统计
data.describe(include='all')  # include参数可以指定计算的类型，all表示不论数据类型所有字段都进行数据统计（一般不加）
data.info()  # 既可以查看每个列的数据类型，还可以查看缺失数据量

data.drop(columns=['Unnamed: 0'],inplace=True)  # 既可以删列数据也可以删行数据

data['列字段']  # 获取指定列字段的数据
eg:
data['目的地']  # 报错

data.columns  # 查看列字段

new_columns = []  # 定义一个空列表
for col in data.columns:  # 循环获取列字段名
    new_columns.append(col.strip())  # 将去除空格后的列字段名加入到空列表中
data.columns = new_columns  # 修改原列字段

data.columns = [col.strip() for col in data.columns]
data.columns = new_columns

data['目的地']  # 可以正常获取

data.duplicated().sum()  # 查看重复数据的数量
data[data.duplicated()]  # 查看重复数据

# 直接删除重复数据
data.drop_duplicates(inplace=True)
# 验证是否成功
data.duplicated().sum()  # 0
data.shape  # (5000, 13)
# 删除重复数据后将引发行标签问题（行标签并不会重新排序）
data.tail()

data.reset_index(inplace=True)  # 重置行标签，重置后会默认保留原来的行标签
data.drop(columns=['index'],inplace=True)  # 删除原来的行标签

data.index = range(0,DF.shape[0])

data.describe()

公式计算：(列数据-列数据均值)/列数据标准差，如果值大于3就是有异常的。
sd = (((data['价格'] - data['价格'].mean()) / data['价格'].std())>3).sum()  # 有可能是负数

sd_abs = abs(((data['价格'] - data['价格'].mean()) / data['价格'].std())>3).sum()
data[sd_abs]

sd2_abs = abs(((data['节省'] - data['节省'].mean()) / data['节省'].std())>3).sum()  # 按照公式计算确实存在异常，但可能是由于促销、引流等因素导致的，针对这类数据可以保留

data[data['节省'] > data['价格']]

pd.concat(data[])  # 合并表
data.drop(index=del_index,inplace=True)  # 操作完后行标签又变了，需要的话还是要调整

# 查看缺失数据的方式
data.isnull().sum()  # 求每个列字段中缺失数据的数量
data.info()  # 也可以验证

res = data[data['出发地'].isnull()]  # 筛选出出发地为缺失值的数据

res['路线名'].values  # 从路线名字段中取值

# 1.字符串切片（适用性太窄，局限性太大，不推荐）
d1[0:2]
# 2.字符串切割（可以）
d1.splIT('-')[0]
# 3.正则表达式
import re
re.findall('(.*?)-',d2)
# 可用列表表达式来完成
data.loc[data.出发地.isnull(),'出发地'] = [i.split('-')[0] for i in data.loc[data.出发地.isnull(),'路线名'].values]
# 验证是否还有缺失数据
data[data['出发地'].isnull()]

# 筛选出目的地为缺失值的数据
res = data[data['目的地'].isnull()]
res
# 从路线名字段中取值
data.loc[data.目的地.isnull(),'路线名'].values
d3 = '深圳-大连3天2晚 | 入住大连黄金山大酒店 + 南方航空/东海往返机票'
# 正则筛选出需要的数据
re.findall('-(.*?)d',d3)
# 三元表达式整合
data.loc[data.目的地.isnull(),'目的地'] = [re.findalll('-(.*?)d',i) for i in data.loc[data.目的地.isnull(),'路线名'].values]
# 验证是否还有缺失数据
data[data['目的地'].isnull()]

round(data['价格'].mean(),1)  #求价格均值，保留一位小数
data['价格'].fillna(round(data['价格'].mean(),1),inplace=True)  # 用价格平均值填充入缺失数据
data[data['价格'].isnull()]  # 验证是否还有缺失数据

round(data['节省'].mean(),1)  #求节省均值，保留一位小数
data['节省'].fillna(round(data['节省'].mean(),1),inplace=True)  # 用节省平均值填充入缺失数据
data[data['节省'].isnull()]  # 验证是否还有缺失数据