我的工作:数据清洗
具体工作事项:数据清洗;错误数据处理;图片大小归一化;图片存放位置归并;与数据库同学沟通;不对应(冗余或缺失)图片的删除与处理等。
本博客旨在记录工作内容。
# 保留对应的 import numpy as np intact=np.load("MeishiChina_interaction_data_train_afterdelete_new.npy") print(intact) intactlie = intact[:,0] # print(intactlie) ids = intactlie di = {} for i in ids: if i not in di.keys(): di[i]=1 else: di[i]+=1 values = list(di.values()) keys = list(di.keys()) print(values) print(keys)
保留了对应的索引。
import csv with open('100用户+食谱+url.csv','rb') as csvfile: reader = csv.DictReader(csvfile) column = [row['userID'] for row in reader] print(column) import pandas as pd item = pd.read_csv('100用户+食谱+ur1l.csv') id = pd.read_csv('用户ID与url.csv') for i in id['userID'].values: if i in item['userID'].values: id.userID[i] = 000000 print(id) print(item) id.to_csv('terminal4.csv', encoding='utf8', index='url') import csv f = open('seq_sim_all.csv', 'w', encoding = 'utf-8', newline='') csv_writer = csv.writer(f) csv_writer.writerow(['Database ID', 'Name', 'Organism']) with open('ID.csv','r',encoding='utf8') as fp1: # 使用列表推导式,将读取到的数据装进列表 list1 = [i for i in csv.reader(fp1)] # csv.reader 读取到的数据是list类型 print(list1) with open('name_or.csv','r',encoding='utf8') as fp2: list2 = [i for i in csv.reader(fp2)] print(list2) for i in list1: for j in list2: if i[0] == j[0]:#匹配到ID,就将内容写入到seq_sim_all.csv中 csv_writer.writerow([i[0], j[1], j[2]]) print(i[0], j[0], j[1], j[2])
因为某些原因,换了需求,本来是找200个用户现在找100个,所以改变了代码。
在原有数据中进行删除操作。
得到结果