Python读取数据小技巧分享
各位看客，早中晚好。
今日随笔，介绍python读取数据的一些小技巧。
重要的事说三遍：
做数据分析/挖掘/处理，一定要熟练使用pandas！简单方便快捷！
做数据分析/挖掘/处理，一定要熟练使用pandas！简单方便快捷！
做数据分析/挖掘/处理，一定要熟练使用pandas！简单方便快捷！
pandas读取csv、txt、excel文件、数据库数据：
import pandas as pd# ======== 读取csvdf = pd.read_csv("data.csv")# ======== 读取txtdf = pd.read_csv("data.txt",sep = "\t")# ======== 读取exceldf = pd.read_excel("data.xlsx")# ======== 读取数据库import sqlalchemy as create_engine# 建立连接con = create_engine('mysql+pymysql://user_name:password@127.0.0.1:3306/database_name')# 通过查询读取df = pd.read_sql_query('select * from table', con)
读取txt文本数据：
# 打开文件with open(r"data.txt", "r",encoding='utf8') as f:# 一次性全部 读取# data = f.read()# print(data)# 读取成一个list# data = f.readlines()# 一行一行读取line = f.readline()while line:line = f.readline()print(line)
读取较大的csv文件，最快的方式如下：
import dask.dataframe as ddimport pandas as pd# 读取csvdf = dd.read_csv("D:/df.csv")# 转为DataFrame 操作df = df.compute()
做数据的持久化，我选择采用python 的pickle包，读写速度较快：
import pickle# 读取pkl文件def read_pkl(data_path):with open(data_path, 'rb') as f:return pickle.load(f)# 写数据到pkl文件def save_file(data,data_path):with open(data_path, 'wb') as f:pickle.dump(data, f)
到这。
共勉，感谢查看。
更多干货敬请期待！
扫描二维码关注我吧！
热门文章：
python实战：
评论