Python读取数据小技巧分享

各位看客，早中晚好。

今日随笔，介绍python读取数据的一些小技巧。

重要的事说三遍：

做数据分析/挖掘/处理，一定要熟练使用pandas！简单方便快捷！

做数据分析/挖掘/处理，一定要熟练使用pandas！简单方便快捷！

做数据分析/挖掘/处理，一定要熟练使用pandas！简单方便快捷！

pandas读取csv、txt、excel文件、数据库数据：

import pandas as pd# ======== 读取csvdf = pd.read_csv("data.csv")# ======== 读取txtdf = pd.read_csv("data.txt",sep = "\t")# ======== 读取exceldf = pd.read_excel("data.xlsx")# ======== 读取数据库import sqlalchemy as create_engine# 建立连接con = create_engine('mysql+pymysql://user_name:password@127.0.0.1:3306/database_name')# 通过查询读取df = pd.read_sql_query('select * from table', con)

‍

读取txt文本数据：

# 打开文件with open(r"data.txt", "r",encoding='utf8') as f:    # 一次性全部 读取    # data = f.read()    # print(data)    # 读取成一个list    # data = f.readlines()    # 一行一行读取    line = f.readline()                   while line:        line = f.readline()        print(line)

‍

读取较大的csv文件，最快的方式如下：

import dask.dataframe as ddimport pandas as pd# 读取csvdf = dd.read_csv("D:/df.csv")# 转为DataFrame 操作df = df.compute()

做数据的持久化，我选择采用python 的pickle包，读写速度较快：

import pickle# 读取pkl文件def read_pkl(data_path):    with open(data_path, 'rb') as f:        return pickle.load(f)
# 写数据到pkl文件def save_file(data,data_path):    with open(data_path, 'wb') as f:        pickle.dump(data, f)

到这。

共勉，感谢查看。

更多干货敬请期待！

扫描二维码关注我吧！

热门文章：

• 量化交易是什么?

• 量化交易准备工作 (附详细介绍MACD)

• 量化选股-多因子量化选股

• 量化选股-三因子模型选股思路

• 三因子模型能很好的拟合A股股市吗
  

  
  

python实战：

• Python实战-三因子选股策略