Python办公自动化，批量处理文件，一学就会
共 2341字，需浏览 5分钟
·
2020-08-08 23:09
点击关注上方“SQL数据库开发”，
设为“置顶或星标”，第一时间送达干货
大家好，又到了Python办公自动化专题
要说在工作中最让人头疼的就是用同样的方式处理一堆文件夹中文件，这并不难，但就是繁。所以在遇到机械式的操作时一定要记得使用Python来合理偷懒！今天我将以处理微博热搜数据来示例如何使用Python批量处理文件夹中的文件，主要将涉及：
Python批量读取不同文件夹(⭐⭐⭐)
Pandas数据处理(⭐⭐)
Python操作Markdown文件(⭐)
需求分析
首先来说明一下需要完成的任务，下面是我们的文件夹结构
Python实现
在操作之前我们来思考一下如何使用Python实现，其实和手动的过程类似：先读取全部文件，再对每一天的数据处理、保存。所以第一步就是将我们需要的全部文件路径提取出来，首先导入相关库
import pandas as pd
import os
import glob
from pathlib import Path读取全部文件名的方法有很多比如使用OS模块
os.path使用Pathlib来操作，三行代码就能搞定，看注释from pathlib import Path
p = Path("/Users/liuhuanshuo/Desktop/热搜数据/") #初始化构造Path对象
FileList=list(p.glob("**/*.md")) #得到所有的markdown文件来看下结果
成功读取了热搜数据下多层文件夹中的全部md文件！但是新的问题来了，每天有两条热搜汇总，一个11点一个23点，考虑到会有重合数据所以我们在处理之前先进行去重，而这就简单了，不管使用正则表达式还是按照奇偶位置提取都行，这里我是用lambda表达式一行代码搞定
filelist = list(filter(lambda x: str(x).find("23点") >= 0, FileList))现在我们每天就只剩下23点的热搜数据，虽然是markdown文件，但是Python依旧能够轻松处理，我们打开其中一个来看看
with open(file) as f:
lines = f.readlines()
lines = [i.strip() for i in lines] #去除空字符
data = list(filter(None, lines))
del data[0]
data = data[0:100]
date = re.findall('年(.+)2',str(file))[0]
content = data[::2] #奇偶分割
rank = data[1::2]
#提取内容与排名
for i in range(len(content)):
content[i] = re.findall('、(.+)',content[i])[0]
for i in range(len(rank)):
rank[i] = re.findall(' (.+)',rank[i])[0]最后只需要写一个循环遍历每一天的文件并进行清洗，再创建一个DataFrame用于存储每天的数据即可
可以看到，并没有使用太复杂的代码就成功实现了我们的需求！
结束语
以上就是使用Python再一次解放双手并成功偷懒的案例，可能读取Markdown文件在你的日常工作中并用不到，但是通过本案例希望你能学会如何批量处理文件夹，批量读取清洗数据。更重要的是在你的工作学习中，遇到需要重复操作的任务时，是否能够想起使用Python来自动化解决！拜拜，我们下个案例见～
注1: 本文使用的数据与源码可在后台回复0806获取
注2: 以上代码需在Python3环境下运行
——End——
后台回复关键字：1024，获取一份精心整理的技术干货 后台回复关键字：进群，带你进入高手如云的交流群。 推荐阅读
这是一个能学到技术的公众号，欢迎关注