csv 文件读写乱码问题的一个简单解决方法
Python与算法社区
共 1961字,需浏览 4分钟
· 2020-12-18
三步加星标
你好,我是 zhenguo
今天扼要总结一个处理csv文件乱码问题,可能你有类似经历,用excel打开一个csv文件,中文全部显示乱码。然后,手动用notepad++打开,修改编码为utf-8并保存后,再用excel打开显示正常。
今天使用Python,很少代码就能将上面过程自动化。首先,导入3个模块:
# coding: utf-8
# @author: zhenguo
# @date: 2020-12-16
# @describe: functions about automatic file processing
import pandas as pd
import os
import chardet
chardet 模块用于得到文件的编码格式,pandas 按照这个格式读取,然后保存为xlsx格式。
获取filename文件的编码格式:
def get_encoding(filename):
"""
返回文件编码格式
"""
with open(filename,'rb') as f:
return chardet.detect(f.read())['encoding']
保存为utf-8编码xlsx格式文件,支持csv, xls, xlsx 格式的文件乱码处理。需要注意,如果读入文件为csv格式,保存时要使用xlsx格式:
def to_utf8(filename):
"""
保存为 to_utf-8
"""
encoding = get_encoding(filename)
ext = os.path.splitext(filename)
if ext[1] =='.csv':
if 'gb' in encoding or 'GB' in encoding:
df = pd.read_csv(filename,engine='python',encoding='GBK')
else:
df = pd.read_csv(filename,engine='python',encoding='utf-8')
df.to_excel(ext[0]+'.xlsx')
elif ext[1]=='.xls' or ext[1] == '.xlsx':
if 'gb' in encoding or 'GB' in encoding:
df = pd.read_excel(filename,encoding='GBK')
else:
df = pd.read_excel(filename,encoding='utf-8')
df.to_excel(filename)
else:
print('only support csv, xls, xlsx format')
上面函数实现单个文件转化,下面batch_to_utf8 实现目录 path 下所有后缀为ext_name文件的批量乱码转化:
def batch_to_utf8(path,ext_name='csv'):
"""
path下,后缀为 ext_name的乱码文件,批量转化为可读文件
"""
for file in os.listdir(path):
if os.path.splitext(file)[1]=='.'+ext_name:
to_utf8(os.path.join(path,file))
调用:
if __name__ == '__main__':
batch_to_utf8('.') # 对当前目录下的所有csv文件保存为xlsx格式,utf-8编码的文件
文件读写时乱码问题,经常会遇到,相信今天这篇文章里的to_utf8,batch_to_utf8函数会解决这个问题,你如果后面遇到,不妨直接引用这两个函数尝试下。
如果这个乱码解决方案有遗漏,欢迎你留言补充。最近几个月整理出来的精华资料已打包为2.0,若你有需要,微信我备注:加油包
评论
金融研究 | 使用Python测量关键审计事项的「信息含量」
Tips: 公众号推送后内容只能更改一次,且只能改20字符。如果内容出问题,或者想更新内容, 只能重复推送。为了更好的阅读体验,建议阅读本文博客版, 链接地址https://textdata.cn/blog/2023-01-13-information-content-of-critical-aud
大邓和他的Python
0
我看阿里的年终奖总算发了!
到4月底了,这两天看朋友圈,发现阿里的年终奖终于发了,问了问老同学,也从网上检索了不少信息,基本搞清楚了阿里今年的年终奖情况。近来来阿里一些集团对绩效等级做了较大的调整,以前的旧绩效系统中,绩效分为3.25、3.5、3.75、4和5五个等级,其中4和5是较高绩效等级,较少见。而且之前3.5绩效内部划
公子龙
0
CVPR 2024|大视觉模型的开山之作!无需任何语言数据即可打造大视觉模型
↑ 点击蓝字 关注极市平台作者丨科技猛兽编辑丨极市平台极市导读 本文提出一种序列建模 (sequential modeling) 的方法,不使用任何语言数据,训练大视觉模型。>>加入极市CV技术交流群,走在计算机视觉的最前沿本文目录1 序列建模打造大视觉模型(来自 U
极市平台
1
金融研究(更新) | 使用Python构建关键审计事项的「信息含量」
Tips: 公众号推送后内容只能更改一次,且只能改20字符。如果内容出问题,或者想更新内容, 只能重复推送。为了更好的阅读体验,建议阅读本文博客版, 链接地址https://textdata.cn/blog/2023-01-13-information-content-of-critical-aud
大邓和他的Python
0
盘点Lombok的几个骚操作,你绝对没用过!
👉 欢迎加入小哈的星球 ,你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目 2.0 版本完结啦, 演示链接:http://116.62.199.48/ ,新项目正在酝酿中
小哈学Java
0
堪称最优秀的Docker可视化管理工具——Portainer你真的会用吗?
来源:blog.csdn.net/shark_chili3007/article/details/123366179👉 欢迎加入小哈的星球 ,你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目
小哈学Java
0
Apache Paimon毕业,湖仓架构的未来发展趋势!
北京时间 2024 年 4 月 16日,开源软件基金会 Apache Software Foundation(以下简称 ASF)正式宣布 Apache Paimon 毕业成为 Apache 顶级项目(TLP, Top Level Project)。经过社区的共同努力和持续创新,Apache Paim
程序源代码
0
JS的这些新特性,你都用过么?
大厂技术 高级前端 Node进阶点击上方 程序员成长指北,关注公众号回复1,加入高级Node交流群作为一门不断演进的语言,JavaScript每年都会引入新特性。这些特性的加入,能够帮助我们编写更加简洁、高效、易于维护的代码。然而,并非所有新特性
程序员成长指北
1