Python之中文乱码解决方案

在Python2.X及Python3有时经常碰到各种中文乱码的情况，这里整理了相关各种情况汇总。

字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。

decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串str1转换成unicode编码。

encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，表示将unicode编码的字符串str2转换成gb2312编码。

因此，转码的时候一定要先搞明白，字符串str是什么编码，然后decode成unicode，然后再encode成其他编码

代码中字符串的默认编码与代码文件本身的编码一致。
如：s='中文'
如果是在utf8的文件中，该字符串就是utf8编码，如果是在gb2312的文件中，则其编码为gb2312。

（与代码本身的编码是一致的！）

测试：
我的eclipse里面代码为utf-8编码的。然后我这样写代码
s="你好"
s=s.decode('gb2312').encode('utf-8')
print s
报错：
UnicodeDecodeError: 'gb2312' codec can't decode bytes in position 2-3: illegal multibyte sequence
原因：因为我的文件为UTF-8编码的。所以你想用gb2312将其转成unicode是不可能的。
所以正确的写法应当是：
s="你好"
print s
s=s.decode('utf-8').encode('utf-8') 要用UTF-8来做编码
print s
哈哈发现打印出来的是乱码那只能说明一件事情就是我的eclipse控制台是GB2312的编码！

请看：
如何获得系统的默认编码？
#!/usr/bin/env python
#coding=utf-8
import sys
print sys.getdefaultencoding()

该段程序在英文WindowsXP上输出为：ascii  。我发现我的linux上面也是ascii编码。所以我想打印出来看到的乱码是正常的。因为我其实是utf-8编码的。

在某些IDE中，字符串的输出总是出现乱码，甚至错误，其实是由于IDE的结果输出控制台自身不能显示字符串的编码，而不是程序本身的问题。（是的。我的eclipse控制台就是gb2312的编码所以我文件保存为utf-8的时候然后再通过打印是乱码了！）


1、读文件命令肯定是：
myfile = codecs.open("c.html","r","utf-8") 因为我用gb2312来读的话报错

心得：检查一个字符串是什么编码只需要看一下decode 如果用gb2312来decode没报错的话就表示是gb2312
如果用utf-8来decode没有报错的话就表示是utf-8

现在遇到一个问题就是
请看：
myfile = codecs.open("c.html","r","utf-8") 
str = myfile.read()                               
content = str.replace("\n"," ")  
content = content.encode('utf-8')
print content
没有报错
再看：
myfile = codecs.open("c.html","r","utf-8") 
str = myfile.read()                                 # 显示中文
content = str.replace("\n"," ")  
content = content.encode('gb2312')                 # 用gb2312
print content
报错：UnicodeEncodeError: 'gb2312' codec can't encode character u'\u2014' in position 12628

再看：
myfile = codecs.open("d.html","r","utf-8") 
str = myfile.read()                                 #显示中文
content = str.replace("\n"," ")  
content = content.encode('gb2312')                # 用gb2312
print content
没问题
myfile = codecs.open("d.html","r","utf-8") 
str = myfile.read()                                 #显示中文
content = str.replace("\n"," ")  
content = content.encode('utf-8')                
print content
也没问题

结论：我想是c.html页面里面 存在某些 特殊字符 只支持utf-8编码。而不支持gb2312的编码！
而d.html没有这种特殊字符。这也就解释了为什么
有的文件并没有发生我们想像中的问题！

所以我感觉打开文件肯定是用utf-8来读取得到一个unicode编码值！
然后对其做utf-8的编码处理。因为如果你做gb2312处理的话就会报错了！

接着：
我看了一下我的正则表达式发现如果用gb2312做解码处理的话一样会报错。所以断定肯定是utf-8编码了！

regex3 = regex3.decode('utf-8')
print type(regex3)                # 返回为unicode码了！
print regex3                      # 居然打印为正常的中文显示了 奇怪