注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

@fc_lamp

关注Web应用解决方案MySql/PHP/Python一盏名为"飞川"的灯~

 
 
 

日志

 
 

python 中文编码问题 文件  

2012-02-02 13:24:00|  分类: Web技术-Python |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

python 中文编码问题

python 中文编码问题

中文编码问题是用中文的程序员经常头大的问题,在python下也是如此,那么应该怎么理解和解决python的编码问题呢?

我们要知道python内部使用的是unicode编码,而外部却要面对千奇百怪的各种编码,比如作为中国程序经常要面对的gbk,gb2312,utf8等,那这些编码是怎么转换成内部的unicode呢?

首先我们先看一下源代码文件中使用字符串的情况。源代码文件作为文本文件就必然是以某种编码形式存储代码的,python默认会认为源代码文件是asci编码,比如说代码中有一个变量赋值:

s1=’a’
print s1

python认为这个’a'就是一个asci编码的字符。在仅仅使用英文字符的情况下一切正常,但是如果用了中文,比如:

s1=’哈’
print s1

这个代码文件被执行时就会出错,就是编码出了问题。python默认将代码文件内容当作asci编码处理,但asci编码中不存在中文,因此抛出异常。

解决问题之道就是要让python知道文件中使用的是什么编码形式,对于中文,可以用的常见编码有utf-8,gbk和gb2312等。只需在代码文件的最前端添加如下:

# -*- coding: utf-8 -*-

这就是告知python我这个文件里的文本是用utf-8编码的,这样,python就会依照utf-8的编码形式解读其中的字符,然后转换成unicode编码内部处理使用。

不过,如果你在Windows控制台下运行此代码的话,虽然程序是执行了,但屏幕上打印出的却不是哈字。这是由于python编码与控制台编码的不一致造成的。Windows下控制台中的编码使用的是gbk,而在代码中使用的utf-8,python按照utf-8编码打印到gbk编码的控制台下自然就会不一致而不能打印出正确的汉字。

解决办法一个是将源代码的编码也改成gbk,也就是代码第一行改成:

# -*- coding: gbk -*-

另一种方法是保持源码文件的utf-8不变,而是在’哈’前面加个u字,也就是:

s1=u’哈’
print s1

这样就可以正确打印出’哈’字了。

这里的这个u表示将后面跟的字符串以unicode格式存储。python会根据代码第一行标称的utf-8编码识别代码中的汉字’哈’,然后转换成unicode对象。如果我们用type查看一下’哈’的数据类型type(‘哈’),会得到<type ‘str’>,而type(u’哈’),则会得到<type ‘unicode’>,也就是在字符前面加u就表明这是一个unicode对象,这个字会以unicode格式存在于内存中,而如果不加u,表明这仅仅是一个使用某种编码的字符串,编码格式取决于python对源码文件编码的识别,这里就是utf-8。

Python在向控制台输出unicode对象的时候会自动根据输出环境的编码进行转换,但如果输出的不是unicode对象而是普通字符串,则会直接按照字符串的编码输出字符串,从而出现上面的现象。


使用unicode对象的话,除了这样使用u标记,还可以使用unicode类以及字符串的encodedecode方法。

unicode类的构造函数接受一个字符串参数和一个编码参数,将字符串封装为一个unicode,比如在这里,由于我们用的是utf-8编码,所以unicode中的编码参数使用’utf-8′将字符封装为

unicode对象,然后正确输出到控制台:

s1=unicode(‘哈’, ‘utf-8′)
print s1

另外,用decode函数也可以将一个普通字符串转换为unicode对象。很多人都搞不明白python字符串的decode和encode函数都是什么意思。这里简要说明一下。

decode是将普通字符串按照参数中的编码格式进行解析,然后生成对应的unicode对象,比如在这里我们代码用的是utf-8,那么把一个字符串转换为unicode就是如下形式:

s2=’哈’.decode(‘utf-8′)

这时,s2就是一个存储了’哈’字的unicode对象,其实就和unicode(‘哈’, ‘utf-8′)以及u’哈’是相同的。

那么encode正好就是相反的功能,是将一个unicode对象转换为参数中编码格式的普通字符,比如下面代码:

s3=unicode(‘哈’, ‘utf-8′).encode(‘utf-8′)

s3现在又变回了utf-8的’哈’。

以上部分转自:http://iysm.net/?p=171


fc_lamp总结 :

实际上就是外界无论传入什么字符,都应在python中以unicode对象形式存在,而将普通字符串转成unicode对象的方法有:

1) u'xxxx': unicode对象 = 直接在字符串前加u关键字

2) unicode()方法 unicode对象  = unicode('xx','字符编码')

3) string.decode():: unicode对象  = 'xxxx'.decode('字符编码')

当输出时:

1)如果程序编码与系统控制台编码一致:则可以直接输出unicode对象

2) 如果程序编码与系统控制台编码不一致或者说需要将unicode对象输出成特定编码的字符串时,就要进行如下转换:

     uobj.encode():string =  unicode对象.encode('字符编码')


我们再来说说List对象中中文的问题:

#coding:utf-8
s = '中国'
ls = ['中国','we']
print s
print ls

我们打印ls出来的结果为:

['\xe4\xb8\xad\xe5\x9b\xbd', 'we']

实际上这里打印‘中国’出来的结果并不是有些同学所说的乱码,正如上面我们所讲的一样:这是非 ascii 字符串在 Python 内部的存储方式,中文字符在list对象、字碘对象等对象中,直接打印对象后的结果都是如此。上面代码中, python按照代码开头规定的编码方式"utf-8"来对ls对象编码后的一串字节序列。

那么,是否我们可以直接写中文来作逻辑判断呐?

#coding:utf-8
s = '中国'
ls = ['中国','we']
ds = {'中国':'we'}
print s
print ls
print ds
for i in ls:
print i
if '中国'==i:
print 'yes,Right'

运行后,

{'\xe4\xb8\xad\xe5\x9b\xbd': 'we'}
中国
yes,Right

可以看到,是能直接判断的,但为什么呐?这是因为,你直接在代码里写‘中国’两字,python都是按规定的utf-8来编码成字节序列。其结果与ls对象中的结果是一样的(我们使用repr()函数来打印存储形式):

#coding:utf-8
ls = ['中国','we']
print ls
print repr('中国')

结果:

['\xe4\xb8\xad\xe5\x9b\xbd', 'we']
'\xe4\xb8\xad\xe5\x9b\xbd'


我们再来说说文件中中文的问题:

现大我们将“中国”存储在一个系统为windows的PC上,并以txt文件保存 word.txt,内容如下:

中国

we

我们再运行代码:

#coding:utf-8
s = '中国'

path = 'D:/word.txt'
fp = open(path,'r')
while 1:
line = fp.readline()
if not line:
break
line =line.rstrip() #去掉\n
if s==line:
print 'yes,Right'

fp.close()

结果却不是我们想的那样打印出'yes,Right', 为什么?

原因也如上所说,实际上你在windows平台上创建文件后,默认是以'gbk'编码存储,python读取文件时也是以此编码方式存为字节序列。其实际形式为:\xd6\xd0\xb9\xfa

#coding:utf-8
s = '中国'
print repr(s)

path = 'D:/word.txt'
fp = open(path,'r')
while 1:
line = fp.readline()
if not line:
break
line =line.rstrip() #去掉\n
print repr(line)
if s==line:
print 'yes,Right'

fp.close()

输出:

'\xe4\xb8\xad\xe5\x9b\xbd'
'\xd6\xd0\xb9\xfa'
'we\xbc\xd3\xd3\xcd'

可以清楚看到,两者实际存储值不一样。如果,要判断是否相等,那么就得在同一编码下进行,所以需要转换编码。那如何转换呐?上面,我们已清讲的很清楚了,都统一使用unicode对象。字符串转成unicode对象的方法,或者说unicode对象转成字符串的方法。

#coding:utf-8
s = '中国'
path = 'D:/word.txt'
fp = open(path,'r')
while 1:
line = fp.readline()
if not line:
break
line =line.rstrip() #去掉\n
#按gbk解码成unicode对象,再编码成utf8字符串
line = line.decode('gbk').encode('utf-8')

if s==line:
print 'yes,Right'

fp.close()

运行后:

yes,Right


参:《Python MySQL 数据库乱码解决方法》


关于unicode对象以"字符串"形式存在问题(也就是说unicode对象不是以对象形式存在,而是字符串):

我们可以用repr() 函数来打印出unicode的正的”内部“格式

#coding:utf-8

s = '看了'

#以utf-8编码解析成unicode

print repr(unicode(s,'utf-8'))

这里输出 u'\u770b\u4e86'

这个是很有用的,比如经常在处理前端返回数据的json格式问题上(如是正常的JSON格式,可以参看:http://fc-lamp.blog.163.com/blog/static/174566687201281061056943/):

#coding:utf-8

s = {"error":"\u5956\u54c1\u6dfb\u52a0\u6210\u529f"}

t = "u'%s'"%(s['error']) #因为格式为:u'\uxxx\uxxx' xxx为十六进制数 

t = eval(t)

#我们可以看这里输出为:<type 'unicode'>

#表明已为正真的一个unicode对象,而非以“字符串”形式存在的unicode

print type(t)

#输出结果(以gbk编码)

print t.encode('gbk')


另外 import sys 

        print sys.stdin.encoding

        可以输出当前的编码格式。

  更多在python 3中的编码问题参看:http://woodpecker.org.cn/diveintopython3/strings.html
fc_lamp推荐阅读:
  评论这张
 
阅读(5141)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017