【工程实践】python 去除\xa0、\u3000、\n、\u2800、\t等字符-Toy模板网

这篇具有很好参考价值的文章主要介绍了【工程实践】python 去除\xa0、\u3000、\n、\u2800、\t等字符。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1.问题描述

在处理数据时，会遇到\xa0、\u3000、\u2800、\t等Unicode字符串。需要对其进行处理。

2.空格类型说明

空格可以分为两类，一类为普通文本空格，另一类为html实体空格。普通文本空格介绍普通半角空格和普通全角空格。html实体空格介绍三种，分别为html实体不间断空格（ ）、html实体半角空格(&ensp;)和html实体全角空格(&emsp;)。

1.普通半角空格：英文空格键。这是最常见的空格，如我们写代码时，按下空格键产生的就是这种空格键。正则里直接使用空格或者\s就能匹配，在python中对应的unicode码为\u0020；

2.普通全角空格：中文空格键。中文网页上常会出现，直接使用正则的\s匹配不到，unicode码为\u3000；

3.html实体不间断空格：html中的常用空格，出现在html中为&nbsp。网页上看不到，打开浏览器开发工具可以看到，unicode码为\u00A0，对应的十六进制为\xa0；

4.html实体半角空格：&ensp，unicode码为\u2002;

5.html实体全角空格：&emsp，unicode码为\u2003;

3.解决方法

3-1.使用re.sub

re.sub方法对普通文本空格和html实体空格两类全部有效，均可完成替换。

import re
#普通半角空格
String = "百度 百科"
#用unicode匹配
new_string = re.sub(r'\u0020',"*", String)
print(new_string)
#用\s匹配
new_string = re.sub(r'\s',"*", String)
print(new_string)
#用空格匹配
new_string = re.sub(r' ',"*", String)
print(new_string)

#普通全角空格
String = "百度\u3000百科"
#使用unicode匹配
new_string = re.sub(r'\u3000',"*", String)
print('使用unicode匹配结果：',new_string)
new_string = re.sub(r'\s',"*", String)
print('使用\s匹配结果：',new_string)
#用空格匹配
new_string = re.sub(r' ',"*", String)
print('使用空格匹配结果：',new_string)

#html实体不间断空格
String = "百度\xa0百科"
new_string = re.sub(r'\xa0',"*", String)
print(new_string)
String = "百度\u00A0百科"
new_string = re.sub(r'\u00A0',"*", String)
print(new_string)

#html实体半角空格
String = "百度\u2002百科"
#使用unicode匹配
new_string = re.sub(r'\u2002',"*", String)
print('使用unicode匹配结果：',new_string)
#html实体全角空格
String = "百度\u2003百科"
#使用unicode匹配
new_string = re.sub(r'\u2003',"*", String)
print('使用unicode匹配结果：',new_string)

$\u3000,人工智能,python,爬虫,开发语言$ $\u3000,人工智能,python,爬虫,开发语言$

3-2.使用repalce

replace方法可以对‘普通半角空格’、‘普通全角空格’ 的unicode的字符完成替换。对html实体空格无效。

#普通半角空格
String = "百度 百科"
#用unicode匹配
new_string = String.replace('\u0020','*')
print('String',String)
print('用unicode匹配的new_string：',new_string)
#用\s匹配
new_string = String.replace(r'\s',"*")
print('用\s匹配的new_string：',new_string)
#用空格匹配
new_string = String.replace(r' ',"*")
print('用空格匹配的new_string：',new_string)

#普通半角空格
String = "百度\u3000百科"
#用unicode匹配
new_string = String.replace('\u3000','*')
print('用unicode匹配的new_string：',new_string)
#用\s匹配
new_string = String.replace(r'\s',"*")
print('用\s匹配的new_string：',new_string)
#用空格匹配
new_string = String.replace(r' ',"*")
print('用空格匹配的new_string：',new_string)

#html实体不间断空格
String = "百度\xa0百科"
new_string = String.replace(r'\xa0',"*")
print('new_string',new_string)

String = "百度\u00A0百科"
new_string = String.replace(r'\u00A0',"*")
print('new_string',new_string)

#html实体半角空格
String = "百度\u2002百科"
#使用unicode匹配
new_string = String.replace(r'\u2002',"*")
print('使用unicode匹配结果：',new_string)

#html实体全角空格
String = "百度\u2003百科"
#使用unicode匹配
new_string = String.replace(r'\u2003',"*")
print(String)
print('使用unicode匹配结果：',new_string)

$\u3000,人工智能,python,爬虫,开发语言$ $\u3000,人工智能,python,爬虫,开发语言$