Python爬虫乱码问题终极解决方案

一、爬虫乱码的常见原因

Python爬虫出现乱码通常由以下原因导致：

1. 网页编码声明与实际编码不符
2. 服务器返回的Content-Type头信息缺失或错误
3. 未正确处理响应内容的解码过程
4. 目标网页使用动态编码(如GB18030)

二、解决方案大全

1. 使用chardet自动检测编码

import chardet
import requests

resp = requests.get('http://example.com')
encoding = chardet.detect(resp.content)['encoding']
text = resp.content.decode(encoding)

2. 强制指定常见编码

对于中文网页常见编码：

# UTF-8解码
text = resp.content.decode('utf-8')

# GBK/GB2312解码
text = resp.content.decode('gbk')

# 带错误处理的解码
text = resp.content.decode('gb18030', errors='ignore')

3. BeautifulSoup的编码处理

from bs4 import BeautifulSoup

soup = BeautifulSoup(resp.content, 'html.parser', 
                   from_encoding='gb18030')
print(soup.prettify())

4. 处理HTTP头信息

# 查看服务器返回的编码
print(resp.encoding)

# 手动设置响应编码
resp.encoding = 'gbk'

三、最佳实践建议

• 优先使用requests库而非urllib
• 响应内容用resp.content而非resp.text
• 对中文网页尝试gbk→utf-8→gb18030解码顺序
• 添加try-except处理解码异常
• 保存原始字节数据以便重新解码

四、疑难问题处理

对于特殊编码情况：

1. 混合编码页面：分段处理不同部分
2. 动态编码页面：结合meta标签和chardet检测
3. JavaScript渲染内容：使用Selenium获取