Python for NLP：如何处理包含多个章节的PDF文件？

在自然语言处理（NLP）项目中，PDF文件是常见的数据源之一。然而，包含多个章节的PDF文件结构复杂，直接提取文本往往面临格式混乱、章节信息丢失等问题。本文将详细介绍如何使用Python高效处理多章节PDF文件，为后续的NLP分析（如文本分类、信息抽取、摘要生成）奠定坚实基础。

一、理解多章节PDF的结构挑战

多章节PDF通常包含目录、页码、标题、正文、图表等元素。直接使用简单文本提取工具会导致：
1. 章节标题与正文混合，失去结构层次。
2. 页眉、页脚、页码等无关信息混入。
3. 跨页表格或图表文本顺序错乱。
因此，处理的关键在于保持文档结构并精准提取章节内容。

二、核心Python库选择

根据需求，可选择以下库：
1. PyPDF2 / PyPDF4： 适合基础文本提取和元数据读取，但对复杂布局解析能力有限。
2. pdfplumber： 能提取更精确的文本及位置信息（如坐标），便于识别章节标题。
3. pdfminer.six： 提供详细的布局分析（LTTextLine, LTTextBox），适合处理结构复杂的PDF。
4. Camelot / Tabula： 若需提取章节中的表格数据，可配合使用。

三、分步处理流程与代码示例

步骤1：提取原始文本并保留位置信息

import pdfplumber

def extract_text_with_positions(pdf_path):
    chapters = []
    with pdfplumber.open(pdf_path) as pdf:
        for page_num, page in enumerate(pdf.pages):
            text = page.extract_text()
            # 获取字符级位置信息（用于标题检测）
            chars = page.chars
            chapters.append({
                'page': page_num + 1,
                'text': text,
                'chars': chars
            })
    return chapters

步骤2：基于规则或模型识别章节标题

可通过以下方式识别：
a) 规则匹配： 利用字体大小、加粗样式（pdfplumber可获取）或正则表达式。
示例：

import re

def detect_chapter_titles(text_list):
    chapter_pattern = r'第[一二三四五六七八九十]+章\s*[\w\s]+'
    titles = []
    for item in text_list:
        matches = re.findall(chapter_pattern, item['text'])
        if matches:
            titles.append({'page': item['page'], 'title': matches[0]})
    return titles

b) 机器学习方法： 使用预训练模型（如BERT）对文本块进行分类，识别标题段落。

步骤3：按章节分割文本内容

def split_by_chapters(text_list, chapter_titles):
    structured_data = {}
    for i, title_info in enumerate(chapter_titles):
        start_page = title_info['page']
        end_page = chapter_titles[i + 1]['page'] if i + 1 < len(chapter_titles) else len(text_list)
        chapter_content = ''
        for item in text_list:
            if start_page <= item['page'] < end_page:
                chapter_content += item['text'] + '\n'
        structured_data[title_info['title']] = chapter_content.strip()
    return structured_data

步骤4：文本清洗与预处理

移除页眉页脚、无关换行符，并统一编码：

import unicodedata

def clean_text(text):
    # 移除多余换行（保留段落分隔）
    text = re.sub(r'(?

def process_multi_chapter_pdf(pdf_path):
    # 1. 提取文本与位置
    raw_data = extract_text_with_positions(pdf_path)
    # 2. 检测章节标题
    titles = detect_chapter_titles(raw_data)
    # 3. 分割章节
    structured = split_by_chapters(raw_data, titles)
    # 4. 清洗文本
    for chap_title, content in structured.items():
        structured[chap_title] = clean_text(content)
    # 5. 输出（示例：保存为JSON）
    import json
    with open('chapters.json', 'w', encoding='utf-8') as f:
        json.dump(structured, f, ensure_ascii=False, indent=2)
    return structured

# 执行处理
result = process_multi_chapter_pdf('sample.pdf')