32 lines
1.3 KiB
Markdown
32 lines
1.3 KiB
Markdown
 
|
# Impact Analysis Report — 目录不解析、不切片
|
|||
|
|
|
|||
|
|
## 1. 改动概览
|
|||
|
|
|
|||
|
|
- **背景与目标**：所有文件跳过文档目录（目录 / Contents / TOC），不进入解析结果与切片。
|
|||
|
|
- **涉及模块**：`noise_filter.py`、`pipeline.py`、`pdf_semantic.py`、`mineru_adapter.py`、相关测试、`README.md`
|
|||
|
|
- **改动类型**：功能策略 / 缺陷修复（噪声过滤增强）
|
|||
|
|
|
|||
|
|
## 2. 方法级改动分析
|
|||
|
|
|
|||
|
|
| 位置 | 差异 |
|
|||
|
|
| --- | --- |
|
|||
|
|
| `is_toc_title_text` / `is_toc_entry_line` / `is_toc_noise_text` | 统一识别目录标题与带页码/引导线条目 |
|
|||
|
|
| `filter_toc_blocks` | 删除目录页/目录区；保留无页码的正文内清单（如形態指標） |
|
|||
|
|
| `filter_noise_blocks` | 串联 TOC 过滤 |
|
|||
|
|
| `pipeline.chunk_document` | 全格式解析后强制 `filter_toc_blocks` |
|
|||
|
|
| MinerU `_SKIP_MINERU_TYPES` | 增加 `toc` / `contents` 等类型 |
|
|||
|
|
|
|||
|
|
## 3. 调用方与影响范围
|
|||
|
|
|
|||
|
|
- PDF/Office（MinerU / PyMuPDF）及 md/txt 等所有走 `chunk_document` 的格式
|
|||
|
|
- **破坏性变更：否**（目录内容不再出现在切片中，属预期）
|
|||
|
|
|
|||
|
|
## 4. 风险与回滚
|
|||
|
|
|
|||
|
|
- **风险级别**：低～中（极少数非目录但带引导线+页码的行可能被误删）
|
|||
|
|
- **回滚方式是否简单：是**
|
|||
|
|
|
|||
|
|
## 5. 验证与测试
|
|||
|
|
|
|||
|
|
- 新增/更新噪声与语义切分单测；请对含目录的样本重新切分确认
|