first commit

Co-authored-by: Cursor <cursoragent@cursor.com>

IMPACT_ANALYSIS.md

@@ -0,0 +1,31 @@
+# Impact Analysis Report — 目录不解析、不切片
+
+## 1. 改动概览
+
+- **背景与目标**：所有文件跳过文档目录（目录 / Contents / TOC），不进入解析结果与切片。
+- **涉及模块**：`noise_filter.py`、`pipeline.py`、`pdf_semantic.py`、`mineru_adapter.py`、相关测试、`README.md`
+- **改动类型**：功能策略 / 缺陷修复（噪声过滤增强）
+
+## 2. 方法级改动分析
+
+| 位置 | 差异 |
+| --- | --- |
+| `is_toc_title_text` / `is_toc_entry_line` / `is_toc_noise_text` | 统一识别目录标题与带页码/引导线条目 |
+| `filter_toc_blocks` | 删除目录页/目录区；保留无页码的正文内清单（如形態指標） |
+| `filter_noise_blocks` | 串联 TOC 过滤 |
+| `pipeline.chunk_document` | 全格式解析后强制 `filter_toc_blocks` |
+| MinerU `_SKIP_MINERU_TYPES` | 增加 `toc` / `contents` 等类型 |
+
+## 3. 调用方与影响范围
+
+- PDF/Office（MinerU / PyMuPDF）及 md/txt 等所有走 `chunk_document` 的格式
+- **破坏性变更：否**（目录内容不再出现在切片中，属预期）
+
+## 4. 风险与回滚
+
+- **风险级别**：低～中（极少数非目录但带引导线+页码的行可能被误删）
+- **回滚方式是否简单：是**
+
+## 5. 验证与测试
+
+- 新增/更新噪声与语义切分单测；请对含目录的样本重新切分确认