41 lines
1.8 KiB
Plaintext
41 lines
1.8 KiB
Plaintext
Pages: 3
|
||
Path: C:\Users\24019\Desktop\RAG-cut\docx\自研搭建AI助手知识库.pdf
|
||
|
||
============================================================
|
||
PAGE 1 | images=1 text_blocks=17
|
||
============================================================
|
||
自研搭建AI助手知识库
|
||
背景
|
||
AFE有自建自有知识库功能，但知识库的切片效果不佳，存在两个问题：
|
||
1、文档处理能力不足：包括word/pdf/excel文档中的图片、表格无法有效提取处理；
|
||
2、切片规则不佳：如下图一段文本被强硬拆分在两个不同的片段；
|
||
任务
|
||
搭建一个AI助手知识库demo，能支持上传文件，查看切片效果；可以测试召回效果，查看召回入参和
|
||
回参；
|
||
目标
|
||
目标：首要做好切片，其次是召回。
|
||
支持文档类型：
|
||
pdf、doc、docx、ppt、pptx、wps、ppsx
|
||
xlsx、xls、csv、md、txt、html、json、xml、log
|
||
jpg、png、jpeg、bmp、gif
|
||
切片规则：
|
||
表格文档：默认切分/按行切分
|
||
其他文档：默认切分/通用标识符切分
|
||
|
||
============================================================
|
||
PAGE 2 | images=2 text_blocks=6
|
||
============================================================
|
||
切片内表格：Markdown格式
|
||
期望
|
||
期望效果（基础）：
|
||
1. 图片展示在原文本展示的问题，不会丢失或者移动到其他位置
|
||
2. 表格内容正确提取，并整理为markdown文本
|
||
3. 切片规则合理，对于word至少同一个标题下的内容在一个切片中
|
||
|
||
============================================================
|
||
PAGE 3 | images=4 text_blocks=3
|
||
============================================================
|
||
期望效果（高级）：
|
||
1. 对图片图形能够提取为图片，且识别文本信息转为文字
|
||
2. 对pdf水平分布的栏目文本能够识别为正常顺序
|