104 lines
9.5 KiB
Plaintext
104 lines
9.5 KiB
Plaintext
|
Ë
|
|||
|
|
ÚŸØi@ ã óŒ — d Z ddlZddlmZ ddlmZmZmZm Z ddl
|
|||
|
|
Z
|
|||
|
|
ddl m Z ddl
|
|||
|
|
mZ e
|
|||
|
|
j e« Z G d„ d« Zy) u.
|
|||
|
|
Schema��索引构建器 - 基于ChromaDB
|
|||
|
|
é N)ÚSettings)ÚAnyÚListÚDictÚOptional)ÚPath)Ú
|
|||
|
|
SchemaManagerc
|
|||
|
|
óÄ — e Zd ZdZ ddededefd„Z ddedede d e fd
|
|||
|
|
„Z
|
|||
|
|
dd ed ed
|
|||
|
|
e d e e
|
|||
|
|
fd„Zde e d e e
|
|||
|
|
fd„Zd e e fd„Zdefd„Zd„ Zd efd„Zd e
|
|||
|
|
fd„Zy)Ú
|
|||
|
|
SchemaIndexeru”
|
|||
|
|
Schema��索引器
|
|||
|
|
|
|||
|
|
功能：
|
|||
|
|
1. 为表结构构建��索引
|
|||
|
|
2. 基于问题的表检索
|
|||
|
|
3. æŒ�久化å˜å‚¨å’ŒåŠ è½½
|
|||
|
|
ÚembedderÚ persist_dirÚcollection_namec óV — || _ t |« | _ | j j dd¬« t j
|
|||
|
|
t
|
|||
|
|
| j « t d¬« ¬« | _ | j j |ddi¬« | _
|
|||
|
|
t j d |› �« y
|
|||
|
|
) uÁ
|
|||
|
|
�始化索引器
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
embedder: Embedding模型实例
|
|||
|
|
persist_dir: ��数�库�久化目录
|
|||
|
|
collection_name: 集��称
|
|||
|
|
T)ÚparentsÚexist_okF)Úanonymized_telemetry)ÚpathÚsettingsz
|
|||
|
|
hnsw:spaceÚcosine)ÚnameÚmetadatau( [OK] åˆ�始化SchemaIndexer: collection=N)
|
|||
|
|
r r r
|
|||
|
|
ÚmkdirÚchromadbÚPersistentClientÚstrÚChromaSettingsÚclientÚget_or_create_collectionÚ
|
|||
|
|
collectionÚloggerÚinfo)Úselfr r
|
|||
|
|
r s úKC:\Users\24019\Desktop\backman-camel\text2sql_agent_camel\schema\indexer.pyÚ__init__zSchemaIndexer.__init__ sš € ð !ˆŒ
|
|||
|
|
Ü Ó,ˆÔØ ×Ñ× Ñ t°dÐ Ô;ô ×/Ñ/Ü�T×%Ñ%Ó&Ü#¸Ô?ô
|
|||
|
|
ˆŒ ð Ÿ+™+×>Ñ>Ø Ø" HÐ-ð ?ó
|
|||
|
|
ˆŒô
|
|||
|
|
� ‰ Ð>¸Ð>OÐPÕQó Úschema_managerÚ
|
|||
|
|
batch_sizeÚ
|
|||
|
|
force_rebuildÚreturnc
|
|||
|
|
ó† — | j j « dkD r&t | j j « d « n t « }|s%|r#t j dt
|
|||
|
|
|« › d�« y|r>|r<t j dt
|
|||
|
|
|« › d�« | j j « g }g }g }|j « D ]f }|j |d « |j |d « |j |d t
|
|||
|
|
|j |d « j « d
|
|||
|
|
œ« Œh t j d t
|
|||
|
|
|« › d �« | j j ||¬
|
|||
|
|
« } | j j | j « |||¬« t j dt
|
|||
|
|
|« › d�« y)u3
|
|||
|
|
为Schema构建��索引
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
schema_manager: SchemaManager实例
|
|||
|
|
batch_size: 批处�大�
|
|||
|
|
force_rebuild: 是�强制�建（默认为False，增�更新）
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
True=æˆ�功，False=å·²å˜åœ¨ä¸”未强制é‡�建
|
|||
|
|
r Úidsu 索引已å˜åœ¨ï¼ˆu æ�¡è®°å½•ï¼‰ï¼Œè·³è¿‡æž„建Fu 强制é‡�å»ºç´¢å¼•ï¼Œåˆ é™¤u æ�¡æ—§è®°å½•Útextr )Ú
|
|||
|
|
table_nameÚ column_countu 计算u å¼ è¡¨çš„embedding...)r' )Ú
|
|||
|
|
embeddingsÚ documentsÚ metadatasr+ u [OK] 索引构建完æˆ�，共u å¼ è¡¨T)r ÚcountÚsetÚgetr r! ÚlenÚdeleteÚget_table_for_embeddingÚappendÚ get_tableÚcolumnsr ÚencodeÚaddÚtolist)
|
|||
|
|
r" r& r' r( Ú existing_idsÚ table_textsÚ table_idsÚtable_metadatasÚ
|
|||
|
|
table_infor/ s
|
|||
|
|
r# Ú build_indexzSchemaIndexer.build_index: s› € ð" =A¿O¹O×<QÑ<QÓ<SÐVWÒ<W”s˜4Ÿ?™?×.Ñ.Ó0°Ñ7Ô8Ô]`Ó]bˆ á ¡ Ü �K‰KÐ,¬S° Ó->Ð,?Ð?ZÐ[Ô \Øá ™\Ü �K‰KÐ5´c¸,Ó6GÐ5HÈ ÐUÔ VØ �O‰O× "Ñ "Ô $ð ˆ Øˆ Ø ˆà(×@Ñ@ÖBˆJØ × Ñ ˜z¨&Ñ 1Ô 2Ø × Ñ ˜Z¨Ñ /Ô 0Ø × "Ñ "Ø (¨Ñ 0Ü # N×$<Ñ$<¸ZÈÑ=OÓ$P×$XÑ$XÓ Yñ$õ
|
|||
|
|
ð Cô � ‰ �fœS Ó -Ð .Ð.CÐDÔEØ—]‘]×)Ñ)¨+À*Ð)ÓMˆ
|
|||
|
|
ð
|
|||
|
|
�‰×ÑØ!×(Ñ(Ó*Ø!Ø%Øð ô
|
|||
|
|
ô � ‰ Ð3´C¸ ³NÐ3CÀ6ÐJÔKØr% ÚqueryÚtop_kÚscore_thresholdc ó8 — | j j |g« }| j j |j « t || j j
|
|||
|
|
« « ¬« }g }|d r~t |d d « dkD rjt t |d d |d d |d d |d d « « D ]8 \ }\ }} }
|
|||
|
|
} d| z
|
|||
|
|
} | |k\ sŒ|j |t | « | |
|
|||
|
|
|dz dœ« Œ: t j d |d
|
|||
|
|
d › d t |« › d
|
|||
|
|
|› d�« |S )u,
|
|||
|
|
检索相关表
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
query: 查询文本（用户问题）
|
|||
|
|
top_k: 返回�K个结果
|
|||
|
|
score_threshold: 相似度阈值（0-1），低于æ¤å€¼çš„结果会被过滤
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
检索结果列表，按相似度��排列
|
|||
|
|
[
|
|||
|
|
{
|
|||
|
|
"table_name": "表�",
|
|||
|
|
"score": 0.95,
|
|||
|
|
"document": "表�述文本",
|
|||
|
|
"metadata": {...}
|
|||
|
|
},
|
|||
|
|
...
|
|||
|
|
]
|
|||
|
|
)Úquery_embeddingsÚ n_resultsr+ r Ú distancesr1 r0 é )r- ÚscoreÚdocumentr Úranku 检索 'Né2 u ...' -> 找到u 个相关表（阈值=u ）)r r; r rD r= Úminr2 r5 Ú enumerateÚzipr8 Úfloatr Údebug)
|
|||
|
|
r" rD rE rF Úquery_embeddingÚresultsÚ formattedÚidxÚtable_idÚdistancer rM rL s
|
|||
|
|
r# ÚsearchzSchemaIndexer.searchq sJ € ð6 Ÿ-™-×.Ñ.°¨wÓ7ˆð —/‘/×'Ñ'Ø ,× 3Ñ 3Ó 5ܘ% § ¡ ×!6Ñ!6Ó!8Ó9ð (ó
|
|||
|
|
ˆð ˆ Ø �5Š>œc '¨%¡.°Ñ"3Ó 4°qÒ 8ÜAJÌ3ؘ‘˜qÑ!ؘ Ñ$ QÑ'ؘ Ñ$ QÑ'ؘ Ñ$ QÑ'ó Lö BÑ=�Ñ=�h ¨(°Hð ˜H™ �ؘOÓ+Ø ×$Ñ$Ø&.Ü!& u£ Ø$,Ø$,Ø # a¡ñ &õ ðBô � ‰ �x c r
|
|||
|
|
˜|¨>¼#¸i».Ð9IÐI_Ð`oÐ_pÐpsÐtÔuØÐr% Ú table_namesc ó
|
|||
|
|
— g }|D ]J } | j j |gddg¬« }|d r"|j |d|d d |d d dœ« ŒL |S # t $ r%}t j d|› d |› �« Y d
|
|||
|
|
}~Œxd
|