ai-g3sb-backman2.0/backend/schema/__pycache__/indexer.cpython-312.pyc

Ë
ÈGài(-ãó”—dZd
dl
Z
d
dlZd
dlmZ
d
dlmZmZmZm	Z	
d
dl
Z
d
dlmZ

d
dlmZ
e
j e«
ZGd„d«Zy)	u.
Schema��索引构建器 - 基于ChromaDB
éN)
ÚPath)ÚAnyÚDictÚListÚOptional)
ÚSettings)
Ú
SchemaManagercóì—eZ
dZd
Z		dddœ
dedededeefd„Z	dd	e	d
e
ddfd„Z		dd	e	d
e
d
edefd„Z		ddede
de
deefd„Zdeedeefd„Zdeefd„Zdefd„Zd„Zde
fd„Zdefd„Zy)Ú
SchemaIndexeruh

    Schema��索引器

    功能：
    1. 为表结构构建��索引
    2. 基于问题的表检索
    3. 默认使用 Chroma ``PersistentClient``，数��在 ``persist_dir``（与 ``VECTOR_DB_PATH`` 一致）；
       仅当环境�� ``SCHEMA_INDEXER_EPHEMERAL=true`` 或构造�数 ``use_ephemeral=True`` 时使用内存客户端。
    N)
Ú
use_ephemeralÚembedderÚpersist_dirÚcollection_namerc
	ón—|
|_t|«
|_|jjd
d
¬«
||_tjdd«j«dv}tjt|j«
td¬«
¬«|_|�t|«
n
||_|jr(tjtd¬«
¬
«
|_d}ne|jjd
d
¬«
tjt|j«
td¬«
¬«|_d|j›�}|jj!|jd
di
¬«|_t$j'd|›d|j›d|j"j)«›�«

y	)u@

        �始化索引器

        Args:
            embedder: Embedding模型实例
            persist_dir: Chroma �久化根目录（�盘路径）
            collection_name: 集��称
            use_ephemeral: 为 True 时使用内存 Chroma；为 None 时读环境�� SCHEMA_INDEXER_EPHEMERAL
        T)ÚparentsÚexist_okÚSCHEMA_INDEXER_EPHEMERALÚ)Ú
1ÚtrueÚyesF)
Úanonymized_telemetry)ÚpathÚsettingsN)
ruChroma内存uChromaç£�盘 path=ú
hnsw:spaceÚcosine©ÚnameÚmetadatau[OK] åˆ�始化SchemaIndexer(z): collection=z, count=)r
rrÚmkdirrÚosÚgetenvÚlowerÚchromadbÚPersistentClientÚstrÚChromaSettingsÚclientÚboolÚ_chroma_ephemeralÚEphemeralClientÚget_or_create_collectionÚ
collectionÚloggerÚinfoÚcount)Úselfr
rrrÚ
env_ephemeralÚbackend_descs       úbackend/schema/indexer.pyÚ__init__zSchemaIndexer.__init__sŽ
€ð"!ˆŒ
Ü Ó,ˆÔØ×Ñ×Ñ t°dÐÔ;Ø.ˆÔäŸ	™	Ð"<¸bÓA×GÑGÓIðN

ð
ˆ
ô×/Ñ/Ü�T×%Ñ%Ó&Ü#¸Ô?ô
ˆŒð9F
Ð8Q¤ mÔ!4ÐWdˆÔà×!Ò!Ü"×2Ñ2Ü'¸UÔCôˆDŒKð*‰Là×Ñ×"Ñ"¨4¸$Ð"Ô?Ü"×3Ñ3ܘ×)Ñ)Ó*Ü'¸UÔCôˆDŒKð0°×0@Ñ0@Ð/AÐBˆLðŸ+™+×>Ñ>Ø×%Ñ%Ø" HÐ-ð?ó
ˆŒô
	�‰Ø*¨<¨.¸Àt×G[ÑG[ÐF\ð
]
Ø—_‘_×*Ñ*Ó,Ð-ð

/õ	
óÚschema_managerÚ
batch_sizeÚreturncó¤
—t
|
j««
}|j«}|d
k(r+|d
kDr%tj	d«

|j«
y||k(rtj
d|«
y|d
k(r+tj
d|«
|j|
|d¬«
ytj
d||«
|j|
|d	¬«
y)
uö
        �次使用��粗筛�调用：若�久化集�中表�数与当� Schema 一致且�空，则跳过��化；
        若为空则全�构建；若�数�一致则强制�建（Schema �更��新加载）。
        ru;当å‰� Schema 无表但å�‘é‡�索引é�žç©ºï¼Œå·²æ¸…空索引Nu=Schema å�‘é‡�索引已就绪（%s 张表），跳过å�‘é‡�化u@å�‘é‡�索引为空，开始构建共 %s 张表（å�‘é‡�化）...F)r8Ú
force_rebuildugå�‘é‡�索引与当å‰� Schema ä¸�一致（索引 %s 张，Schema %s 张），é‡�æ–°å�‘é‡�化并加载...T)ÚlenÚ
get_tablesr0r.ÚwarningÚclearr/Úbuild_index)r1r7r8ÚexpectedÚindexeds     r4Úensure_index_for_schemaz%SchemaIndexer.ensure_index_for_schemaWsÈ€ô�~×0Ñ0Ó2Ó3ˆØ—*‘*“,ˆà�qŠ=ؘŠ{Ü—‘Ð\Ô]Ø—
‘
”Øà�hÒÜ�K‰KØOØô
ð
à�aŠ<Ü�K‰KØRØô
ð
×Ñ˜^¸
ÐRWÐÔXØä�‰ØuØØô	
ð
	
×ј°JÈdÐÕSr6r;c
óú—|jj«d
kDr&t|jj«d«
n	t«}|s%|r#tjdt
|«
›d�«

y|rw|rutjdt
|«
›d�«

|jj|j«

|jj|jdd	i
¬
«|_g}g}g}|
j«D]f}|j|d«

|j|d«

|j|dt
|
j|d«
j«
d
œ«

Œhtjdt
|«
›d�«

|jj!||d¬«}	|jj#|	j%«|||¬«
tjdt
|«
›d�«

y)u3

        为Schema构建��索引

        Args:
            schema_manager: SchemaManager实例
            batch_size: 批处�大�
            force_rebuild: 是�强制�建（默认为False，增�更新）

        Returns:
            True=�功，False=已存在且未强制�建
        rÚidsu索引已存在（uæ�¡è®°å½•ï¼‰ï¼Œè·³è¿‡æž„建Fu强制é‡�建索引，删除uæ�¡æ—§è®°å½•rrrÚtextr)Ú
table_nameÚcolumn_countu计算u张表的embedding...T)r8Ú	normalize)Ú
embeddingsÚ	documentsÚ	metadatasrEu[OK] 索引构建完æˆ�，共u张表)r-r0ÚsetÚgetr.r/r<r(Údelete_collectionrr,Úget_table_for_embeddingÚappendÚ	get_tableÚcolumnsr
ÚencodeÚaddÚtolist)
r1r7r8r;Úexisting_idsÚtable_textsÚ	table_idsÚtable_metadatasÚ
table_inforJs
          r4r@zSchemaIndexer.build_indexs×
€ð"=A
¿O¹O×<QÑ<QÓ<SÐVWÒ<W”s˜4Ÿ?™?×.Ñ.Ó0°Ñ7Ô8Ô]`Ó]bˆá¡Ü�K‰KÐ,¬S°Ó->Ð,?Ð?ZÐ[Ô\Øá™\Ü�K‰KÐ5´c¸,Ó6GÐ5HÈÐUÔVà�K‰K×)Ñ)¨$×*>Ñ*>Ô?Ø"Ÿk™k×BÑBØ×)Ñ)Ø&¨Ð1ðC
óˆDŒOðˆØˆ	؈à(×@Ñ@ÖBˆJØ×Ñ˜z¨&Ñ1Ô2Ø×Ñ˜Z¨Ñ/Ô0Ø×"Ñ"Ø(¨Ñ0Ü # N×$<Ñ$<¸ZÈÑ=OÓ$P×$XÑ$XÓ Yñ$õ
ðC
ô	�‰�fœS Ó-Ð.Ð.CÐDÔEØ—]‘]×)Ñ)Ø J¸$ð*ó
ˆ
ð
	
�‰×ÑØ!×(Ñ(Ó*Ø!Ø%Øð		ô	
ô	�‰Ð3´C¸	³NÐ3CÀ6ÐJÔKØr6ÚqueryÚtop_kÚscore_thresholdcó—|jj|
g
d
¬«}|jj|j	«t||jj
««¬«}g}|dr~t|dd«
dkDrjtt|dd|dd|dd|dd««
D]8\}\}}	}
}d	|	z
}||k\s
Œ|j|t|«
||
|d	zd
œ«

Œ:|ddD�
cgc],}
|
d
tt|
jdd««
d«f‘Œ.}}
tjdt|
x
s
d«
t|«
||«
|Sc
c}
w)u,
        检索相关表

        Args:
            query: 查询文本（用户问题）
            top_k: 返回�K个结果
            score_threshold: 相似度阈值（0-1），低于此值的结果会被过滤

        Returns:
            检索结果列表，按相似度��排列
            [
                {
                    "table_name": "表�",
                    "score": 0.95,
                    "document": "表�述文本",
                    "metadata": {...}
                },
                ...
            ]
        T)
rI)Úquery_embeddingsÚ	n_resultsrErÚ	distancesrLrKé
)rGÚscoreÚdocumentrÚrankNérGrdgéuBSchema å�‘é‡�检索: query_chars=%s 命中=%s（阈值=%s）top=%sr)r
rTr-r\rVÚminr0r<Ú	enumerateÚziprQÚfloatÚroundrNr.r/)r1r\r]r^Úquery_embeddingÚresultsÚ	formattedÚidxÚtable_idÚdistancerrerdÚ
xÚtops               r4ÚsearchzSchemaIndexer.search½s�
€ð6Ÿ-™-×.Ñ.°¨wÀ$Ð.ÓGˆð—/‘/×'Ñ'Ø,×3Ñ3Ó5ܘ% §¡×!6Ñ!6Ó!8Ó9ð(ó
ˆðˆ	Ø�5Š>œc '¨%¡.°Ñ"3Ó4°qÒ8ÜAJÌ3ؘ‘˜qÑ!ؘÑ$ QÑ'ؘÑ$ QÑ'ؘÑ$ QÑ'ó	L
öB
Ñ=�Ñ=�h ¨(°Hð˜H™�ؘOÓ+Ø×$Ñ$Ø&.Ü!& u£Ø$,Ø$,Ø # a¡ñ&õðB
ð Q
Z
ÐZ]Ð[]ÑP^Ó_ÑP^È1�
�,‘¤¤u¨Q¯U©U°7¸CÓ-@Ó'AÀ1Ó!EÒFÐP^ˆÐ_Ü�‰ØPÜ�’˜ÓÜ�	‹NØØô	
ðÐùò`
sÃ81EÚtable_namescó

—g}|
D]J}	|jj|g
d
dg¬«}|dr"|j|d|dd|d
ddœ«

ŒL|S#t$r%}tjd|›d	|›�«

Yd
}~Œxd
}~w
wxYw
)u–
        直接通过表�获�表信�