ai-g3sb-backman2.0/backend/schema/__pycache__/indexer.cpython-312.pyc

Ë
žäÝi ãóŒ—dZd
dl
Z
d
dlmZ
d
dlmZmZmZm	Z	
d
dl
Z
d
dlmZ
d
dl
mZ
e
je«
ZGd„d«Zy)	u.
Schema��索引构建器 - 基于ChromaDB
éN)
ÚSettings)ÚAnyÚListÚDictÚOptional)
ÚPath)
Ú
SchemaManagerc
óÄ—eZ
dZd
Z		ddededefd„Z		ddedede	d	e	fd
„Z
		ddeded
ed	ee
fd„Zdeed	ee
fd„Zd	eefd„Zdefd„Zd„Zd	efd„Zd	e
fd„Zy)Ú
SchemaIndexeru”
    Schema��索引器

    功能：
    1. 为表结构构建��索引
    2. 基于问题的表检索
    3. �久化存储和加载
    ÚembedderÚpersist_dirÚcollection_namecóŒ
—|
|_t|«
|_|jjd
d
¬«
||_tjt|j«
td¬«
¬«|_	|jj|jddi
¬«|_tjd	|j›�«

y
)uÁ
        �始化索引器

        Args:
            embedder: Embedding模型实例
            persist_dir: ��数�库�久化目录
            collection_name: 集��称
        T)ÚparentsÚexist_okF)
Úanonymized_telemetry)ÚpathÚsettingsú
hnsw:spaceÚcosine©ÚnameÚmetadatau([OK] åˆ�始化SchemaIndexer: collection=N)rrr
ÚmkdirrÚchromadbÚPersistentClientÚstrÚChromaSettingsÚclientÚget_or_create_collectionÚ
collectionÚloggerÚinfo)Úselfrr
rs    ú>C:\Users\24019\Desktop\backman-camel\backend\schema\indexer.pyÚ__init__zSchemaIndexer.__init__s®€ð!ˆŒ
Ü Ó,ˆÔØ×Ñ×Ñ t°dÐÔ;Ø.ˆÔô×/Ñ/Ü�T×%Ñ%Ó&Ü#¸Ô?ô
ˆŒðŸ+™+×>Ñ>Ø×%Ñ%Ø" HÐ-ð?ó
ˆŒô
	�‰Ð>¸t×?SÑ?SÐ>TÐUÕVóÚschema_managerÚ
batch_sizeÚ
force_rebuildÚreturnc
óú—|jj«d
kDr&t|jj«d«
n	t«}|s%|r#tjdt
|«
›d�«

y|rw|rutjdt
|«
›d�«

|jj|j«

|jj|jdd	i
¬
«|_g}g}g}|
j«D]f}|j|d«

|j|d«

|j|dt
|
j|d«
j«
d
œ«

Œhtjdt
|«
›d�«

|jj!||d¬«}	|jj#|	j%«|||¬«
tjdt
|«
›d�«

y)u3

        为Schema构建��索引

        Args:
            schema_manager: SchemaManager实例
            batch_size: 批处�大�
            force_rebuild: 是�强制�建（默认为False，增�更新）

        Returns:
            True=�功，False=已存在且未强制�建
        rÚidsu索引已存在（uæ�¡è®°å½•ï¼‰ï¼Œè·³è¿‡æž„建Fu强制é‡�建索引，删除uæ�¡æ—§è®°å½•rrrÚtextr)Ú
table_nameÚcolumn_countu计算u张表的embedding...T)r)Ú	normalize)Ú
embeddingsÚ	documentsÚ	metadatasr-u[OK] 索引构建完æˆ�，共u张表)r!ÚcountÚsetÚgetr"r#ÚlenrÚdelete_collectionrr Úget_table_for_embeddingÚappendÚ	get_tableÚcolumnsrÚencodeÚaddÚtolist)
r$r(r)r*Úexisting_idsÚtable_textsÚ	table_idsÚtable_metadatasÚ
table_infor2s
          r%Úbuild_indexzSchemaIndexer.build_index;s×
€ð"=A
¿O¹O×<QÑ<QÓ<SÐVWÒ<W”s˜4Ÿ?™?×.Ñ.Ó0°Ñ7Ô8Ô]`Ó]bˆá¡Ü�K‰KÐ,¬S°Ó->Ð,?Ð?ZÐ[Ô\Øá™\Ü�K‰KÐ5´c¸,Ó6GÐ5HÈÐUÔVà�K‰K×)Ñ)¨$×*>Ñ*>Ô?Ø"Ÿk™k×BÑBØ×)Ñ)Ø&¨Ð1ðC
óˆDŒOðˆØˆ	؈à(×@Ñ@ÖBˆJØ×Ñ˜z¨&Ñ1Ô2Ø×Ñ˜Z¨Ñ/Ô0Ø×"Ñ"Ø(¨Ñ0Ü # N×$<Ñ$<¸ZÈÑ=OÓ$P×$XÑ$XÓ Yñ$õ
ðC
ô	�‰�fœS Ó-Ð.Ð.CÐDÔEØ—]‘]×)Ñ)Ø J¸$ð*ó
ˆ
ð
	
�‰×ÑØ!×(Ñ(Ó*Ø!Ø%Øð		ô	
ô	�‰Ð3´C¸	³NÐ3CÀ6ÐJÔKØr'ÚqueryÚtop_kÚscore_thresholdc	ó<—|jj|
g
d
¬«}|jj|j	«t||jj
««¬«}g}|dr~t|dd«
dkDrjtt|dd|dd|dd|dd««
D]8\}\}}	}
}d	|	z
}||k\s
Œ|j|t|«
||
|d	zd
œ«

Œ:tjd|
dd
›dt|«
›d|›d�«

|S)u,
        检索相关表

        Args:
            query: 查询文本（用户问题）
            top_k: 返回�K个结果
            score_threshold: 相似度阈值（0-1），低于此值的结果会被过滤

        Returns:
            检索结果列表，按相似度��排列
            [
                {
                    "table_name": "表�",
                    "score": 0.95,
                    "document": "表�述文本",
                    "metadata": {...}
                },
                ...
            ]
        T)
r1)Úquery_embeddingsÚ	n_resultsr-rÚ	distancesr4r3é
)r/ÚscoreÚdocumentrÚranku检索 'Né2u...' -> 找到u个相关表（阈值=u）)rr>r!rGr@Úminr5r8Ú	enumerateÚzipr;Úfloatr"Údebug)
r$rGrHrIÚquery_embeddingÚresultsÚ	formattedÚidxÚtable_idÚdistancerrPrOs
             r%ÚsearchzSchemaIndexer.searchysO
€ð6Ÿ-™-×.Ñ.°¨wÀ$Ð.ÓGˆð—/‘/×'Ñ'Ø,×3Ñ3Ó5ܘ% §¡×!6Ñ!6Ó!8Ó9ð(ó
ˆðˆ	Ø�5Š>œc '¨%¡.°Ñ"3Ó4°qÒ8ÜAJÌ3ؘ‘˜qÑ!ؘÑ$ QÑ'ؘÑ$ QÑ'ؘÑ$ QÑ'ó	L
öB
Ñ=�Ñ=�h ¨(°Hð˜H™�ؘOÓ+Ø×$Ñ$Ø&.Ü!& u£Ø$,Ø$,Ø # a¡ñ&õðB
ô 	�‰�x  c r 
˜|¨>¼#¸i».Ð9IÐI_Ð`oÐ_pÐpsÐtÔuØÐr'Útable_namescó

—g}|
D]J}	|jj|g
d
dg¬«}|dr"|j|d|dd|d
ddœ«

ŒL|S#t$r%}tjd|›d	|›�«

Yd
}~Œxd
}~w
wxYw
)u–
        直接通过表�获�表信�

        Args:
            table_names: 表�列表