150 lines
15 KiB
Plaintext
150 lines
15 KiB
Plaintext
|
Ë
|
|||
|
|
!hØiÕ( ã ó — d Z ddlZddlZddlmZ ddlmZmZmZm Z ddl
|
|||
|
|
Z
|
|||
|
|
ddl m Z m
|
|||
|
|
Z
|
|||
|
|
ddlmZmZmZ e
|
|||
|
|
j$ e« Z G d„ d « Zy)
|
|||
|
|
uD
|
|||
|
|
Schema管ç�†å™¨ - 管ç�†æ•°æ�®åº“Schemaçš„åŠ è½½ã€�索引和检索
|
|||
|
|
é N)ÚPath)ÚListÚDictÚOptionalÚTupleé )ÚDatabaseSchemaÚTable)Ú SchemaLoaderÚload_schema_from_jsonÚload_schema_from_g3sbc
|
|||
|
|
ó — e Zd ZdZdefd„Ze d'dedee dd fd„« Z ed ed
|
|||
|
|
edd fd „« Z
|
|||
|
|
ed e dd fd
|
|||
|
|
„« Z dedee
|
|||
|
|
fd„Zdee fd„Zdee
|
|||
|
|
fd„Zd(dededee
|
|||
|
|
fd„Z d)dee dededefd„Zdee defd„Zde eee f fd„Z d*ded ed edee fd „Zd edee fd „Zd+d ed!ed"efd#„Zde fd$„Z defd%„Z defd&„Z y),Ú
|
|||
|
|
SchemaManageru¢
|
|||
|
|
Schema管�器
|
|||
|
|
|
|||
|
|
功能：
|
|||
|
|
1. åŠ è½½å’Œè§£æž�Schema文件
|
|||
|
|
2. 管�表关系
|
|||
|
|
3. �供表检索接�
|
|||
|
|
4. 生�紧凑的Schema�述
|
|||
|
|
Úschemac óŒ — || _ |j D �ci c] }|j |“Œ c}| _ d| _ i | _ yc c}w )ub
|
|||
|
|
�始化Schema管�器
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
schema: DatabaseSchema对象
|
|||
|
|
N)r ÚtablesÚnameÚ _table_dictÚ_embedding_indexÚ_cache)Úselfr Útbls úKC:\Users\24019\Desktop\backman-camel\text2sql_agent_camel\schema\manager.pyÚ__init__zSchemaManager.__init__ sC € 𠈌 Ø5;·]²]ÓC±]¨c˜CŸH™H c™M°]ÑCˆÔØ $ˆÔ ؈� ùò Ds –ANÚ json_pathÚg3sb_meta_pathÚreturnc ó, — t ||¬« } | |« S )uî
|
|||
|
|
从JSONæ–‡ä»¶åŠ è½½Schema
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
json_path: JSON文件路径
|
|||
|
|
g3sb_meta_path: �选，G3SB table_meta.json（与 table_structure �对）
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
SchemaManager实例
|
|||
|
|
)r )r )Úclsr r r s r Úload_from_jsonz SchemaManager.load_from_json( s € ô ' yÀ ÔPˆÙ�6‹{Ðó Ú meta_pathÚstructure_pathc ó* — t ||« } | |« S )uÐ
|
|||
|
|
从G3SBæ ¼å¼�åŠ è½½Schema
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
meta_path: table_meta.json路径
|
|||
|
|
structure_path: table_structure.json路径
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
SchemaManager实例
|
|||
|
|
)r
|
|||
|
|
)r r" r# r s r Úload_from_g3sbz SchemaManager.load_from_g3sb9 s € ô ' y°.ÓAˆÙ�6‹{Ðr! Údatac ó† — t « }t |t « r|j |« nd}|s t d« ‚ | |« S )u¢
|
|||
|
|
从å—典创建SchemaManager
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
data: 包å�«databaseå’Œtablesçš„å—å…¸
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
SchemaManager实例
|
|||
|
|
NzInvalid schema data)r Ú
|
|||
|
|
isinstanceÚdictÚ _parse_tableÚ
|
|||
|
|
ValueError)r r& Úloaderr s r Ú from_dictzSchemaManager.from_dictH s? € ô “ ˆÜ.8¸¼tÔ.D�×$Ñ$ TÔ*È$ˆÙÜ Ð 2Ó3Ð 3Ù�6‹{Ðr! Ú
|
|||
|
|
table_namec ó8 — | j j |« S )u 获å�–指定表)r Úget)r r. s r Ú get_tablezSchemaManager.get_table[ s € à× Ñ ×#Ñ# JÓ/Ð/r! c óH — t | j j « « S )u 获å�–所有表å��)Úlistr Úkeys©r s r Ú list_tableszSchemaManager.list_tables_ s € ä�D×$Ñ$×)Ñ)Ó+Ó,Ð,r! c óH — t | j j « « S )u 获å�–所有Table对象)r3 r Úvaluesr5 s r Ú
|
|||
|
|
get_tableszSchemaManager.get_tablesc s € ä�D×$Ñ$×+Ñ+Ó-Ó.Ð.r! Údepthc óÔ ‡ ‡‡‡‡— t « Št « Šdt dt fˆˆˆˆ ˆfd„ Š ‰|d« ‰D �cg c] }|‰ j v sŒ‰ j | ‘Œ" c}S c c}w )uã
|
|||
|
|
获�关�表（通过外键关系）
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
table_name: 起始表�
|
|||
|
|
depth: 递归深度（1=直接关�，2=间接关�...）
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
相关表列表
|
|||
|
|
ÚtnameÚ
|
|||
|
|
current_depthc óÞ •— | ‰j vs|‰kD ry | ‰ v ry ‰ j | « ‰j | }|j D ]3 }‰j |j « ‰|j |dz « Œ5 ‰j j « D ]T }|j D ]C }|j | k( sŒ‰j |j
|
|||
|
|
« ‰|j
|
|||
|
|
|dz « ŒE ŒV y )Nr )r ÚaddÚ foreign_keysÚ ref_tabler8 r )
|
|||
|
|
r< r= ÚtableÚfkÚ other_tableÚ _traverser: Úresultr Úvisiteds
|
|||
|
|
€€€€€r rE z3SchemaManager.get_related_tables.<locals>._traverseu sÓ ø€ ؘD× ,Ñ ,Ñ,°
|
|||
|
|
ÀÒ0EØØ˜Ñ ØØ �K‰K˜Ô à×$Ñ$ UÑ+ˆEØ×(Ô(�Ø—
|
|||
|
|
‘
|
|||
|
|
˜2Ÿ<™<Ô(Ù˜"Ÿ,™,¨
|
|||
|
|
¸Ñ(9Õ:ð )ð
|
|||
|
|
$× /Ñ /× 6Ñ 6Ö 8� Ø%×2Ô2�BØ—|‘| uÓ,Ø Ÿ
|
|||
|
|
™
|
|||
|
|
;×#3Ñ#3Ô4Ù! +×"2Ñ"2°MÀAÑ4EÕFñ 3ñ 9r! r )ÚsetÚstrÚintr )r r. r: ÚtrE rF rG s ` ` @@@r Úget_related_tablesz SchemaManager.get_related_tablesg sk ü€ ô “ˆÜ“%ˆð GœSð G´÷ Gñ Gñ& �*˜aÔ Ù-3ÓM©V¨°q¸D×<LÑ<LÒ7L�× Ñ Ó#¨VÑMÐMùÒMs ½A%ÁA%Ú table_namesÚinclude_columnsÚmax_columns_per_tablec ó� — |€| j « }nb|D �cg c] }|| j vsŒ|‘Œ }}|rt j d|« | j « D �cg c] }|j |v sŒ|‘Œ }}g }|j d| j j › �« |j dt |« › �« |j d« |j d« |D �]È } |j d| j › �« | j r |j d| j › �« |râ| j rÖ|j d « | j d| D ]p }
|
|||
|
|
|
|
|||
|
|
j rd
|
|||
|
|
nd} |
|
|||
|
|
j sd nd} |
|
|||
|
|
j rd |
|
|||
|
|
j › �nd}
|
|||
|
|
|j d
|
|||
|
|
|
|
|||
|
|
j › d|
|
|||
|
|
j › | › | › |
|
|||
|
|
› �« Œr t | j « |kD r+|j dt | j « |z
|
|||
|
|
› d�« | j r||j d« | j dd D ]Y }|j d
|
|||
|
|
dj |j « › d|j › ddj |j « › d�« Œ[ |j d« �ŒË dj |« S c c}w c c}w )uH
|
|||
|
|
生æˆ�紧凑的Schemaæ��è¿°å—符串（用于LLM输入）
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
table_names: 指定包�的表（None表示所有表）
|
|||
|
|
include_columns: 是å�¦åŒ…å�«å—段详情
|
|||
|
|
max_columns_per_table: æ¯�表最多显示å—段数
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
Schemaæ��è¿°å—符串
|
|||
|
|
NuL 以下表å��ä¸�åœ¨å·²åŠ è½½Schemaä¸ï¼Œå·²ä»Žæœ¬æ¬¡Schema片段ä¸çœ�ç•¥: %su æ•°æ�®åº“: u 涉å�Šè¡¨æ•°: z<============================================================Ú u ã€�表】u
|
|||
|
|
æ��è¿°: u å—段:z [PK]z NOT NULLz -- z z: u ... 还有 u
|
|||
|
|
个å—段u 外键:é z, u → Ú(Ú)Ú
|
|||
|
|
)r9 r ÚloggerÚwarningr Úappendr ÚlenÚcommentÚcolumnsÚis_primary_keyÚnullableÚ data_typer@ ÚjoinrA Ú ref_columns)r rM rN rO r ÚnÚmissingrK ÚlinesrB ÚcolÚ pk_markerÚ null_markerrZ rC s r Úto_compact_stringz SchemaManager.to_compact_string� ss € ð" Ð Ø—_‘_Ó&‰Fá"-ÓK¡+˜Q°¸$×:JÑ:JÒ1J’q +ˆGÐKÙÜ—‘ØbØôð "&§ ¡ Ô!2ÓLÑ!2˜A°a·f±fÀ Ò6K’aÐ!2ˆFÐLàˆØ
|
|||
|
|
� ‰ �{ 4§;¡;×#3Ñ#3Ð"4Ð5Ô6Ø
|
|||
|
|
� ‰ �~¤c¨&£k ]Ð3Ô4Ø
|
|||
|
|
� ‰ �XÔ Ø
|
|||
|
|
� ‰ �RÔäˆEØ �L‰L˜9 U§Z¡Z LÐ1Ô 2Ø�}Š}Ø— ‘ ˜z¨%¯-©-¨ Ð 9Ô:á 5§=¢=Ø— ‘ ˜yÔ*Ø Ÿ=™=Ð)?Ð*?Ó@�CØ+.×+=Ò+=¡À2�IØ58·\²\¡+Àr�KØ69·k²k S§[¡[ MÑ 2Àr�GØ—L‘L 4¨¯© z°°C·M±M°?À9À+ÈkÈ]Ð[bÐZcÐ!dÕeð Aô �u—}‘}Ó%Ð(=Ò=Ø—L‘L ?´3°u·}±}Ó3EÐH]Ñ3]Ð2^Ð^hÐ!iÔjð ×!Ò!Ø— ‘ ˜[Ô)Ø ×,Ñ,¨R¨aÓ0�BØ—L‘LØ ˜tŸy™y¨¯©Ó 4Ð 5°U¸2¿<¹<¸.ÈÈ$Ï)É)ÐTV×TbÑTbÓJcÐIdÐdeÐfõð 1ð
|
|||
|
|
|
|||
|
|
�L‰L˜Ö ð1 ð4 �y‰y˜Ó Ð ùòQ Lùò Ms ˜J>¬J>Á KÁ0Kc ó¬ — | j « D �cg c] }|j |v sŒ|‘Œ }}t | j j › d�|¬« S c c}w )u³
|
|||
|
|
æ ¹æ�®è¡¨å��过滤，生æˆ�å�集Schema
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
table_names: ��留的表�列表
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
新的DatabaseSchema对象
|
|||
|
|
Ú _filtered)r r )r9 r r r )r rM rK Úfiltered_tabless r Úto_filtered_schemaz SchemaManager.to_filtered_schemaË sW € ð '+§o¡oÔ&7ÓQÑ&7 ¸1¿6¹6À[Ò;Pš1Ð&7ˆÐQÜ Ø—K‘K×$Ñ$Ð% YÐ/Ø"ô
|
|||
|
|
ð
|
|||
|
|
ùò Rs
|
|||
|
|
“A§AÚtable_embeddingsc ót — | j « D ]% }|j |v sŒ||j |_ Œ' y)u…
|
|||
|
|
为表设置预计算的embedding��
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
table_embeddings: {table_name: embedding_vector}
|
|||
|
|
N)r9 r Ú embedding)r rl rB s r Úset_embeddingsz SchemaManager.set_embeddingsÝ s2 € ð —_‘_Ö&ˆEØ�z‰zÐ -Ò-Ø"2°5·:±:Ñ">�•ñ 'r! Ú max_columnsÚmax_col_comment_charsÚmax_total_charsc ó” — g }| j « D �]± }d|j › �g}|j r |j d|j › �« g }|j d| }|D ]– } | j › d| j
|
|||
|
|
› �}
|
|||
|
|
| j r|
|
|||
|
|
dz
|
|||
|
|
}
|
|||
|
|
| j rK| j j « j dd« } t | « |kD r | d|dz
|
|||
|
|
dz } |
|
|||
|
|
d | › �z
|
|||
|
|
}
|
|||
|
|
|j |
|
|||
|
|
« Œ˜ |r#|j d
|
|||
|
|
d j |« z « t |j « |kD rCt |j « |z
|
|||
|
|
} |j d | › d
|
|||
|
|
t |j « › d�« dj |« }
|
|||
|
|
t |
|
|||
|
|
« |kD r |
|
|||
|
|
d|dz
|
|||
|
|
dz }
|
|||
|
|
|j |j |
|
|||
|
|
dœ« �Œ´ |S )uŒ
|