142 lines
14 KiB
Plaintext
142 lines
14 KiB
Plaintext
|
Ë
|
|||
|
|
K¦ØiÄ) ã óî — d Z ddlZddlZddlmZmZmZmZ ddlZddlm Z m
|
|||
|
|
Z
|
|||
|
|
m Z ddl m
|
|||
|
|
Z
|
|||
|
|
ddlmZmZ ej" e« Zddeded eeee f fd
|
|||
|
|
„Zddeded ee fd „Zd e j0 d eeef fd
|
|||
|
|
„Zddeded eeeef fd„Z ddede
|
|||
|
|
ded eeee f fd„Zded efd„Z deded efd„Z ddedede d efd„Z ddeded efd„Z ddeded e fd„Z!ddeded efd„Z"ddeded eee f fd„Z#y)u/
|
|||
|
|
SQL 解�与验�工具（基于 sqlglot）
|
|||
|
|
é N)ÚListÚTupleÚOptionalÚDict)ÚexpÚ parse_oneÚ
|
|||
|
|
ParseError)Ú
|
|||
|
|
SchemaManager)ÚTableÚColumnÚsqlÚdialectÚreturnc ó° — g } t | |¬« }|€|j d« d|fS t j t j t j
|
|||
|
|
t j t j g}dD ]2 }t t |« sŒ|j t t |« « Œ4 t |t |« « s*t |« j }|j d|› d�« dg fS # t $ r+}|j d t |« › �« d|fcY d}~S d}~wt $ r+}|j d
|
|||
|
|
t |« › �« d|fcY d}~S d}~ww xY w) u›
|
|||
|
|
验è¯�SQLè¯æ³•æ˜¯å�¦æ£ç¡®
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
sql: SQLè¯å�¥
|
|||
|
|
dialect: SQL方言
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
(是�有效, 错误信�列表)
|
|||
|
|
©r Nu SQL解æž�返回空结果F)ÚShowÚDescribeÚExplainu é�žæŸ¥è¯¢æ“�作（u$ ），å�ªå…�许SELECTç‰å�ªè¯»è¯å�¥Tu SQLè¯æ³•é”™è¯¯: u 解æž�异常: )r Úappendr ÚSelectÚUnionÚ IntersectÚExceptÚWithÚhasattrÚgetattrÚ
|
|||
|
|
isinstanceÚtupleÚtypeÚ__name__r ÚstrÚ Exception)r
|
|||
|
|
r ÚerrorsÚparsedÚ readable_opsÚop_nameÚop_typeÚes úMC:\Users\24019\Desktop\backman-camel\text2sql_agent_camel\utils\sql_parser.pyÚvalidate_sql_syntaxr* s! € ð €Fð ä˜3¨Ô0ˆà ˆ>Ø �M‰MÐ4Ô 5ؘ&�=Ð ô Ÿ
|
|||
|
|
™
|
|||
|
|
¤C§I¡I¬s¯}©}¼c¿j¹jÌ#Ï(É(ÐSˆ ã6ˆGÜ”s˜GÕ$Ø ×#Ñ#¤G¬C°Ó$9Õ:ð 7ô ˜&¤%¨ Ó"5Ô6ܘ6“l×+Ñ+ˆGØ �M‰MÐ .¨w¨iÐ7[Ð\Ô ]à�Rˆxˆøä ò Ø�
|
|||
|
|
‰
|
|||
|
|
Ð)¬#¨a«&¨Ð2Ô3Ø�fˆ}Õ ûÜ ò Ø�
|
|||
|
|
‰
|
|||
|
|
˜¤s¨1£v hÐ/Ô0Ø�fˆ}Õ ûð ús< „#C/ ¨A"C/  A#C/ Ã/ EÃ8 D ÄEÄ EÄ* EÅ
|
|||
|
|
EÅEc ó0 — t | |¬« }g }|j « D ]B }t |t j « sŒ |j
|
|||
|
|
}|sŒ-||vsŒ2|j
|
|||
|
|
|« ŒD |S # t $ r$}t j d|› �« g cY d}~S d}~ww xY w)u‘
|
|||
|
|
从SQLä¸æ��å�–所有表å��
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
sql: SQLè¯å�¥
|
|||
|
|
dialect: SQL方言
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
表�列表（去�）
|
|||
|
|
r u ��表�失败: N)
|
|||
|
|
r Úwalkr r r Únamer r" ÚloggerÚwarning)r
|
|||
|
|
r r$ ÚtablesÚnodeÚ
|
|||
|
|
table_namer( s r) Úextract_tables_from_sqlr3 < s‡ € ðܘ3¨Ô0ˆØˆð —K‘K–MˆDܘ$¤§ ¡ Õ*Ø !ŸY™Y�
|
|||
|
|
Ú *°FÒ":Ø—M‘M *Õ-ð "ð ˆ
|
|||
|
|
øÜ ò Ü�‰Ð-¨a¨SÐ1Ô2Ø� ûðús. ‚<A( ¿A( ÁA( ÁA( Á( BÁ1BÂ
|
|||
|
|
BÂBr$ c óö — i }| j « D ]c }t |t j « sŒ |j }|sŒ-|||< |j
|
|||
|
|
j
|
|||
|
|
d« }|€ŒP|j }|sŒ_|||< Œe |S )u¡
|
|||
|
|
从已解æž�çš„ AST 构建「别å��/表å�� -> 物ç�†è¡¨å��ã€�æ˜ å°„ã€‚
|
|||
|
|
|
|||
|
|
FROM T a 时 a -> T，且 T -> T，便于将 a.col 解�到表 T 的列。
|
|||
|
|
Úalias)r, r r r r- ÚargsÚget)r$ Ú alias_mapr1 ÚphysicalÚtaliasÚanames r) Úbuild_table_alias_mapr< X sy € ð !#€IØ— ‘ –
|
|||
|
|
ˆÜ˜$¤§ ¡ Ô*Ø Ø—9‘9ˆÙØ Ø &ˆ �(ÑØ—‘— ‘ ˜wÓ'ˆØ Ñ Ø—K‘KˆEÚØ#+� ˜%Ò ð ð Ðó c óH — g } t | |¬« }|j « D ]N }t |t j « sŒ |j
|
|||
|
|
}|j }|sŒ9|sŒ<|j ||f« ŒP |S # t $ r$}t j d|› �« g cY d}~S d}~ww xY w)u°
|
|||
|
|
从SQLä¸æ��å�–所有å—段引用（表.å—段）
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
sql: SQLè¯å�¥
|
|||
|
|
dialect: SQL方言
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
[(表å��, å—段å��), ...] 列表
|
|||
|
|
r u æ��å�–å—段失败: N) r r, r r r Útabler- r r" r. r/ )r
|
|||
|
|
r Úcolumnsr$ r1 r2 Úcol_namer( s r) Úextract_columns_from_sqlrB n s� € ð €Gð
|
|||
|
|
ܘ3¨Ô0ˆà—K‘K–MˆDܘ$¤§
|
|||
|
|
¡
|
|||
|
|
Õ+Ø !ŸZ™Z�
|
|||
|
|
Ø Ÿ9™9�Ú ¢(Ø—N‘N J°Ð#9Õ:ð "ð ˆøÜ ò Ü�‰Ð-¨a¨SÐ1Ô2Ø� ûðús. „:A4 ¿A4 ÁA4 Á A4 Á4 B!Á=B ÂB! B!Úschema_managerc
|
|||
|
|
ó^ — g } t | |¬« }t |« }g }|j « D ]B }t
|
|||
|
|
|t j « sŒ |j } | sŒ-| |vsŒ2|j | « ŒD g }
|
|||
|
|
|j « D ]N }t
|
|||
|
|
|t j « sŒ |j |j } } | sŒ9| sŒ<|
|
|||
|
|
j | | f« ŒP |D ]) }
|
|||
|
|
|j |
|
|||
|
|
« rŒ|j d|
|
|||
|
|
› d�« Œ+ |
|
|||
|
|
D ]Œ \ }}|j ||« }|j |« }|s|j d|› d|› d �« ŒD|j D �cg c] }|j ‘Œ }}||vsŒl|j d|› d|› d
|
|||
|
|
|› d |dd › d
|
|||
|
|
� « ŒŽ |j! t j" « D ]ü }|j$ j d« }|sŒ!|j! t j& « D ]º }|j( }|j* }||fD ]™ }t
|
|||
|
|
|t j « sŒ |j }
|
|||
|
|
|j }|j |
|
|||
|
|
|
|
|||
|
|
« }|j |« }|sŒ\||j D �cg c] }|j ‘Œ c}vsŒƒ|j d|
|
|||
|
|
› d|› �« Œ› Œ¼ Œþ t- |« dk( |fS # t $ r&}t j d|› �« dg fcY d}~S d}~ww xY wc c}w c c}w # t $ r"}t j d|› �« Y d}~Œrd}~ww xY w)uN
|
|||
|
|
验�SQL与Schema的一致性
|
|||
|
|
|
|||
|
|
检查：
|
|||
|
|
1. 所有表å��å˜åœ¨äºŽSchema
|
|||
|
|
2. 所有å—段å��属于对应的表
|
|||
|
|
3. JOINæ�¡ä»¶å—段å˜åœ¨ä¸”类型兼容
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
sql: SQLè¯å�¥
|
|||
|
|
schema_manager: Schema管�器
|
|||
|
|
dialect: SQL方言
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
(是�一致, 错误信�列表)
|
|||
|
|
r u/ Schema一致性检查跳过（解æž�失败）: TNu 表ä¸�å˜åœ¨: 'Ú'u å—段ä¸�å˜åœ¨: 'Ú.u: 'ï¼ˆæ— æ³•å°†è¡¨å¼•ç”¨è§£æž�åˆ°å·²åŠ è½½Schemaä¸çš„表）u '（表 'u ' å�¯ç”¨å—段: é u ...）Úonu JOINæ�¡ä»¶å—段ä¸�å˜åœ¨: u JOINæ�¡ä»¶æ£€æŸ¥å¼‚常: r )r r" r. Údebugr< r, r r r r- r r r? Ú get_tabler7 r@ Úfind_allÚJoinr6 ÚEQÚleftÚrightÚlen)r
|
|||
|
|
rC r r# r$ r( r8 Ú tables_usedr1 ÚtnameÚ columns_usedÚtrefÚcnameÚtblÚtbl_namerA r9 r? ÚcÚ col_namesÚjoinÚ on_conditionÚeqrN rO ÚsideÚcols r) Úvalidate_schema_consistencyr_ ‹ s € ð* €Fðܘ3¨Ô0ˆô
|
|||
|
|
& fÓ-€Ià €KØ— ‘ –
|
|||
|
|
ˆÜ �dœCŸI™IÕ &Ø—I‘IˆEÚ˜ kÒ1Ø×"Ñ" 5Õ)ð ð +-€LØ— ‘ –
|
|||
|
|
ˆÜ �dœCŸJ™JÕ 'Ø Ÿ*™* d§i¡i�%ˆDÚšØ ×#Ñ# T¨5 MÕ2ð ó ˆØ ×'Ñ'¨Õ,Ø �M‰M˜O¨C¨5°Ð2Õ 3ð ó
|
|||
|
|
+ш�(Ø —=‘= ¨8Ó4ˆØ ×(Ñ(¨Ó2ˆÙØ �M‰MØ$ X J¨a°¨zð :Lð Mô
|
|||
|
|
ð
|
|||
|
|
Ø%*§]¢]Ó3¡] �Q—V“V ]ˆ Ð3Ø ˜9Ò $Ø �M‰MØ$ X J¨a°¨zð :Ø#˜*Ð$4°Y¸rÀ°]°OÀ6ðKõ
|
|||
|
|
ð +ð"5Ø—O‘O¤C§H¡HÖ-ˆDà Ÿ9™9Ÿ=™=¨Ó.ˆLÚà&×/Ñ/´·±Ö7�BØ Ÿ7™7�DØ ŸH™H�Eð "& u£
|
|||
|
|
˜Ü% d¬C¯J©JÕ7Ø"&§*¡*˜CØ"&§)¡)˜CØ'0§}¡}°S¸#Ó'>˜HØ$2×$<Ñ$<¸XÓ$F˜EÚ $¨ÀUÇ]Â]Ó4SÁ]À°Q·V³VÀ]Ñ4SÒ)SØ &§
|
|||
|
|
¡
|
|||
|
|
Ð0KÈCÈ5ÐPQÐRUÐQVÐ.WÕ Xñ !.ñ 8ñ .ô* ˆv‹;˜!Ñ ˜VÐ #Ð#øôC ò Ü� ‰ ÐFÀqÀcÐJÔKØ�Rˆx�ûðüòF 4ùò2 5Tøä ò 5Ü� ‰ Ð/°¨sÐ3×4Ñ4ûð5úsf „
|
|||
|
|
K ÅK7Æ?L ÇAL È2=L É0L É?K< ÊL Ê L Ë K4ËK/Ë)K4Ë/K4Ë<L Ì L,Ì
|
|||
|
|
L'Ì'L,c óü — | s| S | }t j dd|t j ¬« }t j dd|t j ¬« }t j dd|t j ¬« }|S )u
|
|||
|
|
模型在 T-SQL ç›®æ ‡ä¸‹ä»�常输出 MySQL 函数；sqlglot 转写也å�¯èƒ½é�—æ¼�。
|
|||
|
|
SQL Server æ— CURDATE()/NOW()，需替æ�¢ä¸º GETDATE æ—�。
|
|||
|
|
z\bCURDATE\s*\(\s*\)zCAST(GETDATE() AS DATE)©Úflagsz\bCURRENT_DATE\bz\bNOW\s*\(\s*\)z GETDATE())ÚreÚsubÚ
|
|||
|
|
IGNORECASE)r
|
|||
|
|
Úouts r) Ú rewrite_mysql_builtins_for_tsqlrg è so € ñ
|
|||
|
|
؈
|
|||
|
|
Ø
|
|||
|
|
|
|||
|
|
€CÜ
|
|||
|
|
�&‰&Ø Ø!Ø Ü�m‰mô €Cô
|
|||
|
|
�&‰&ØØ!Ø Ü�m‰mô €Cô
|
|||
|
|
�&‰&Ð# [°#¼R¿]¹]Ô
|
|||
|
|
K€CØ €Jr= c óV — | xs dj « } | s| S |dk( r t | « S | S )už
|
|||
|
|
将模型输出的 SQL è§„èŒƒä¸ºç›®æ ‡æ–¹è¨€ã€‚
|
|||
|
|
对于 T-SQL，主è¦�进行 MySQL 函数替æ�¢ï¼ˆå› 为模型ä»�å�¯èƒ½è¾“出 CURDATE() ç‰ï¼‰ã€‚
|
|||
|
|
Ú Útsql)Ústriprg )r
|
|||
|
|
r s r) Únormalize_sql_for_dialectrl s8 € ð
|
|||
|
|
Š9�"×
|
|||
|
|
Ñ
|
|||
|
|
Ó
|
|||
|
|
€C٠؈
|
|||
|
|
ð �&ÒÜ.¨sÓ3Ð3à €Jr= Úindentc ó¦ — t | |¬« }|j |d|¬« S # t $ r$}t j d|› �« | cY d}~S d}~ww xY w)u«
|
|||
|
|
æ ¼å¼�化SQL（å�¯è¯»æ€§ï¼‰
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
sql: SQLè¯å�¥
|