166 lines
19 KiB
Plaintext
166 lines
19 KiB
Plaintext
|
Ë
|
|||
|
|
š±Øiè/ ã ó˜ — d Z ddlZddlZddlmZ ddlmZmZmZ ddl m
|
|||
|
|
Z
|
|||
|
|
ddl Z ddl
|
|||
|
|
Z
|
|||
|
|
e
|
|||
|
|
j e« ZdZe
|
|||
|
|
G d„ d« « Z G d „ d
|
|||
|
|
« Zd efd „Zed
|
|||
|
|
k( �réddlZ ej, d¬« Zej1 dd¬« ej1 dd¬« ej1 ded¬« ej1 ded¬« ej1 dd d ¬ « ej5 « Z eej8 « Z ej< rƒe j? « Z e d « e d e d! › �« e d"e d# d$›�« e d%e d& › �« e d'« e!e d( jE « d)„ ¬*« dd+ Z#e#D ] \ Z$Z% e d,e$› d-e%› �« Œ yejL rªe jO ejL ejP ejR ¬.« Z* e d/ejL › d0�« e*D ]\ Z+ e d1e+jX › d2e+jZ › d3e+j\ › �« e d4e+j^ › �« e d5e+j` › d6�« Œ^ y e d7« yy)8uW
|
|||
|
|
Few-shot示例选择器 - 基于�验数�集动�选择相关示例
|
|||
|
|
|
|||
|
|
与 Schema ��检索一致，使用 utils.embedding.get_embedder()（本地 Qwen3 或远程 OpenAI 兼容 API，
|
|||
|
|
ç”± USE_LOCAL_EMBEDDING å�Š OPENAI_* / MODELSCOPE_* / DASHSCOPE_* ç‰çŽ¯å¢ƒå�˜é‡�决定）。
|
|||
|
|
|
|||
|
|
用法：
|
|||
|
|
from utils.fewshot_selector import FewShotSelector
|
|||
|
|
|
|||
|
|
selector = FewShotSelector("data/experiences/all_samples.jsonl")
|
|||
|
|
examples = selector.select(question="查询2024年1月的销售�", top_k=3)
|
|||
|
|
|
|||
|
|
# 在Promptä¸ä½¿ç”¨
|
|||
|
|
prompt = f"{examples}
|
|||
|
|
当�问题：{question}
|
|||
|
|
Schema：{schema}"
|
|||
|
|
é N)ÚPath)ÚListÚDictÚOptional)Ú dataclassz"./data/models/Qwen3-Embedding-0.6Bc ó¬ — e Zd ZU dZeed< eed< ee ed< eed< eed< ee ed< ee ed< eed < e d
|
|||
|
|
e
|
|||
|
|
d d fd „« Z dd
|
|||
|
|
e d efd„Z
|
|||
|
|
d e
|
|||
|
|
fd„Zy)ÚExperienceSampleu ç»�验数æ�®æ ·æœ¬ÚqidÚ question_zhÚ question_enÚsqlÚ explanationÚratingÚtagsÚ
|
|||
|
|
difficultyÚdataÚreturnc
|
|||
|
|
ó — | |j dd« |j dd« |j d« |j dd« |j dd« |j d« |j dg « |j d d
|
|||
|
|
« ¬ « S ) Nr
|
|||
|
|
Ú r r r
|
|||
|
|
r r r r Úmedium)r
|
|||
|
|
r r r
|
|||
|
|
r r r r )Úget)Úclsr s úSC:\Users\24019\Desktop\backman-camel\text2sql_agent_camel\utils\fewshot_selector.pyÚ from_dictzExperienceSample.from_dict* s{ € áØ—‘˜ Ó#Ø Ÿ™ °Ó3Ø Ÿ™ Ó/Ø—‘˜ Ó#Ø Ÿ™ °Ó3Ø—8‘8˜HÓ%Ø—‘˜& "Ó%Ø—x‘x ¨hÓ7ô
|
|||
|
|
ð
|
|||
|
|
ó Úinclude_explanationc ó„ — d| j › d| j › �}|r!| j r|d| j dd › �z
|
|||
|
|
}|S )u 转æ�¢ä¸ºfew-shotæ ¼å¼�õ 问题：u
|
|||
|
|
SQL：
|
|||
|
|
u
|
|||
|
|
|
|||
|
|
说明：NéÈ )r r
|
|||
|
|
r )Úselfr Úresults r Úto_fewshot_formatz"ExperienceSample.to_fewshot_format7 sN € à ˜T× -Ñ -Ð .¨j¸¿¹¸
|
|||
|
|
ÐCˆÙ 4×#3Ò#3Ø ˜ D×$4Ñ$4°T°cÐ$:Ð#;Ð<Ñ <ˆF؈
|
|||
|
|
r c óŒ — | j | j | j | j | j | j
|
|||
|
|
dœS )N)r
|
|||
|
|
Úquestionr
|
|||
|
|
r r r )r
|
|||
|
|
r r
|
|||
|
|
r r r )r s r Úto_dictzExperienceSample.to_dict> s8 € à—8‘8Ø ×(Ñ(Ø—8‘8Ø—k‘kØ—I‘IØ Ÿ/™/ñ
|
|||
|
|
|
|||
|
|
ð
|
|||
|
|
r N)T)Ú__name__Ú
|
|||
|
|
__module__Ú __qualname__Ú__doc__ÚstrÚ__annotations__r Úintr Ú classmethodÚdictr Úboolr" r% © r r r r s} … á Ø ƒHØÓؘ#‘ Ó Ø ƒHØÓØ �S‰MÓØ
|
|||
|
|
ˆs‰)ƒO؃Oàð
|
|||
|
|
|
|||
|
|
˜Tð
|
|||
|
|
|
|||
|
|
Ð&8ò
|
|||
|
|
|
|||
|
|
ó ð
|
|||
|
|
|
|||
|
|
ñ°Tð ÀSó ð
|
|||
|
|
˜ô
|
|||
|
|
r r c óÖ — e Zd ZdZ ddedee defd„Zd„ Zd„ Z dd ed
|
|||
|
|
e
|
|||
|
|
d ee
|
|||
|
|
d ee e d
|
|||
|
|
edee e de e fd„Z
|
|||
|
|
dd ed
|
|||
|
|
e
|
|||
|
|
d e
|
|||
|
|
defd„Zdde e de
|
|||
|
|
defd„Zdefd„Zy)ÚFewShotSelectoruž
|
|||
|
|
Few-shot示例选择器
|
|||
|
|
|
|||
|
|
æ ¹æ�®ç”¨æˆ·é—®é¢˜ï¼Œä»Žç»�验数æ�®é›†ä¸æ£€ç´¢æœ€ç›¸ä¼¼çš„示例，
|
|||
|
|
用于增强Prompt，��LLM生�质�。
|
|||
|
|
NÚ samples_pathÚembedding_model_pathÚ use_cachec ó — t |« | _ g | _ d| _ d| _ || _ d| _ |�|n't j dt « j « | _ | j « | j « y)u]
|
|||
|
|
Args:
|
|||
|
|
samples_path: æ ·æœ¬JSONL文件路径
|
|||
|
|
embedding_model_path: 本地 Embedding 模型目录；None 时用环境��
|
|||
|
|
EMBEDDING_MODEL_PATH（仅 USE_LOCAL_EMBEDDING=true 时有效）
|
|||
|
|
use_cache: 是å�¦ç¼“å˜æ ·æœ¬å�‘é‡�（按å�‘é‡�维度分文件，æ�¢æ¨¡åž‹ä¼šè‡ªåŠ¨é‡�建）
|
|||
|
|
NÚEMBEDDING_MODEL_PATH)r r3 ÚsamplesÚ _embedderÚ
|
|||
|
|
embeddingsr5 Ú
|
|||
|
|
cache_pathÚosÚgetenvÚ_DEFAULT_LOCAL_EMBED_PATHÚstripÚ_embedding_model_pathÚ
|
|||
|
|
_load_samplesÚ _build_index)r r3 r4 r5 s r Ú__init__zFewShotSelector.__init__Q s| € ô ! Ó .ˆÔØ/1ˆŒ Ø ˆŒØ04ˆŒØ"ˆŒØ*.ˆŒð $Ð/ñ
|
|||
|
|
!ä—‘Ð1Ô3LÓM×SÑSÓUð
|
|||
|
|
Ô"ð
|
|||
|
|
×ÑÔ Ø ×ÑÕr c ó — | j j « st d| j › �« ‚t j d| j › �« | j j dd¬« 5 }|D ]S }t
|
|||
|
|
j |j « « }| j j t j |« « ŒU ddd« t j dt | j « › d�« y# 1 sw Y Œ6xY w) u åŠ è½½æ ·æœ¬æ•°æ�®u æ ·æœ¬æ–‡ä»¶ä¸�å˜åœ¨: u åŠ è½½æ ·æœ¬: Úrzutf-8)ÚencodingNu [OK] åŠ è½½ u
|
|||
|
|
ä¸ªæ ·æœ¬)r3 ÚexistsÚFileNotFoundErrorÚloggerÚinfoÚopenÚjsonÚloadsr? r8 Úappendr r Úlen)r ÚfÚliner s r rA z FewShotSelector._load_samplesm sÎ € à× Ñ ×'Ñ'Ô)Ü#Ð&=¸d×>OÑ>OÐ=PÐ$QÓRÐ Rä� ‰ �n T×%6Ñ%6Ð$7Ð8Ô9Ø
|
|||
|
|
×
|
|||
|
|
Ñ
|
|||
|
|
×
|
|||
|
|
#Ñ
|
|||
|
|
# C°'Ð
|
|||
|
|
#Ô
|
|||
|
|
:¸aÛ�Ü—z‘z $§*¡*£,Ó/�Ø— ‘ ×#Ñ#Ô$4×$>Ñ$>¸tÓ$DÕEñ ÷ ;ô
|
|||
|
|
� ‰ �l¤3 t§|¡|Ó#4Ð"5°ZÐ@ÕA÷ ;Ð
|
|||
|
|
:ús
|
|||
|
|
Á2ADÄD
|
|||
|
|
c óH — ddl m} || j « | _ | j j dgddd¬« }t |j d « }| j j | j j › d|› d �z | _
|
|||
|
|
| j r| j j « r“ t j | j « | _ | j j d t! | j" « k( r?| j j d |k( r#t$ j' d
|
|||
|
|
| j › �« y | j" D �cg c]$ }|j, xs dj/ « xs d‘Œ& }}|s-t j0 d|ft j2 ¬« | _ y t$ j' dt! |« › d�« | j j |t5 dt! |« « dd¬« | _ | j rZ| j �Mt j6 | j | j « t$ j' d| j › �« y y y # t( $ r$}t$ j+ d |› d
|
|||
|
|
�« Y d }~�ŒPd }~ww xY wc c}w )u+ 用项目统一 Embedder 构建è¯ä¹‰ç´¢å¼•r )Ú get_embedderÚ é TF©Ú
|
|||
|
|
batch_sizeÚ normalizeÚ
|
|||
|
|
show_progressz .fewshot_dimz.npyu# [OK] åŠ è½½ Few-shot å�‘é‡�缓å˜: Nu Few-shot 缓å˜åŠ 载失败: u ，将é‡�新计算r )Údtypeu 计算 u 个 Few-shot æ ·æœ¬å�‘é‡�...é u [OK] Few-shot å�‘é‡�已缓å˜: ) Úutils.embeddingrS r@ r9 Úencoder, Úshaper3 ÚparentÚstemr; r5 rG ÚnpÚloadr: rO r8 rI rJ Ú ExceptionÚwarningr r? ÚemptyÚfloat32ÚminÚsave)r rS ÚprobeÚdimÚeÚsÚ questionss r rB z FewShotSelector._build_indexz s6 € å0á% d×&@Ñ&@ÓAˆŒØ—‘×%Ñ%Ø
|
|||
|
|
ˆEØØØ ð &ó
|
|||
|
|
ˆô �%—+‘+˜a‘.Ó!ˆà × Ñ × $Ñ $¨$×*;Ñ*;×*@Ñ*@Ð)AÀ ÈcÈUÐRVÐ'WÑ Wð
|
|||
|
|
Œð �>Š>˜dŸo™o× 4Ñ 4Ô 6ð
|
|||
|
|
VÜ"$§'¡'¨$¯/©/Ó":�”à—O‘O×)Ñ)¨!Ñ,´°D·L±LÓ0AÒAØ Ÿ™×-Ñ-¨aÑ0°CÒ7ä—K‘KÐ"EÀdÇoÁoÐEVÐ WÔXØð —\’\ó
|
|||
|
|
á!�ð �]‰]Ò
|
|||
|
|
˜b× 'Ñ 'Ó )Ò 0¨SÑ 0Ø!ð ð
|
|||
|
|
ñ Ü Ÿh™h¨¨3 x´r·z±zÔ BˆDŒOØ ä� ‰ �gœc )›nÐ -Ð-JÐKÔLØ Ÿ.™.×/Ñ/Ø Ü˜2œs 9›~Ó.ØØ ð 0ó
|
|||
|
|
ˆŒð �>Š>˜dŸo™oÐ 9Ü �G‰G�D—O‘O T§_¡_Ô 5Ü �K‰KÐ9¸$¿/¹/Ð9JÐKÕ Lð :ˆ>øô) ò
|
|||
|
|
VÜ—‘Ð!>¸q¸cÐASÐ T×UÒUûð
|
|||
|
|
Vüò
|
|||
|
|
s Â5BI/ Å)J É/ J É8JÊJ r$ Útop_kÚ
|
|||
|
|
min_ratingÚ
|
|||
|
|
required_tagsÚmax_difficultyÚ exclude_qidsr c
|
|||
|
|
óì ‡
|
|||
|
|
— | j � | j €t j d« g S t | j
|
|||
|
|
« dk( rg S | j j
|
|||
|
|
|gddd¬« d }t j | j |« }g } t t || j
|
|||
|
|
« « D ]Œ \ }
|
|||
|
|
\ } Š
|
|||
|
|
|r‰
|
|||
|
|
j |v rŒ|r ‰
|
|||
|
|
j r‰
|
|||
|
|
j |k rŒ8|dk( r‰
|
|||
|
|
j dk7 rŒM|d k( r‰
|
|||
|
|
j d
|
|||
|
|
k( rŒb|rt ˆ
|
|||
|
|
fd „|D « « sŒy| j |
|
|||
|
|
| ‰
|
|||
|
|
f« ŒŽ | j! d „ ¬
|
|||
|
|
« | d| D � �
|
|||
|
|
cg c] \ } } }
|
|||
|
|
|
|
|||
|
|
‘Œ
|
|||
|
|
}} }
|
|||
|
|
t j# d|dd › dt |« › d|› d|› d� « |D ]R }t j% d|j › d|j& dd › d|j › d|j( dd › d� « ŒT |S c c}
|
|||
|
|
} w )uñ
|
|||
|
|
选择最相关的few-shot示例
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
question: 用户问题
|
|||
|
|
top_k: 返回示例数�
|
|||
|
|
min_rating: 最低评分（None表示��制）
|
|||
|
|
required_tags: 必须包å�«çš„æ ‡ç¾ï¼ˆå¦‚["aggregation", "join"]）
|
|||
|
|
max_difficulty: 最大难度（过滤更难的示例）
|
|||
|
|
exclude_qids: 排除的QID（��与当�问题相�）
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
排��的示例列表（最相关优先）
|
|||
|
|
Nu Few-shot 索引未åˆ�始化r rU TFrV Úeasyr Úhardc 3 ó: •K — | ] }|‰j v –— Œ y w©N©r ©Ú.0ÚtagÚsamples €r Ú <genexpr>z)FewShotSelector.select.<locals>.<genexpr>Ü s øè ø€ Ð(UÁ}À¨°· ± Ô);Á}ùó ƒc ó — | d S ©NrU r0 ©Úxs r Ú<lambda>z(FewShotSelector.select.<locals>.<lambda>á s
|
|||
|
|
€ q¨¡t¡er ©Úkeyu Few-shot选择: 问题='é u ...' → 选ä¸u 个示例 (top_k=z
|
|||
|
|
, min_rating=Ú)z [z] é2 z ... (rating=z, tags=é )r9 r: rI ÚerrorrO r8 r] ra ÚdotÚ enumerateÚzipr
|
|||
|
|
r r ÚallrN ÚsortrJ Údebugr r )r r$ rn ro rp rq rr Úq_embÚscoresÚ
|
|||
|
|
candidatesÚidxÚscoreÚ_r| Úselectedrl s ` r ÚselectzFewShotSelector.select« s ø€ ð. �>‰>Ð ! T§_¡_Ð%<Ü �L‰LÐ6Ô 7؈Iä ˆt�|‰|Ó Ò !؈Ià—‘×%Ñ%Ø
|
|||
|
|
ˆJØØØ ð &ó
|