192 lines
22 KiB
Plaintext
192 lines
22 KiB
Plaintext
|
Ë
|
|||
|
|
`¬ØiF ã ó` — U d Z ddlZddlmZmZmZmZ ddlZddl m
|
|||
|
|
Z
|
|||
|
|
ddl m Z m
|
|||
|
|
Z
|
|||
|
|
ddlZdZddlZddlmZ ej( e« Ze G d „ d
|
|||
|
|
« « Zd efd „Z G d
|
|||
|
|
„ d« Zddeded efd„Z G d„ d« Z e Z da ee e d< ddee dee ded efd„Z!d„ Z"y# e$ r dZY Œw xY w) u�
|
|||
|
|
Embedding �装：本地 Qwen3-Embedding，或兼容 OpenAI /v1/embeddings 的远程 API
|
|||
|
|
（ModelScope 推ç�†ã€�阿里云 DashScope ç‰ï¼‰ã€‚
|
|||
|
|
é N)ÚUnionÚListÚOptionalÚAny)ÚPath)Ú AutoModelÚ
|
|||
|
|
AutoTokenizerTF)Ú dataclassc óD — e Zd ZU dZeed< eed< eed< eed< eed< y)Ú_RemoteEmbeddingEnvuG 从环境å�˜é‡�解æž�出的远程 OpenAI-Compatible Embedding é…�置。Úapi_keyÚbase_urlÚmodelÚ max_batchÚlabelN)Ú__name__Ú
|
|||
|
|
__module__Ú __qualname__Ú__doc__ÚstrÚ__annotations__Úint© ó úLC:\Users\24019\Desktop\backman-camel\text2sql_agent_camel\utils\embedding.pyr r s … áQà
|
|||
|
|
ƒL؃MØ ƒJ؃NØ „Jr r Úreturnc óZ — t j dd« j « } t j dd« j « }t j dd« j « }t j d« xs t j dd« j « }| r¸|xs d}t j d« xs t j d d
|
|||
|
|
« j « }t j d d « j « }|j « rt d
|
|||
|
|
t |« « nd}|s t
|
|||
|
|
d« ‚t | |j d« ||d¬« S t j dd« j « }|rð|j d« s|j d« r t
|
|||
|
|
d« ‚t j dd« j « xs d} t j dd« j « }
|
|||
|
|
|
|
|||
|
|
s t
|
|||
|
|
d« ‚t j dd « j « }|j « rt d
|
|||
|
|
t |« « nd }t || j d« |
|
|||
|
|
|d ¬« S |s t
|
|||
|
|
d « ‚|s t
|
|||
|
|
d « ‚t j d!d« j « }|s t
|
|||
|
|
d"« ‚t j d#d$« j « }|j « rt d
|
|||
|
|
t |« « nd%}t ||j d« ||d&¬« S )'u`
|
|||
|
|
优先 ModelScope（MODELSCOPE_*）；未�置时回退 DashScope（DASHSCOPE_*）。
|
|||
|
|
ÚMODELSCOPE_API_KEYÚ ÚMODELSCOPE_BASE_URLÚDASHSCOPE_API_KEYÚDASHSCOPE_BASE_URLÚDASHSCOPE_base_urlz&https://api-inference.modelscope.cn/v1ÚMODELSCOPE_EMBEDDING_MODELÚMODELSCOPE_MODELzQwen/Qwen3-Embedding-8BÚ MODELSCOPE_EMBEDDING_MAX_BATCHÚ32é é u> 未é…�ç½® MODELSCOPE_EMBEDDING_MODEL（或 MODELSCOPE_MODEL）Ú/Ú
|
|||
|
|
ModelScope©r
|
|||
|
|
r r r r ÚOPENAI_API_KEYzhttp://zhttps://u‘ OPENAI_API_KEY ä¸�能填写为 URL：请将网关地å�€å†™åˆ° OPENAI_BASE_URL（例如 http://host:9080/v1），密钥å�•ç‹¬å†™åœ¨ OPENAI_API_KEYÚOPENAI_BASE_URLzhttps://api.openai.com/v1ÚOPENAI_EMBEDDING_MODELuB 使用 OpenAI 兼容 Embedding 时请设置 OPENAI_EMBEDDING_MODELÚOPENAI_EMBEDDING_MAX_BATCHÚ100éd ÚOpenAIuÝ è¿œç¨‹ Embedding 未é…�置：请设置 MODELSCOPE_API_KEY（å�Šå�¯é€‰ BASE_URL），或 OPENAI_API_KEY / OPENAI_EMBEDDING_MODEL（å�Šå�¯é€‰ OPENAI_BASE_URL），或 DASHSCOPE_API_KEY / DASHSCOPE_BASE_URL / DASHSCOPE_MODELu8 未é…�ç½® DASHSCOPE_BASE_URL（或 DASHSCOPE_base_url）ÚDASHSCOPE_MODELu 未é…�ç½® DASHSCOPE_MODELÚ DASHSCOPE_EMBEDDING_MAX_BATCHÚ10é
|
|||
|
|
Ú DashScope)
|
|||
|
|
ÚosÚgetenvÚstripÚisdigitÚmaxr Ú
|
|||
|
|
ValueErrorr ÚrstripÚ
|
|||
|
|
startswith) Úms_keyÚms_baseÚds_keyÚds_baser r Úmbr Úoa_keyÚoa_baseÚoa_models r Ú_remote_embedding_from_envrI # sÉ € ô �Y‰YÐ+¨RÓ
|
|||
|
|
0×
|
|||
|
|
6Ñ
|
|||
|
|
6Ó
|
|||
|
|
8€FÜ�i‰iÐ-¨rÓ2×8Ñ8Ó:€GÜ
|
|||
|
|
�Y‰YÐ*¨BÓ
|
|||
|
|
/×
|
|||
|
|
5Ñ
|
|||
|
|
5Ó
|
|||
|
|
7€Fä
|
|||
|
|
� ‰ Ð&Ó'ÒN¬2¯9©9Ð5IÈ2Ó+Nß �eƒgð ñ
|
|||
|
|
ØÒFÐ Fˆä �I‰IÐ2Ó 3ò
|
|||
|
|
HÜ�y‰yÐ+Ð-FÓGß
|
|||
|
|
‰%‹'ð ô �Y‰YÐ7¸Ó
|
|||
|
|
>×
|
|||
|
|
DÑ
|
|||
|
|
DÓ
|
|||
|
|
FˆØ')§z¡z¤|”C˜œ3˜r›7”O¸ˆ ÙÜ Ð ]Ó^Ð ^Ü"ØØ —_‘_ SÓ)ØØ Ø ô
|
|||
|
|
ð
|
|||
|
|
ô �Y‰YÐ'¨Ó
|
|||
|
|
,×
|
|||
|
|
2Ñ
|
|||
|
|
2Ó
|
|||
|
|
4€FÙ
|
|||
|
|
Ø × Ñ ˜YÔ '¨6×+<Ñ+<¸ZÔ+HÜ ðWóð
|
|||
|
|
ô
|
|||
|
|
|
|||
|
|
�I‰IÐ'¨Ó ,× 2Ñ 2Ó 4Ò SÐ8Sð ô —9‘9Ð 5°rÓ:×@Ñ@ÓBˆÙÜ ØTóð
|
|||
|
|
ô �Y‰YÐ3°UÓ
|
|||
|
|
;×
|
|||
|
|
AÑ
|
|||
|
|
AÓ
|
|||
|
|
CˆØ')§z¡z¤|”C˜œ3˜r›7”O¸ˆ Ü"ØØ —^‘^ CÓ(ØØ Øô
|
|||
|
|
ð
|
|||
|
|
ñ Üð
|
|||
|
|
Kó
|
|||
|
|
ð
|
|||
|
|
ñ
|
|||
|
|
ÜÐSÓTÐTÜ �I‰IÐ'¨Ó ,× 2Ñ 2Ó 4€EÙ ÜÐ4Ó5Ð5Ü �‰Ð2°DÓ 9× ?Ñ ?Ó A€BØ#%§:¡:¤<”�A”s˜2“w”°R€IÜ ØØ— ‘ Ó$ØØØô ð r c
|
|||
|
|
óþ — e Zd ZdZ ddee dee defd„Z ddeee e f de
|
|||
|
|
d ed
|
|||
|
|
e
|
|||
|
|
d ed e j f d
|
|||
|
|
„Z
|
|||
|
|
de j de j d e j fd„Z ddede e de
|
|||
|
|
d e e fd„Zy)ÚQwen3Embeddingu
|
|||
|
|
Qwen3-Embedding-0.6B ��化�装
|
|||
|
|
|
|||
|
|
使用 Mean Pooling å°†token embeddingsè�šå�ˆä¸ºå�¥å�å�‘é‡�，
|
|||
|
|
并进行L2归一化以支�余弦相似度计算。
|
|||
|
|
NÚ
|
|||
|
|
model_pathÚdeviceÚuse_fp16c ó¢ — t s t d« ‚|€t j dd« }t |« }|j « st
|
|||
|
|
d|› d|› d|› �« ‚|€"t j j « rdnd }|| _
|
|||
|
|
t j d
|
|||
|
|
|› d |› �« t j t |« d ¬
|
|||
|
|
« | _ t) j t |« d ¬
|
|||
|
|
« | _ | j* j1 « | j* j3 |« |xr |d k7 | _ | j4 r| j* j7 « | j* j8 j: | _ t j d| j< › �« y# t" $ rj}t |« j% « }d|v sd|v r=t j' d|« t j t |« dd ¬« | _ n‚ Y d}~�ŒEd}~ww xY w# t, $ r3}t |« }d|j% « v sd|v r t/ d« |‚‚ d}~ww xY w)uQ
|
|||
|
|
�始化 embedding 模型
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
model_path: 本地模型路径，若为None则从环境å�˜é‡�æˆ–é»˜è®¤è·¯å¾„åŠ è½½
|
|||
|
|
device: 推ç�†è®¾å¤‡ï¼ˆ'cpu', 'cuda', 'cuda:0'ç‰ï¼‰ï¼ŒNone则自动选择
|
|||
|
|
use_fp16: 是�使用FP16混�精度（GPU�用时建议开�，速度更快）
|
|||
|
|
ug transformers 和 torch 未安装。请�行：
|
|||
|
|
pip install transformers torch sentencepiece accelerateNÚEMBEDDING_MODEL_PATHz"./data/models/Qwen3-Embedding-0.6Bu 模型目录ä¸�å˜åœ¨ï¼šu^
|
|||
|
|
请先下载模型：
|
|||
|
|
modelscope download --model 'Qwen/Qwen3-Embedding-0.6B' --local_dir 'uk '
|
|||
|
|
或从Hugging Face下载：git lfs install && git clone https://huggingface.co/Qwen/Qwen3-Embedding-0.6B ÚcudaÚcpuu åŠ è½½Qwen3-Embedding模型：u ，设备：T)Útrust_remote_codeÚ modelwrapperz
|
|||
|
|
untagged enumuh 快速 tokenizer 解æž� tokenizer.json 失败（多为 tokenizers 过旧），改用 use_fast=False：%sF)Úuse_fastrS Úqwen3z$does not recognize this architectureuƒ 当å‰� transformers 版本ä¸�支æŒ� Qwen3（model_type=qwen3）。请å�‡çº§ï¼špip install "transformers>=4.51.0" "tokenizers>=0.21"u) [OK] æ¨¡åž‹åŠ è½½å®Œæˆ�，嵌入维度：) Ú_TRANSFORMERS_AVAILABLEÚ ImportErrorr9 r: r ÚexistsÚFileNotFoundErrorÚtorchrQ Ú is_availablerM ÚloggerÚinfor Úfrom_pretrainedr Ú tokenizerÚ ExceptionÚlowerÚwarningr r r> Ú RuntimeErrorÚevalÚtorN ÚhalfÚconfigÚ hidden_sizeÚ
|
|||
|
|
embedding_dim)ÚselfrL rM rN ÚeÚerrÚmsgs r Ú__init__zQwen3Embedding.__init__y s5 € õ 'Ü ðJóð
|
|||
|
|
ð Ð ÜŸ™Ø&Ø4óˆJô
|
|||
|
|
˜*Ó%ˆ
|
|||
|
|
Ø× Ñ Ô"Ü#Ø*¨:¨,ð 7 ð !+˜|ð ,DàDNÀ<ð Qóð
|
|||
|
|
ð ˆ>Ü $Ÿz™z× 6Ñ 6Ô 8‘V¸eˆFà ˆŒ Ü� ‰ Ð4°Z°LÀ ÈVÈHÐUÔVð Ü *× :Ñ :Ü�J“°4ô ˆDŒNð" Ü"×2Ñ2Ü�J“°4ôˆDŒJð
|
|||
|
|
�
|
|||
|
|
‰
|
|||
|
|
�‰ÔØ �
|
|||
|
|
‰
|
|||
|
|
�
|
|||
|
|
‰
|
|||
|
|
�fÔ ð !Ò4 V¨u¡_ˆŒ
|
|||
|
|
Ø �=Š=Ø �J‰J�O‰OÔ ð "ŸZ™Z× .Ñ .× :Ñ :ˆÔÜ� ‰ Ð?À×@RÑ@RÐ?SÐTÕUøôM ò Ü�a“&—,‘,“.ˆCØ Ñ$¨¸3Ñ(>Ü—‘ð1àôô
|
|||
|
|
"/×!>Ñ!>ܘ
|
|||
|
|
“O¨eÀtô"�•ð õ ûð ûô$ ò Ü�a“&ˆCؘ#Ÿ)™)›+Ñ%Ð)OÐSVÑ)VÜ"ð\óð ðð
|
|||
|
|
ûð ús1 Â %F Ã%H Æ HÆ%A H
|
|||
|
|
È
|
|||
|
|
HÈ IÈ.I É IÚtextsÚ
|
|||
|
|
batch_sizeÚ normalizeÚ
|
|||
|
|
max_lengthÚ
|
|||
|
|
show_progressr c ój — t |t « r|g}|s1t j d| j ft j
|
|||
|
|
¬« S g }t
|
|||
|
|
dt |« |« }|r ddlm} ||d¬« }|D ]ð } || | |z }
|
|||
|
|
| j |
|
|||
|
|
dd|d¬« j | j « } t j « 5 | j di | ¤Ž} | j j# d ¬
|
|||
|
|
« }
|
|||
|
|
| j d k7 r|
|
|||
|
|
j% « }
|
|||
|
|
|
|
|||
|
|
j' « }
|
|||
|
|
d d d « |r*t j( j+
|
|||
|
|
d d¬
|
|||
|
|
« }|
|
|||
|
|
|dz z }
|
|||
|
|
|j-
|
|||
|
|
« Œò t j. |« j1 t j
|
|||
|
|
« S # t $ r Y �Œ3w xY w# 1 sw Y ŒŠxY w)uâ
|
|||
|
|
ç¼–ç �文本为å�‘é‡�
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
texts: �个文本或文本列表
|
|||
|
|
batch_size: 批处ç�†å¤§å°�ï¼ˆæ ¹æ�®æ˜¾å˜è°ƒæ•´ï¼‰
|
|||
|
|
normalize: 是�L2归一化（余弦相似度必需）
|
|||
|
|
max_length: 最大�列长度（模型支�8192，建议512-1024平衡速度与精度）
|
|||
|
|
show_progress: 是�显示进度�（需安装tqdm）
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
numpy数组，shape=(len(texts), embedding_dim)
|
|||
|
|
r ©Údtype©ÚtqdmÚ Embedding©ÚdescTÚpt)ÚpaddingÚ
|
|||
|
|
truncationrs Úreturn_tensorsr( )ÚdimrR N©ÚaxisÚkeepdims绽×Ùß|Û=r )Ú
|
|||
|
|
isinstancer ÚnpÚemptyrj Úfloat32ÚrangeÚlenry rX r` rf rM r[ Úno_gradr Úlast_hidden_stateÚmeanrR ÚnumpyÚlinalgÚnormÚappendÚvstackÚastype)rk rp rq rr rs rt Úall_embeddingsÚiteratorry ÚiÚbatchÚinputsÚoutputsÚ
|
|||
|
|
embeddingsÚnormss r ÚencodezQwen3Embedding.encodeÔ s– € ô* �eœSÔ !Ø�GˆEáÜ—8‘8˜Q × 2Ñ 2Ð 3¼2¿:¹:ÔFÐ Fàˆô ˜œC ›J¨
|
|||
|
|
Ó3ˆÙ ð
|
|||
|
|
Ý%Ù ¨{Ô;�ó ˆAؘ!˜A
|
|||
|
|
™NÐ+ˆEð —^‘^ØØ Ø Ø%Ø #ð $ó ÷ ‰b�—‘‹oð
|
|||
|
|
|
|||
|
|
ô — ‘ • Ø$˜$Ÿ*™*Ñ. vÑ.�ð %× 6Ñ 6× ;Ñ ;ÀÐ ;Ó B�
|
|||
|
|
ð —;‘; %Ò'Ø!+§ ¡ Ó!1�JØ '× -Ñ -Ó /�
|
|||
|
|
÷ !ñ äŸ ™ Ÿ™ z¸ÀD˜ÓI�Ø '¨5°5©=Ñ 9�
|
|||
|
|
à × !Ñ ! *Õ -ð; ô> �y‰y˜ Ó(×/Ñ/´·
|
|||
|
|
±
|
|||
|
|
Ó;Ð;øôE ò
|
|||
|
|
Úð
|
|||
|
|
ú÷ !� ús Á"F ÃA F)Æ F&Æ%F&Æ)F2 Úemb1Úemb2c óB — t j ||j « S )u
|
|||
|
|
计算两组embedding的余弦相似度
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
emb1: 第一组�� (n, dim)
|
|||
|
|
emb2: 第二组�� (m, dim)
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
相似度矩阵 (n, m)，值域[-1, 1]（若已归一化则为[0, 1]）
|
|||
|
|
©r‡ ÚdotÚT©rk rž rŸ s r Ú
|
|||
|
|
similarityzQwen3Embedding.similarity s € ô �v‰v�d˜DŸF™FÓ#Ð#r ÚqueryÚ documentsÚtop_kc ó& — | j |gd¬« }| j |d¬« }| j ||« d }t j |« ddd… d| }g }|D ]/ } |j t || « || t
|
|||
|
|
| « dœ« Œ1 |S )u
|
|||
|
|
便æ�·æ–¹æ³•ï¼šç¼–ç �查询并检索最相似的文档
|
|||
|
|
|
|||
|
|
Args:
|
|||
|
|
query: 查询文本
|
|||
|
|
documents: 候选文档列表
|
|||
|
|
top_k: 返回�K个结果
|
|||
|
|
|
|||
|
|
Returns:
|
|||
|
|
[{"score": float, "document": str, "index": int}, ...]
|
|||
|
|
T©rr r Néÿÿÿÿ©ÚscoreÚdocumentÚindex)r� r¥ r‡ Úargsortr’ Úfloatr )
|
|||
|
|
rk r¦ r§ r¨ Ú query_embÚdoc_embsÚscoresÚ top_indicesÚresultsÚidxs
|
|||
|
|
r Úencode_and_searchz Qwen3Embedding.encode_and_search- s € ð" —K‘K °4�KÓ8ˆ Ø—;‘;˜y°D�;Ó9ˆà— ‘ ¨HÓ5°aÑ8ˆô —j‘j Ó(©¨2¨Ñ.¨v°Ð6ˆ àˆÛ ˆCØ �N‰NÜ ˜v c™{Ó+Ø % c™NÜ ˜S›ñ õ
|
|||
|
|
ð ð ˆr ©NNF)r) Té F©é )r r r r r r Úboolro r r r r‡ Úndarrayr� r¥ Údictr¸ r r r rK rK q s „ ñð %)Ø $Ø ñ YVà ˜S‘MðYV𠘑
|
|||
|
|
ðYVð ó YVð| Ø Ø Ø #ñ
|