StructBERT与数据库集成MySQL中实现大规模文本相似度检索你是不是也遇到过这样的问题公司里积累了海量的商品描述、用户评论或者文档资料当你想找和某段文字意思相近的内容时用传统的“关键词匹配”方法要么搜不全要么搜不准效率还特别低。比如用户反馈说“手机电池耗电太快”你想在历史反馈库里找类似的问题但用关键词搜“电池”、“耗电”可能会漏掉那些写着“续航不行”、“电量掉得快”的记录。这种基于字面匹配的方式很难理解文字背后的真实含义。今天我们就来聊聊怎么解决这个问题。我会带你一步步把一个能“理解”语义的AI模型——StructBERT和咱们最熟悉的MySQL数据库结合起来搭建一套能进行“语义搜索”的系统。你不用被“向量”、“嵌入”这些词吓到我会用最直白的方式告诉你它是怎么工作的以及怎么把它用起来。简单来说我们的目标是让数据库不仅能“记住”文字还能“理解”文字的意思。当你搜索时它可以根据“意思”的相似度把相关的内容都找出来不管它们用的词是不是一样。1. 为什么需要语义检索从关键词匹配到“理解”含义我们先来搞清楚为什么传统的做法不够用了。想象一下你的数据库里存了十万条商品标题。传统的关键词搜索就像是在玩“找相同单词”的游戏。你搜索“红色连衣裙”它只会严格匹配包含“红色”和“连衣裙”这两个词条的行。但如果有一条记录是“酒红色长裙”或者“樱桃色洋装”即使它们描述的是非常相似的商品也很可能不会被搜到。这就是关键词检索的局限性它缺乏对语义的理解。而语义检索目标就是突破这个限制。它的核心思想是先把一段文字转换成一个数学上的“向量”你可以把它想象成一段文字在“意思空间”里的坐标然后通过计算这些向量之间的距离比如余弦相似度来判断两段文字在含义上是否接近。向量距离近 ≈ 语义相似度高。这样做的好处显而易见搜得更准能找出表达不同但意思相同的文本。搜得更全能发现那些相关但不完全匹配的内容。支持复杂查询可以用一段完整的描述比如一段用户反馈去搜索而不仅仅是几个关键词。那么谁来负责把文字变成这个神奇的“向量”呢这就是预训练语言模型比如我们这次要用的StructBERT的工作了。2. 核心组件介绍StructBERT与向量数据库概念2.1 StructBERT不只是理解词还理解句子结构BERT大家可能都听说过它在理解语言方面非常厉害。StructBERT可以看作是BERT的一个“升级版”它在原始BERT的基础上额外加强了对句子层次结构的建模能力。你可以这样理解普通的BERT模型能很好地理解每个词在上下文中的意思比如“苹果”在“吃苹果”和“苹果手机”中含义不同。而StructBERT更进一步它还能更好地把握词与词之间的顺序、句子的整体结构。这对于准确捕捉整个句子的语义生成高质量的文本向量非常有帮助。对于我们的语义检索任务来说使用StructBERT生成的向量理论上能更精准地反映文本的整体含义从而提升搜索的准确度。好在像Transformers这样的开源库已经提供了非常方便的接口让我们可以轻松调用这些强大的模型。2.2 向量存储当MySQL遇上高维数据生成向量之后下一个问题就是怎么存怎么快速查专门的向量数据库如Milvus, Pinecone是为这类场景而生的性能很好。但对于很多已经重度依赖MySQL的企业来说引入一个新系统意味着额外的学习和运维成本。那么能不能就在MySQL里搞定呢答案是可以但有讲究。一个StructBERT生成的文本向量通常是768维768个浮点数。直接在MySQL里建一个包含768个FLOAT字段的表是一种方法但非常笨重管理和查询都很麻烦。更常见的做法是将整个768维的向量序列化后存入一个字段。MySQL 5.7之后提供的JSON类型字段或者BLOB/TEXT类型字段就非常适合做这个容器。-- 示例表结构 CREATE TABLE product_descriptions ( id INT AUTO_INCREMENT PRIMARY KEY, title VARCHAR(255), content TEXT, -- 将768维的向量序列化为JSON数组存储 title_vector JSON, content_vector JSON, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP );存进去只是第一步真正的挑战在于“查”。如何在上百万条记录中快速找到与目标向量最相似的那几十条这就是近似最近邻搜索ANN算法要解决的问题。我们不一定需要在MySQL内部实现复杂的ANN但可以利用一些技巧和扩展来达到可用的性能。3. 实战搭建从模型调用到数据入库说了这么多我们动手搭一个看看。整个流程可以分为三步准备环境、处理文本生成向量、把向量存进数据库。3.1 环境准备与依赖安装首先你需要一个Python环境3.7以上版本比较稳妥。我们主要通过pip安装必要的库。# 安装核心的机器学习库和模型框架 pip install torch transformers # 安装数据库连接库 pip install mysql-connector-python # 安装一些可能用到的工具库比如用于计算相似度的numpy pip install numpy这里没有列出tensorflow因为Transformers库和PyTorch搭配已经足够。mysql-connector-python是MySQL官方推荐的Python驱动用起来很直接。数据库方面你需要一个正在运行的MySQL服务器建议5.7或8.0版本并创建一个新的数据库和用户用于我们这个实验。你可以通过命令行或者MySQL Workbench这样的图形工具来完成。-- 在MySQL中执行 CREATE DATABASE semantic_search_db; CREATE USER search_user% IDENTIFIED BY your_strong_password; GRANT ALL PRIVILEGES ON semantic_search_db.* TO search_user%; FLUSH PRIVILEGES;3.2 使用StructBERT生成文本向量环境搞定后我们来写Python代码调用StructBERT模型。这里我们使用transformers库它封装得非常友好。import torch from transformers import AutoTokenizer, AutoModel import numpy as np # 1. 加载StructBERT模型和分词器 # 这里以‘alibaba-pai/structbert-base-zh’中文模型为例如果你处理英文可以选择其他StructBERT变体 model_name alibaba-pai/structbert-base-zh tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModel.from_pretrained(model_name) # 将模型设置为评估模式节省计算资源 model.eval() def get_text_vector(text): 将输入文本转换为768维的向量。 # 2. 对文本进行分词和编码转换为模型需要的输入格式 inputs tokenizer(text, return_tensorspt, paddingTrue, truncationTrue, max_length512) # 3. 禁用梯度计算加快推理速度 with torch.no_grad(): # 4. 前向传播获取模型输出 outputs model(**inputs) # 5. 通常我们取最后一层隐藏状态的平均值mean pooling作为句子向量 # outputs.last_hidden_state 的形状是 [batch_size, sequence_length, hidden_size] last_hidden_states outputs.last_hidden_state # 对序列长度维度第1维求平均得到句向量 sentence_vector last_hidden_states.mean(dim1).squeeze().numpy() return sentence_vector.tolist() # 转换为Python列表方便后续处理 # 试试效果 sample_text 这款智能手机的电池续航能力非常出色可以轻松使用一整天。 vector get_text_vector(sample_text) print(f文本{sample_text}) print(f生成向量的维度{len(vector)}) print(f向量前10个值{vector[:10]}...)运行这段代码你会看到一个长度为768的列表这就是你的文本在语义空间中的“坐标”。3.3 设计数据库表结构并存储向量向量生成后我们设计一张表来存放它以及原始的文本。前面提到的JSON类型是个好选择。import mysql.connector import json def save_to_mysql(text, vector): 将文本及其向量保存到MySQL数据库。 connection None try: # 1. 建立数据库连接 connection mysql.connector.connect( hostlocalhost, usersearch_user, passwordyour_strong_password, databasesemantic_search_db ) cursor connection.cursor() # 2. 准备SQL插入语句 # 注意这里将Python列表通过json.dumps转换为JSON字符串存入 sql INSERT INTO product_descriptions (title, content, title_vector) VALUES (%s, %s, %s) # 假设我们把文本放在title字段vector存入title_vector # 实际应用中content_vector可能存储更长文本的向量 val (text[:255], text, json.dumps(vector)) # 标题截断以防超长 # 3. 执行插入 cursor.execute(sql, val) connection.commit() print(f记录插入成功ID: {cursor.lastrowid}) except mysql.connector.Error as err: print(f数据库错误: {err}) finally: if connection and connection.is_connected(): cursor.close() connection.close() # 将刚才生成的向量存入数据库 save_to_mysql(sample_text, vector)你可以写一个循环批量处理你的历史文本数据将它们全部转化为向量并入库这就完成了“向量化”的基建工作。4. 实现语义检索在MySQL中搜索相似文本数据准备好了重头戏来了怎么搜最直接的想法是把目标文本也变成向量然后计算它和数据库中每一个向量的相似度比如余弦相似度再排序。这在数据量小的时候可行但数据量大时这种“暴力计算”会慢得无法接受。我们需要一些更聪明的办法。这里介绍两种在MySQL环境下可行的思路。4.1 方法一使用自定义函数计算相似度适用于中小规模数据如果数据量在几十万到百万级并且你的MySQL服务器性能不错可以尝试在数据库内部计算余弦相似度。这需要创建一个自定义函数UDF。余弦相似度计算公式为cos(θ) (A·B) / (||A|| * ||B||)。我们可以用MySQL的数学函数来实现它。但注意MySQL原生不支持直接对JSON数组进行向量运算我们需要先提取。-- 首先创建一个计算余弦相似度的存储函数 DELIMITER // CREATE FUNCTION cosine_similarity(vec1_json JSON, vec2_json JSON) RETURNS FLOAT DETERMINISTIC BEGIN DECLARE dot_product FLOAT DEFAULT 0.0; DECLARE norm1 FLOAT DEFAULT 0.0; DECLARE norm2 FLOAT DEFAULT 0.0; DECLARE i INT DEFAULT 0; DECLARE val1, val2 FLOAT; -- 假设向量维度是768 WHILE i 768 DO SET val1 JSON_EXTRACT(vec1_json, CONCAT($[, i, ])); SET val2 JSON_EXTRACT(vec2_json, CONCAT($[, i, ])); SET dot_product dot_product val1 * val2; SET norm1 norm1 val1 * val1; SET norm2 norm2 val2 * val2; SET i i 1; END WHILE; SET norm1 SQRT(norm1); SET norm2 SQRT(norm2); IF norm1 0 OR norm2 0 THEN RETURN 0.0; ELSE RETURN dot_product / (norm1 * norm2); END IF; END // DELIMITER ;创建好函数后搜索就变得简单了def search_similar_texts(query_text, top_k10): 在数据库中搜索与query_text语义最相似的top_k条记录。 query_vector get_text_vector(query_text) query_vector_json json.dumps(query_vector) connection mysql.connector.connect(...) # 同上省略连接参数 cursor connection.cursor(dictionaryTrue) # 返回字典格式 # 使用自定义函数进行相似度计算和排序 sql SELECT id, title, content, cosine_similarity(%s, title_vector) AS similarity FROM product_descriptions ORDER BY similarity DESC LIMIT %s cursor.execute(sql, (query_vector_json, top_k)) results cursor.fetchall() for row in results: print(fID: {row[id]}, 相似度: {row[similarity]:.4f}) print(f标题: {row[title]}) print(- * 50) cursor.close() connection.close() return results # 尝试搜索 search_query 电量消耗很快不够耐用 search_similar_texts(search_query)这种方法直观但计算开销大因为需要扫描全表并对每一行都执行一次复杂的标量函数。当数据量很大时性能会成为瓶颈。4.2 方法二近似搜索与索引优化思路为了应对海量数据千万级以上我们必须引入近似搜索的思想。核心是减少需要精确计算相似度的向量数量。一个在MySQL中可实践的思路是“量化倒排索引”的简化版聚类与量化先用所有向量训练一个聚类模型如K-Means得到比如1024个“聚类中心”。每个向量都属于离它最近的那个中心。我们把这个中心的ID一个整数也存入数据库。建立索引在“聚类中心ID”这个字段上建立普通B-Tree索引。两阶段搜索粗筛当用户查询时先计算查询向量属于哪个聚类中心。然后利用索引快速找到所有属于这个中心或相邻几个中心的向量候选集。这个集合比全表数据小得多。精排在这个小的候选集里再用上面提到的余弦相似度进行精确计算和排序。这样我们通过一次快速的索引查找过滤掉了绝大多数不相关的数据大大提升了搜索速度。当然这会损失一点点精度因为可能漏掉那些在聚类边界、实际语义很接近的向量。但在大多数实际应用中这种精度损失是可以接受的换来的性能提升却是巨大的。-- 改进后的表结构增加了cluster_id字段 ALTER TABLE product_descriptions ADD COLUMN cluster_id INT; CREATE INDEX idx_cluster_id ON product_descriptions(cluster_id);在实际操作中聚类和分配cluster_id的过程需要在数据入库前后用Python的机器学习库如scikit-learn离线完成。5. 总结与展望走完这一趟你会发现把StructBERT这样的AI模型和MySQL结合起来做语义检索并没有想象中那么神秘。核心就是“向量化存储”和“相似度计算”两件事。对于数据量不大的场景直接在MySQL里写个自定义函数来计算简单够用。一旦数据涨到百万、千万级别就必须考虑近似搜索的策略了比如我们提到的聚类索引方法这能有效在精度和速度之间取得平衡。实际用起来这套方案确实能解决关键词匹配的很多痛点。比如在客服系统里快速定位相似工单在内容平台去重或推荐相似文章效果提升是立竿见影的。当然它也不是银弹生成向量需要计算资源设计索引需要一些技巧而且对长文本的处理可能需要更复杂的策略比如分段向量化。如果你正在为海量文本检索发愁不妨从一个小规模的原型开始试试。先用几百条数据跑通整个流程感受一下语义搜索带来的不同然后再思考如何将它扩展到你的整个业务数据中去。技术总是在解决具体问题中迭代的迈出第一步最重要。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
StructBERT与数据库集成：MySQL中实现大规模文本相似度检索
StructBERT与数据库集成MySQL中实现大规模文本相似度检索你是不是也遇到过这样的问题公司里积累了海量的商品描述、用户评论或者文档资料当你想找和某段文字意思相近的内容时用传统的“关键词匹配”方法要么搜不全要么搜不准效率还特别低。比如用户反馈说“手机电池耗电太快”你想在历史反馈库里找类似的问题但用关键词搜“电池”、“耗电”可能会漏掉那些写着“续航不行”、“电量掉得快”的记录。这种基于字面匹配的方式很难理解文字背后的真实含义。今天我们就来聊聊怎么解决这个问题。我会带你一步步把一个能“理解”语义的AI模型——StructBERT和咱们最熟悉的MySQL数据库结合起来搭建一套能进行“语义搜索”的系统。你不用被“向量”、“嵌入”这些词吓到我会用最直白的方式告诉你它是怎么工作的以及怎么把它用起来。简单来说我们的目标是让数据库不仅能“记住”文字还能“理解”文字的意思。当你搜索时它可以根据“意思”的相似度把相关的内容都找出来不管它们用的词是不是一样。1. 为什么需要语义检索从关键词匹配到“理解”含义我们先来搞清楚为什么传统的做法不够用了。想象一下你的数据库里存了十万条商品标题。传统的关键词搜索就像是在玩“找相同单词”的游戏。你搜索“红色连衣裙”它只会严格匹配包含“红色”和“连衣裙”这两个词条的行。但如果有一条记录是“酒红色长裙”或者“樱桃色洋装”即使它们描述的是非常相似的商品也很可能不会被搜到。这就是关键词检索的局限性它缺乏对语义的理解。而语义检索目标就是突破这个限制。它的核心思想是先把一段文字转换成一个数学上的“向量”你可以把它想象成一段文字在“意思空间”里的坐标然后通过计算这些向量之间的距离比如余弦相似度来判断两段文字在含义上是否接近。向量距离近 ≈ 语义相似度高。这样做的好处显而易见搜得更准能找出表达不同但意思相同的文本。搜得更全能发现那些相关但不完全匹配的内容。支持复杂查询可以用一段完整的描述比如一段用户反馈去搜索而不仅仅是几个关键词。那么谁来负责把文字变成这个神奇的“向量”呢这就是预训练语言模型比如我们这次要用的StructBERT的工作了。2. 核心组件介绍StructBERT与向量数据库概念2.1 StructBERT不只是理解词还理解句子结构BERT大家可能都听说过它在理解语言方面非常厉害。StructBERT可以看作是BERT的一个“升级版”它在原始BERT的基础上额外加强了对句子层次结构的建模能力。你可以这样理解普通的BERT模型能很好地理解每个词在上下文中的意思比如“苹果”在“吃苹果”和“苹果手机”中含义不同。而StructBERT更进一步它还能更好地把握词与词之间的顺序、句子的整体结构。这对于准确捕捉整个句子的语义生成高质量的文本向量非常有帮助。对于我们的语义检索任务来说使用StructBERT生成的向量理论上能更精准地反映文本的整体含义从而提升搜索的准确度。好在像Transformers这样的开源库已经提供了非常方便的接口让我们可以轻松调用这些强大的模型。2.2 向量存储当MySQL遇上高维数据生成向量之后下一个问题就是怎么存怎么快速查专门的向量数据库如Milvus, Pinecone是为这类场景而生的性能很好。但对于很多已经重度依赖MySQL的企业来说引入一个新系统意味着额外的学习和运维成本。那么能不能就在MySQL里搞定呢答案是可以但有讲究。一个StructBERT生成的文本向量通常是768维768个浮点数。直接在MySQL里建一个包含768个FLOAT字段的表是一种方法但非常笨重管理和查询都很麻烦。更常见的做法是将整个768维的向量序列化后存入一个字段。MySQL 5.7之后提供的JSON类型字段或者BLOB/TEXT类型字段就非常适合做这个容器。-- 示例表结构 CREATE TABLE product_descriptions ( id INT AUTO_INCREMENT PRIMARY KEY, title VARCHAR(255), content TEXT, -- 将768维的向量序列化为JSON数组存储 title_vector JSON, content_vector JSON, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP );存进去只是第一步真正的挑战在于“查”。如何在上百万条记录中快速找到与目标向量最相似的那几十条这就是近似最近邻搜索ANN算法要解决的问题。我们不一定需要在MySQL内部实现复杂的ANN但可以利用一些技巧和扩展来达到可用的性能。3. 实战搭建从模型调用到数据入库说了这么多我们动手搭一个看看。整个流程可以分为三步准备环境、处理文本生成向量、把向量存进数据库。3.1 环境准备与依赖安装首先你需要一个Python环境3.7以上版本比较稳妥。我们主要通过pip安装必要的库。# 安装核心的机器学习库和模型框架 pip install torch transformers # 安装数据库连接库 pip install mysql-connector-python # 安装一些可能用到的工具库比如用于计算相似度的numpy pip install numpy这里没有列出tensorflow因为Transformers库和PyTorch搭配已经足够。mysql-connector-python是MySQL官方推荐的Python驱动用起来很直接。数据库方面你需要一个正在运行的MySQL服务器建议5.7或8.0版本并创建一个新的数据库和用户用于我们这个实验。你可以通过命令行或者MySQL Workbench这样的图形工具来完成。-- 在MySQL中执行 CREATE DATABASE semantic_search_db; CREATE USER search_user% IDENTIFIED BY your_strong_password; GRANT ALL PRIVILEGES ON semantic_search_db.* TO search_user%; FLUSH PRIVILEGES;3.2 使用StructBERT生成文本向量环境搞定后我们来写Python代码调用StructBERT模型。这里我们使用transformers库它封装得非常友好。import torch from transformers import AutoTokenizer, AutoModel import numpy as np # 1. 加载StructBERT模型和分词器 # 这里以‘alibaba-pai/structbert-base-zh’中文模型为例如果你处理英文可以选择其他StructBERT变体 model_name alibaba-pai/structbert-base-zh tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModel.from_pretrained(model_name) # 将模型设置为评估模式节省计算资源 model.eval() def get_text_vector(text): 将输入文本转换为768维的向量。 # 2. 对文本进行分词和编码转换为模型需要的输入格式 inputs tokenizer(text, return_tensorspt, paddingTrue, truncationTrue, max_length512) # 3. 禁用梯度计算加快推理速度 with torch.no_grad(): # 4. 前向传播获取模型输出 outputs model(**inputs) # 5. 通常我们取最后一层隐藏状态的平均值mean pooling作为句子向量 # outputs.last_hidden_state 的形状是 [batch_size, sequence_length, hidden_size] last_hidden_states outputs.last_hidden_state # 对序列长度维度第1维求平均得到句向量 sentence_vector last_hidden_states.mean(dim1).squeeze().numpy() return sentence_vector.tolist() # 转换为Python列表方便后续处理 # 试试效果 sample_text 这款智能手机的电池续航能力非常出色可以轻松使用一整天。 vector get_text_vector(sample_text) print(f文本{sample_text}) print(f生成向量的维度{len(vector)}) print(f向量前10个值{vector[:10]}...)运行这段代码你会看到一个长度为768的列表这就是你的文本在语义空间中的“坐标”。3.3 设计数据库表结构并存储向量向量生成后我们设计一张表来存放它以及原始的文本。前面提到的JSON类型是个好选择。import mysql.connector import json def save_to_mysql(text, vector): 将文本及其向量保存到MySQL数据库。 connection None try: # 1. 建立数据库连接 connection mysql.connector.connect( hostlocalhost, usersearch_user, passwordyour_strong_password, databasesemantic_search_db ) cursor connection.cursor() # 2. 准备SQL插入语句 # 注意这里将Python列表通过json.dumps转换为JSON字符串存入 sql INSERT INTO product_descriptions (title, content, title_vector) VALUES (%s, %s, %s) # 假设我们把文本放在title字段vector存入title_vector # 实际应用中content_vector可能存储更长文本的向量 val (text[:255], text, json.dumps(vector)) # 标题截断以防超长 # 3. 执行插入 cursor.execute(sql, val) connection.commit() print(f记录插入成功ID: {cursor.lastrowid}) except mysql.connector.Error as err: print(f数据库错误: {err}) finally: if connection and connection.is_connected(): cursor.close() connection.close() # 将刚才生成的向量存入数据库 save_to_mysql(sample_text, vector)你可以写一个循环批量处理你的历史文本数据将它们全部转化为向量并入库这就完成了“向量化”的基建工作。4. 实现语义检索在MySQL中搜索相似文本数据准备好了重头戏来了怎么搜最直接的想法是把目标文本也变成向量然后计算它和数据库中每一个向量的相似度比如余弦相似度再排序。这在数据量小的时候可行但数据量大时这种“暴力计算”会慢得无法接受。我们需要一些更聪明的办法。这里介绍两种在MySQL环境下可行的思路。4.1 方法一使用自定义函数计算相似度适用于中小规模数据如果数据量在几十万到百万级并且你的MySQL服务器性能不错可以尝试在数据库内部计算余弦相似度。这需要创建一个自定义函数UDF。余弦相似度计算公式为cos(θ) (A·B) / (||A|| * ||B||)。我们可以用MySQL的数学函数来实现它。但注意MySQL原生不支持直接对JSON数组进行向量运算我们需要先提取。-- 首先创建一个计算余弦相似度的存储函数 DELIMITER // CREATE FUNCTION cosine_similarity(vec1_json JSON, vec2_json JSON) RETURNS FLOAT DETERMINISTIC BEGIN DECLARE dot_product FLOAT DEFAULT 0.0; DECLARE norm1 FLOAT DEFAULT 0.0; DECLARE norm2 FLOAT DEFAULT 0.0; DECLARE i INT DEFAULT 0; DECLARE val1, val2 FLOAT; -- 假设向量维度是768 WHILE i 768 DO SET val1 JSON_EXTRACT(vec1_json, CONCAT($[, i, ])); SET val2 JSON_EXTRACT(vec2_json, CONCAT($[, i, ])); SET dot_product dot_product val1 * val2; SET norm1 norm1 val1 * val1; SET norm2 norm2 val2 * val2; SET i i 1; END WHILE; SET norm1 SQRT(norm1); SET norm2 SQRT(norm2); IF norm1 0 OR norm2 0 THEN RETURN 0.0; ELSE RETURN dot_product / (norm1 * norm2); END IF; END // DELIMITER ;创建好函数后搜索就变得简单了def search_similar_texts(query_text, top_k10): 在数据库中搜索与query_text语义最相似的top_k条记录。 query_vector get_text_vector(query_text) query_vector_json json.dumps(query_vector) connection mysql.connector.connect(...) # 同上省略连接参数 cursor connection.cursor(dictionaryTrue) # 返回字典格式 # 使用自定义函数进行相似度计算和排序 sql SELECT id, title, content, cosine_similarity(%s, title_vector) AS similarity FROM product_descriptions ORDER BY similarity DESC LIMIT %s cursor.execute(sql, (query_vector_json, top_k)) results cursor.fetchall() for row in results: print(fID: {row[id]}, 相似度: {row[similarity]:.4f}) print(f标题: {row[title]}) print(- * 50) cursor.close() connection.close() return results # 尝试搜索 search_query 电量消耗很快不够耐用 search_similar_texts(search_query)这种方法直观但计算开销大因为需要扫描全表并对每一行都执行一次复杂的标量函数。当数据量很大时性能会成为瓶颈。4.2 方法二近似搜索与索引优化思路为了应对海量数据千万级以上我们必须引入近似搜索的思想。核心是减少需要精确计算相似度的向量数量。一个在MySQL中可实践的思路是“量化倒排索引”的简化版聚类与量化先用所有向量训练一个聚类模型如K-Means得到比如1024个“聚类中心”。每个向量都属于离它最近的那个中心。我们把这个中心的ID一个整数也存入数据库。建立索引在“聚类中心ID”这个字段上建立普通B-Tree索引。两阶段搜索粗筛当用户查询时先计算查询向量属于哪个聚类中心。然后利用索引快速找到所有属于这个中心或相邻几个中心的向量候选集。这个集合比全表数据小得多。精排在这个小的候选集里再用上面提到的余弦相似度进行精确计算和排序。这样我们通过一次快速的索引查找过滤掉了绝大多数不相关的数据大大提升了搜索速度。当然这会损失一点点精度因为可能漏掉那些在聚类边界、实际语义很接近的向量。但在大多数实际应用中这种精度损失是可以接受的换来的性能提升却是巨大的。-- 改进后的表结构增加了cluster_id字段 ALTER TABLE product_descriptions ADD COLUMN cluster_id INT; CREATE INDEX idx_cluster_id ON product_descriptions(cluster_id);在实际操作中聚类和分配cluster_id的过程需要在数据入库前后用Python的机器学习库如scikit-learn离线完成。5. 总结与展望走完这一趟你会发现把StructBERT这样的AI模型和MySQL结合起来做语义检索并没有想象中那么神秘。核心就是“向量化存储”和“相似度计算”两件事。对于数据量不大的场景直接在MySQL里写个自定义函数来计算简单够用。一旦数据涨到百万、千万级别就必须考虑近似搜索的策略了比如我们提到的聚类索引方法这能有效在精度和速度之间取得平衡。实际用起来这套方案确实能解决关键词匹配的很多痛点。比如在客服系统里快速定位相似工单在内容平台去重或推荐相似文章效果提升是立竿见影的。当然它也不是银弹生成向量需要计算资源设计索引需要一些技巧而且对长文本的处理可能需要更复杂的策略比如分段向量化。如果你正在为海量文本检索发愁不妨从一个小规模的原型开始试试。先用几百条数据跑通整个流程感受一下语义搜索带来的不同然后再思考如何将它扩展到你的整个业务数据中去。技术总是在解决具体问题中迭代的迈出第一步最重要。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
