文章目录一、引言二、MyScaleDB 基本介绍三、MyScaleDB的实际应用 - Science Navigator3.1 数据存储3.2 数据管理与检索3.3 系统调优和维护四、展望AI 数据库支撑的大模型 大数据 Agent 平台参考资料一、引言RAG 的出现使得 LLM 能从大规模的知识库中精确地抽取信息并生成实时、专业、富有洞察力的答案。伴随而来的是 RAG 系统的核心功能向量数据库也得到了迅速发展按照向量数据库的设计理念我们可以将其大致分为三类专用向量数据库关键字和向量结合的检索系统以及 SQL 向量数据库。专用向量数据库以 Pinecone/Weaviate/Milvus 为代表的专用向量数据库一开始即为向量检索设计打造向量检索性能出色不过通用的数据管理功能较弱。关键字和向量结合的检索系统以 Elasticsearch/OpenSearch 为代表的关键字和向量检索系统因其完善的关键字检索功能得到广泛生产应用不过系统资源占用较多关键字与向量的联合查询精度和性能不尽人如意。SQL 向量数据库以 pgvectorPostgreSQL 的向量搜索插件和 MyScale AI 数据库为代表的 SQL 向量数据库基于 SQL 并且数据管理功能强大。不过因为 PostgreSQL 行存的劣势和向量算法的局限性pgvector 在复杂向量查询中精度较低。MyScale AI 数据库MyScaleDB基于高性能的 SQL 列式存储数据库打造自研高性能和高数据密度的向量索引算法并针对 SQL 和向量的联合查询对检索和存储引擎进行了深度的研发和优化是全球第一个综合性能和性价比大幅超越了专用向量数据库的 SQL 向量数据库产品。二、MyScaleDB 基本介绍得益于 SQL 数据库在海量结构化数据场景长期的打磨MyScaleDB 同时支持海量向量和结构化数据包括字符串、JSON、空间、时序等多种数据类型的高效存储和查询并将在近期推出功能强大的倒排表和关键字检索功能进一步提高 RAG 系统的精度并替代 Elasticsearch 等系统。经过近 6 年的开发和数次版本迭代MyScaleDB 已于近期开源欢迎所有开发者和企业用户在 GitHub 上 Star并开启使用 SQL 构建生产级 AI 应用的新玩法MyScale Vector Database Benchmark 项目地址https://github.com/myscale/vector-db-benchmarkMyScaleDB 的特点1. 完全兼容 SQL精度提升、成本降低借助完善的 SQL 数据管理能力强大高效的结构化、向量和异构数据存储和查询能力MyScaleDB 有望成为第一款真正面向大模型和大数据的 AI 数据库。2. SQL 和向量的原生兼容性自从 SQL 诞生半个世纪以来尽管其中经历了 NoSQL、大数据等浪潮不断进化的 SQL 数据库还是占据了数据管理市场主要份额甚至 Elasticsearch、Spark 等检索和大数据系统也陆续支持了 SQL 接口。而专用的向量数据库尽管为向量做了优化和系统设计但其查询接口通常缺乏规范性没有高级的查询语言。这导致了接口的泛化能力较弱例如 Pinecone 的查询接口甚至不包括指定要检索的字段更不用说分页、聚合等数据库常见的功能。接口的泛化能力弱意味着其变化频繁增加了学习成本。3. 支持结构化、向量和关键字等数据联合查询在实际 RAG 系统中检索的精度和效果是制约其落地的主要瓶颈。这需要 AI 数据库高效支持结构化、向量和关键字等数据联合查询综合提高检索精度。例如在金融场景中用户需要针对文档库查询 “某公司 2023 年全球各项业务的收入情况如何”“某公司”“2023 年” 等结构化元信息并不能被向量很好的抓取甚至不一定在对应的段落中有直接的体现。直接在全库上执行向量检索会得到大量的干扰信息并降低系统最终的准确性。另一方面公司名称年份等通常是可以作为文档的元信息被获取的我们可以将WHERE year2023 AND company ILIKE %company_name%作为向量查询的过滤条件从而精准的定位到相关信息大幅提升了系统的可靠性。在金融、制造业、科研等场景中MyScale 团队都观察到异构数据建模和关联查询的威力很多场景下甚至有 60% 精度到 90% 的提升。MyScale 团队则认为经过系统性优化的 SQL 和向量系统是可以既保持完整的 SQL 支持又保证向量检索高性能的而他们的开源评测的结果已经充分论证了这一点。三、MyScaleDB的实际应用 - Science Navigator在实际复杂 AI 应用场景中SQL 和向量结合可以极大增加数据建模的灵活性并简化开发流程。例如MyScale 团队与北京科学智能研究院合作的Science Navigator项目是一个创新的学术论文搜索和对话 agent 平台其核心优势之一在于充分利用了 MyScale AI 数据库的强大功能。MyScale 不仅支持高效的向量搜索和 BM25 关键词搜索还提供了全面的 SQL 支持这一特性为 Science Navigator 的数据管理带来了巨大的灵活性和效率。Science Navigator — 使用 MyScale 实现亿级向量与结构化数据的毫秒级检索Science Navigator 1.0https://www.bohrium.com/玻尔空间站AI For Science领域的Hugging Face提供高水平的文献阅读、计算和实验平台3.1 数据存储平台的数据基础包括 2 亿篇论文的元数据和 300 万篇 arXiv 论文的全文内容。通过专门开发的 PDF 解析工具Science Navigator 能够精确提取论文中的文本、图片、表格和数学公式。这些结构化和非结构化数据都被统一存储在 MyScale 中既保留了原始格式又转换为向量形式以支持高效搜索。在该项目中利用 MyScaleDB 对于海量的科学文献数据做检索和智能问答其主要的 SQL 表结构就有 10 多个其中多张表结构建立了向量和倒排表索引并利用主键和外键做了关联。系统在实际查询中也会涉及结构化、向量和关键字数据的联合查询以及几张表的关联查询。在专用的向量数据库中这些建模和关联是难以实现的也会导致最终的系统迭代缓慢、查询低效和维护困难。Science Navigator 主要表结构示意图加粗体的列建立了向量索引或倒排索引Science Navigator 主要表结构示意图加粗体的列建立了向量索引或倒排索引3.2 数据管理与检索得益于 MyScale 的 SQL 支持Science Navigator 能够将各种复杂的论文元数据存储在同一个数据库系统中。这包括论文之间的引用关系、各个学术刊物的详细信息、作者与论文之间的关联等。这种集中化的数据存储方式大大简化了数据管理流程同时提高了查询效率。如上图所示Science Navigator 在 MyScale 用多张关系型表格存储相关的论文数据其中的 paper_table 保存了论文元数据text_table 保存了 PDF 解析出来的全文数据我们对其中的文本以及文本转成的向量创建了关键字倒排索引和向量索引。对于从 PDF 中解析出来的图像我们将 embedding 保存到了 image_table 中并创建向量索引。对于作者元数据的 author_table我们只针对作者姓名创建关键字倒排索引。对于论文之间的引用关系它们被直接保存在关系型表格 citation_table 中。Science Navigator 的搜索功能充分利用了 MyScale 的混合搜索能力。用户可以同时使用向量搜索和关键词搜索结合 SQL 查询来精确定位所需的学术资源。例如可以轻松实现基于论文内容相似度、发表年份、引用次数等多维度的复杂查询。在对话功能方面MyScale 的 SQL 支持使得 Science Navigator 能够快速检索和组合各类相关信息为用户提供全面而准确的回答。系统可以轻松关联论文内容、作者信息、引用网络等数据生成深入的学术见解。3.3 系统调优和维护为了持续优化性能Science Navigator 利用 MyScale 存储和分析用户交互数据。聊天历史、大模型调用轨迹等信息都被记录在 MyScale 中。通过 SQL 查询和分析这些数据平台能够洞察用户行为模式优化搜索算法和对话模型。MyScale 的 SQL 支持还为 Science Navigator 提供了强大的数据管理和分析能力。平台管理员可以使用熟悉的 SQL 语法进行复杂的数据操作和分析如跟踪热门研究主题、分析作者合作网络、评估期刊影响力等。总的来说MyScale 对 SQL 的全面支持结合其在向量搜索和关键词搜索方面的优势使 Science Navigator 成为一个功能强大、灵活高效的学术研究助手。它不仅提供了先进的搜索和对话能力还为整个学术生态系统的数据管理和分析提供了强大的支持。四、展望AI 数据库支撑的大模型 大数据 Agent 平台机器学习 大数据驱动了互联网和上一代信息系统的成功而在大模型的时代背景下MyScale 团队也致力于提出新一代的大模型 大数据方案。以高性能的 SQL 向量数据库为坚实的支撑MyScaleDB 提供了大规模数据处理、知识查询、可观测性、数据分析和小样本学习的关键能力构建了 AI 和数据闭环成为下一代大模型 大数据 Agent 平台的关键基座。MyScale 团队已经在科研、金融、工业、医疗等领域探索这套方案的落地。参考资料长文本杀不死RAGSQL向量驱动大模型和大数据新范式MyScale AI数据库正式开源Science Navigator — 使用 MyScale 实现亿级向量与结构化数据的毫秒级检索
MyScaleDB：SQL+向量驱动的AI数据库
文章目录一、引言二、MyScaleDB 基本介绍三、MyScaleDB的实际应用 - Science Navigator3.1 数据存储3.2 数据管理与检索3.3 系统调优和维护四、展望AI 数据库支撑的大模型 大数据 Agent 平台参考资料一、引言RAG 的出现使得 LLM 能从大规模的知识库中精确地抽取信息并生成实时、专业、富有洞察力的答案。伴随而来的是 RAG 系统的核心功能向量数据库也得到了迅速发展按照向量数据库的设计理念我们可以将其大致分为三类专用向量数据库关键字和向量结合的检索系统以及 SQL 向量数据库。专用向量数据库以 Pinecone/Weaviate/Milvus 为代表的专用向量数据库一开始即为向量检索设计打造向量检索性能出色不过通用的数据管理功能较弱。关键字和向量结合的检索系统以 Elasticsearch/OpenSearch 为代表的关键字和向量检索系统因其完善的关键字检索功能得到广泛生产应用不过系统资源占用较多关键字与向量的联合查询精度和性能不尽人如意。SQL 向量数据库以 pgvectorPostgreSQL 的向量搜索插件和 MyScale AI 数据库为代表的 SQL 向量数据库基于 SQL 并且数据管理功能强大。不过因为 PostgreSQL 行存的劣势和向量算法的局限性pgvector 在复杂向量查询中精度较低。MyScale AI 数据库MyScaleDB基于高性能的 SQL 列式存储数据库打造自研高性能和高数据密度的向量索引算法并针对 SQL 和向量的联合查询对检索和存储引擎进行了深度的研发和优化是全球第一个综合性能和性价比大幅超越了专用向量数据库的 SQL 向量数据库产品。二、MyScaleDB 基本介绍得益于 SQL 数据库在海量结构化数据场景长期的打磨MyScaleDB 同时支持海量向量和结构化数据包括字符串、JSON、空间、时序等多种数据类型的高效存储和查询并将在近期推出功能强大的倒排表和关键字检索功能进一步提高 RAG 系统的精度并替代 Elasticsearch 等系统。经过近 6 年的开发和数次版本迭代MyScaleDB 已于近期开源欢迎所有开发者和企业用户在 GitHub 上 Star并开启使用 SQL 构建生产级 AI 应用的新玩法MyScale Vector Database Benchmark 项目地址https://github.com/myscale/vector-db-benchmarkMyScaleDB 的特点1. 完全兼容 SQL精度提升、成本降低借助完善的 SQL 数据管理能力强大高效的结构化、向量和异构数据存储和查询能力MyScaleDB 有望成为第一款真正面向大模型和大数据的 AI 数据库。2. SQL 和向量的原生兼容性自从 SQL 诞生半个世纪以来尽管其中经历了 NoSQL、大数据等浪潮不断进化的 SQL 数据库还是占据了数据管理市场主要份额甚至 Elasticsearch、Spark 等检索和大数据系统也陆续支持了 SQL 接口。而专用的向量数据库尽管为向量做了优化和系统设计但其查询接口通常缺乏规范性没有高级的查询语言。这导致了接口的泛化能力较弱例如 Pinecone 的查询接口甚至不包括指定要检索的字段更不用说分页、聚合等数据库常见的功能。接口的泛化能力弱意味着其变化频繁增加了学习成本。3. 支持结构化、向量和关键字等数据联合查询在实际 RAG 系统中检索的精度和效果是制约其落地的主要瓶颈。这需要 AI 数据库高效支持结构化、向量和关键字等数据联合查询综合提高检索精度。例如在金融场景中用户需要针对文档库查询 “某公司 2023 年全球各项业务的收入情况如何”“某公司”“2023 年” 等结构化元信息并不能被向量很好的抓取甚至不一定在对应的段落中有直接的体现。直接在全库上执行向量检索会得到大量的干扰信息并降低系统最终的准确性。另一方面公司名称年份等通常是可以作为文档的元信息被获取的我们可以将WHERE year2023 AND company ILIKE %company_name%作为向量查询的过滤条件从而精准的定位到相关信息大幅提升了系统的可靠性。在金融、制造业、科研等场景中MyScale 团队都观察到异构数据建模和关联查询的威力很多场景下甚至有 60% 精度到 90% 的提升。MyScale 团队则认为经过系统性优化的 SQL 和向量系统是可以既保持完整的 SQL 支持又保证向量检索高性能的而他们的开源评测的结果已经充分论证了这一点。三、MyScaleDB的实际应用 - Science Navigator在实际复杂 AI 应用场景中SQL 和向量结合可以极大增加数据建模的灵活性并简化开发流程。例如MyScale 团队与北京科学智能研究院合作的Science Navigator项目是一个创新的学术论文搜索和对话 agent 平台其核心优势之一在于充分利用了 MyScale AI 数据库的强大功能。MyScale 不仅支持高效的向量搜索和 BM25 关键词搜索还提供了全面的 SQL 支持这一特性为 Science Navigator 的数据管理带来了巨大的灵活性和效率。Science Navigator — 使用 MyScale 实现亿级向量与结构化数据的毫秒级检索Science Navigator 1.0https://www.bohrium.com/玻尔空间站AI For Science领域的Hugging Face提供高水平的文献阅读、计算和实验平台3.1 数据存储平台的数据基础包括 2 亿篇论文的元数据和 300 万篇 arXiv 论文的全文内容。通过专门开发的 PDF 解析工具Science Navigator 能够精确提取论文中的文本、图片、表格和数学公式。这些结构化和非结构化数据都被统一存储在 MyScale 中既保留了原始格式又转换为向量形式以支持高效搜索。在该项目中利用 MyScaleDB 对于海量的科学文献数据做检索和智能问答其主要的 SQL 表结构就有 10 多个其中多张表结构建立了向量和倒排表索引并利用主键和外键做了关联。系统在实际查询中也会涉及结构化、向量和关键字数据的联合查询以及几张表的关联查询。在专用的向量数据库中这些建模和关联是难以实现的也会导致最终的系统迭代缓慢、查询低效和维护困难。Science Navigator 主要表结构示意图加粗体的列建立了向量索引或倒排索引Science Navigator 主要表结构示意图加粗体的列建立了向量索引或倒排索引3.2 数据管理与检索得益于 MyScale 的 SQL 支持Science Navigator 能够将各种复杂的论文元数据存储在同一个数据库系统中。这包括论文之间的引用关系、各个学术刊物的详细信息、作者与论文之间的关联等。这种集中化的数据存储方式大大简化了数据管理流程同时提高了查询效率。如上图所示Science Navigator 在 MyScale 用多张关系型表格存储相关的论文数据其中的 paper_table 保存了论文元数据text_table 保存了 PDF 解析出来的全文数据我们对其中的文本以及文本转成的向量创建了关键字倒排索引和向量索引。对于从 PDF 中解析出来的图像我们将 embedding 保存到了 image_table 中并创建向量索引。对于作者元数据的 author_table我们只针对作者姓名创建关键字倒排索引。对于论文之间的引用关系它们被直接保存在关系型表格 citation_table 中。Science Navigator 的搜索功能充分利用了 MyScale 的混合搜索能力。用户可以同时使用向量搜索和关键词搜索结合 SQL 查询来精确定位所需的学术资源。例如可以轻松实现基于论文内容相似度、发表年份、引用次数等多维度的复杂查询。在对话功能方面MyScale 的 SQL 支持使得 Science Navigator 能够快速检索和组合各类相关信息为用户提供全面而准确的回答。系统可以轻松关联论文内容、作者信息、引用网络等数据生成深入的学术见解。3.3 系统调优和维护为了持续优化性能Science Navigator 利用 MyScale 存储和分析用户交互数据。聊天历史、大模型调用轨迹等信息都被记录在 MyScale 中。通过 SQL 查询和分析这些数据平台能够洞察用户行为模式优化搜索算法和对话模型。MyScale 的 SQL 支持还为 Science Navigator 提供了强大的数据管理和分析能力。平台管理员可以使用熟悉的 SQL 语法进行复杂的数据操作和分析如跟踪热门研究主题、分析作者合作网络、评估期刊影响力等。总的来说MyScale 对 SQL 的全面支持结合其在向量搜索和关键词搜索方面的优势使 Science Navigator 成为一个功能强大、灵活高效的学术研究助手。它不仅提供了先进的搜索和对话能力还为整个学术生态系统的数据管理和分析提供了强大的支持。四、展望AI 数据库支撑的大模型 大数据 Agent 平台机器学习 大数据驱动了互联网和上一代信息系统的成功而在大模型的时代背景下MyScale 团队也致力于提出新一代的大模型 大数据方案。以高性能的 SQL 向量数据库为坚实的支撑MyScaleDB 提供了大规模数据处理、知识查询、可观测性、数据分析和小样本学习的关键能力构建了 AI 和数据闭环成为下一代大模型 大数据 Agent 平台的关键基座。MyScale 团队已经在科研、金融、工业、医疗等领域探索这套方案的落地。参考资料长文本杀不死RAGSQL向量驱动大模型和大数据新范式MyScale AI数据库正式开源Science Navigator — 使用 MyScale 实现亿级向量与结构化数据的毫秒级检索
