下一篇【第02篇】Elasticsearch核心概念详解摘要本文是《Elasticsearch从入门到精通》系列的开篇全面介绍Elasticsearch的定位、核心价值与应用场景。关键词包括Elasticsearch、全文搜索、搜索引擎、Elastic Stack、分布式存储。文章从传统数据库在搜索场景下的痛点出发引出搜索引擎的诞生背景深入对比ES与MySQL在不同场景下的优劣列举全文搜索、日志分析、实时分析、推荐系统等典型应用场景。随后介绍Elastic Stack生态体系ElasticsearchKibanaLogstashBeats最后通过一个5分钟的快速演示让你亲手跑通第一个ES查询零基础也能轻松上手。一、搜索的痛点为什么我们需要搜索引擎1.1 关系数据库的局限在互联网应用的早期阶段MySQL、Oracle等关系数据库几乎包揽了所有的数据存储需求。它们的优势很明显二维表结构直观易懂支持事务保证数据一致性SQL查询语言强大灵活。但到了搜索场景下问题就暴露出来了。假设你运营一个电商网站用户想搜索蓝牙耳机你可能会写出这样的SQLSELECT*FROMproductsWHEREnameLIKE%蓝牙耳机%ORdescriptionLIKE%蓝牙耳机%;这条SQL在执行的时候数据库需要逐行扫描整个表对每一行的name和description字段做字符串匹配。数据量小的时候还行但当你有了100万、1000万条商品记录时查询速度就会变得不可接受。根本原因在于关系数据库采用的是正排索引——数据按行存储搜索时逐行遍历。这就像在一本没有目录的书中找一个词你必须从头翻到尾。1.2 搜索引擎的解决方案搜索引擎采用的是一种完全不同的思路——倒排索引Inverted Index。还是用蓝牙耳机的例子。搜索引擎在写入数据的时候会提前把文档内容做分词处理建立一个词→文档ID列表的映射表。当用户搜索蓝牙耳机时不需要遍历所有文档直接查这个映射表就能找到对应的文档ID速度是指数级的提升。倒排索引结构示意 蓝牙 → [文档1, 文档3, 文档7] 耳机 → [文档1, 文档4, 文档8] 搜索蓝牙 耳机 → 取交集 → [文档1]Elasticsearch就是目前最流行的开源搜索引擎它基于Lucene构建在倒排索引之上封装了分布式架构、REST API接口和丰富的查询DSL让开发者无需深入了解底层原理就能使用搜索引擎的强大能力。二、Elasticsearch的定位与核心价值2.1 ES不只是搜索引擎很多初学者把Elasticsearch简单理解为一个搜索引擎但实际上它的能力远不止于此。Elasticsearch是一个分布式的数据存储、搜索和分析引擎能同时做到存储将海量JSON文档持久化存储自动分片和备份搜索提供全文搜索、模糊匹配、高亮显示等搜索引擎的核心能力分析通过聚合Aggregation框架进行实时数据统计和分析2.2 ES vs MySQL不同场景下的选择对比维度ElasticsearchMySQL数据模型JSON文档无固定Schema二维表严格的Schema存储引擎倒排索引LuceneB树索引全文搜索原生支持毫秒级响应LIKE查询逐行扫描模糊匹配内置分词器和相关性评分不支持或依赖第三方聚合分析原生Aggregation框架实时计算GROUP BY 聚合函数事务支持不支持ACID事务完整的事务支持关联查询不支持JOIN有父子文档/嵌套对象原生支持多表JOIN水平扩展分片机制自动水平扩展分库分表需要中间件适用场景搜索、日志分析、实时统计事务处理、复杂关联查询一句话总结ELKElasticsearchLogstashKibana场景找ES下单支付找MySQL。2.3 Elasticsearch的核心特性近实时NRT从文档写入到可被搜索延迟通常在1秒以内分布式架构天然支持集群模式数据自动分片和负载均衡RESTful API用HTTP协议和JSON格式操作语言无关高可用副本机制保障数据冗余节点故障自动恢复强大的查询DSL基于JSON的查询语言支持全文搜索、聚合、过滤等丰富功能三、Elasticsearch的核心使用场景3.1 全文搜索这是ES最经典的应用场景。电商网站的商品搜索、知识库的文档检索、博客站内的文章搜索都可以用ES来实现。相比MySQL的LIKE查询ES能提供相关性排序不是简单匹配而是根据TF-IDF等算法计算匹配度分词搜索搜索智能手机能匹配到华为智能手机、智能移动电话等高亮显示返回结果中关键词自动高亮搜索建议用户输入苹时自动提示苹果手机3.2 日志分析与监控这是ES在企业中第二大的应用场景。结合Logstash和Kibana即ELK技术栈可以构建一个完整的集中式日志管理平台各服务器上的应用日志通过Beats采集Logstash进行过滤、转换和增强Elasticsearch存储并提供全文检索Kibana进行可视化展示和告警3.3 实时数据分析ES的聚合Aggregation框架非常强大可以对海量数据进行多维度的实时统计分析POST/sales/_search{size:0,aggs:{by_category:{terms:{field:category.keyword},aggs:{avg_price:{avg:{field:price}}}}}}上述查询可以快速统计出每个商品分类的平均价格数据量再大也能秒级返回。3.4 推荐系统利用ES的向量搜索dense_vector字段类型和相似度匹配可以构建简单的推荐引擎。比如看了这个商品的用户还看了什么通过用户行为数据的聚合分析来实现。四、Elastic Stack生态体系Elasticsearch不是孤立存在的它是**Elastic Stack原名ELK Stack**的核心成员。整个生态包含以下组件Elastic Stack 生态全景 ┌─────────────────────────────────┐ │ Kibana │ ← 数据可视化与分析平台 │ (图表、仪表盘、地图) │ ├─────────────────────────────────┤ │ Elasticsearch │ ← 核心存储搜索分析引擎 │ (分布式、REST API) │ ├──────────────────┬──────────────┤ │ Logstash │ Beats │ ← 数据采集与处理层 │ (数据ETL管道) │ (轻量采集器) │ └──────────────────┴──────────────┘4.1 Elasticsearch核心引擎承担数据存储、索引和搜索的核心功能。所有数据最终都存储在ES中由ES对外提供搜索和分析能力。4.2 Kibana可视化平台Kibana是ES的前端界面提供Discover交互式地探索ES中的数据Visualize创建柱状图、饼图、折线图、热力图等Dashboard将多个可视化组件组合成仪表盘Dev Tools直接在浏览器中编写和调试ES查询4.3 Logstash数据处理管道Logstash是一个服务端数据处理管道支持从多种来源采集数据、转换数据然后将数据发送到ES。它的核心能力是ETL抽取-转换-加载。4.4 Beats轻量级数据采集器Beats是一系列轻量级的数据采集代理部署在需要采集数据的服务器上Filebeat采集日志文件Metricbeat采集系统和应用指标Packetbeat采集网络数据Heartbeat做运行时间监控五、5分钟跑通第一个ES查询理论说再多不如动手跑一次。假设你已经安装好了ES后面文章会详细讲解安装现在打开终端跟我一起做5.1 检查集群状态curl-XGETlocalhost:9200/_cat/health?v返回结果epoch timestamp cluster status node.total node.data shards pri relo init unassign 1716278400 10:00:00 elasticsearch green 1 1 0 0 0 0 0看到status: green就说明ES正常运行。5.2 创建一个索引并写入数据curl-XPUTlocalhost:9200/products/_doc/1-HContent-Type: application/json-d { name: 蓝牙耳机, brand: 漫步者, price: 299, category: 电子产品, description: 高清音质超长续航舒适佩戴 }5.3 搜索文档curl-XGETlocalhost:9200/products/_search-HContent-Type: application/json-d { query: { match: { name: 蓝牙 } } }返回结果中你会看到刚才写入的那个文档说明搜索成功。5.4 聚合统计curl-XGETlocalhost:9200/products/_search-HContent-Type: application/json-d { size: 0, aggs: { categories: { terms: { field: category.keyword } } } }这个查询可以对product按分类统计数量——在没有一行SQL的情况下完成了类似GROUP BY的功能。六、总结与最佳实践核心要点回顾ES不等于传统数据库它擅长搜索和分析但不适合事务处理和复杂关联查询ES的核心是倒排索引这是它能实现毫秒级全文搜索的根本原因ES是一个平台而非工具通过Elastic Stack生态可以覆盖从数据采集到可视化的全链路先理解概念再动手Index、Document、Shard这些核心概念是后续学习的基石最佳实践建议不要用ES替代关系数据库订单系统、支付系统仍然适合MySQL商品搜索、日志分析才适合ES先规划好索引的Mapping虽然ES支持动态Mapping但生产环境应该提前定义字段类型合理设置分片和副本数分片过多会增加集群开销过少则限制扩展能力善用Kibana的Dev Tools学习和调试ES查询的最佳入口下一篇【第02篇】Elasticsearch核心概念详解
【Elasticsearch从入门到精通】第01篇：Elasticsearch是什么——从搜索引擎到分析平台的全景解读
下一篇【第02篇】Elasticsearch核心概念详解摘要本文是《Elasticsearch从入门到精通》系列的开篇全面介绍Elasticsearch的定位、核心价值与应用场景。关键词包括Elasticsearch、全文搜索、搜索引擎、Elastic Stack、分布式存储。文章从传统数据库在搜索场景下的痛点出发引出搜索引擎的诞生背景深入对比ES与MySQL在不同场景下的优劣列举全文搜索、日志分析、实时分析、推荐系统等典型应用场景。随后介绍Elastic Stack生态体系ElasticsearchKibanaLogstashBeats最后通过一个5分钟的快速演示让你亲手跑通第一个ES查询零基础也能轻松上手。一、搜索的痛点为什么我们需要搜索引擎1.1 关系数据库的局限在互联网应用的早期阶段MySQL、Oracle等关系数据库几乎包揽了所有的数据存储需求。它们的优势很明显二维表结构直观易懂支持事务保证数据一致性SQL查询语言强大灵活。但到了搜索场景下问题就暴露出来了。假设你运营一个电商网站用户想搜索蓝牙耳机你可能会写出这样的SQLSELECT*FROMproductsWHEREnameLIKE%蓝牙耳机%ORdescriptionLIKE%蓝牙耳机%;这条SQL在执行的时候数据库需要逐行扫描整个表对每一行的name和description字段做字符串匹配。数据量小的时候还行但当你有了100万、1000万条商品记录时查询速度就会变得不可接受。根本原因在于关系数据库采用的是正排索引——数据按行存储搜索时逐行遍历。这就像在一本没有目录的书中找一个词你必须从头翻到尾。1.2 搜索引擎的解决方案搜索引擎采用的是一种完全不同的思路——倒排索引Inverted Index。还是用蓝牙耳机的例子。搜索引擎在写入数据的时候会提前把文档内容做分词处理建立一个词→文档ID列表的映射表。当用户搜索蓝牙耳机时不需要遍历所有文档直接查这个映射表就能找到对应的文档ID速度是指数级的提升。倒排索引结构示意 蓝牙 → [文档1, 文档3, 文档7] 耳机 → [文档1, 文档4, 文档8] 搜索蓝牙 耳机 → 取交集 → [文档1]Elasticsearch就是目前最流行的开源搜索引擎它基于Lucene构建在倒排索引之上封装了分布式架构、REST API接口和丰富的查询DSL让开发者无需深入了解底层原理就能使用搜索引擎的强大能力。二、Elasticsearch的定位与核心价值2.1 ES不只是搜索引擎很多初学者把Elasticsearch简单理解为一个搜索引擎但实际上它的能力远不止于此。Elasticsearch是一个分布式的数据存储、搜索和分析引擎能同时做到存储将海量JSON文档持久化存储自动分片和备份搜索提供全文搜索、模糊匹配、高亮显示等搜索引擎的核心能力分析通过聚合Aggregation框架进行实时数据统计和分析2.2 ES vs MySQL不同场景下的选择对比维度ElasticsearchMySQL数据模型JSON文档无固定Schema二维表严格的Schema存储引擎倒排索引LuceneB树索引全文搜索原生支持毫秒级响应LIKE查询逐行扫描模糊匹配内置分词器和相关性评分不支持或依赖第三方聚合分析原生Aggregation框架实时计算GROUP BY 聚合函数事务支持不支持ACID事务完整的事务支持关联查询不支持JOIN有父子文档/嵌套对象原生支持多表JOIN水平扩展分片机制自动水平扩展分库分表需要中间件适用场景搜索、日志分析、实时统计事务处理、复杂关联查询一句话总结ELKElasticsearchLogstashKibana场景找ES下单支付找MySQL。2.3 Elasticsearch的核心特性近实时NRT从文档写入到可被搜索延迟通常在1秒以内分布式架构天然支持集群模式数据自动分片和负载均衡RESTful API用HTTP协议和JSON格式操作语言无关高可用副本机制保障数据冗余节点故障自动恢复强大的查询DSL基于JSON的查询语言支持全文搜索、聚合、过滤等丰富功能三、Elasticsearch的核心使用场景3.1 全文搜索这是ES最经典的应用场景。电商网站的商品搜索、知识库的文档检索、博客站内的文章搜索都可以用ES来实现。相比MySQL的LIKE查询ES能提供相关性排序不是简单匹配而是根据TF-IDF等算法计算匹配度分词搜索搜索智能手机能匹配到华为智能手机、智能移动电话等高亮显示返回结果中关键词自动高亮搜索建议用户输入苹时自动提示苹果手机3.2 日志分析与监控这是ES在企业中第二大的应用场景。结合Logstash和Kibana即ELK技术栈可以构建一个完整的集中式日志管理平台各服务器上的应用日志通过Beats采集Logstash进行过滤、转换和增强Elasticsearch存储并提供全文检索Kibana进行可视化展示和告警3.3 实时数据分析ES的聚合Aggregation框架非常强大可以对海量数据进行多维度的实时统计分析POST/sales/_search{size:0,aggs:{by_category:{terms:{field:category.keyword},aggs:{avg_price:{avg:{field:price}}}}}}上述查询可以快速统计出每个商品分类的平均价格数据量再大也能秒级返回。3.4 推荐系统利用ES的向量搜索dense_vector字段类型和相似度匹配可以构建简单的推荐引擎。比如看了这个商品的用户还看了什么通过用户行为数据的聚合分析来实现。四、Elastic Stack生态体系Elasticsearch不是孤立存在的它是**Elastic Stack原名ELK Stack**的核心成员。整个生态包含以下组件Elastic Stack 生态全景 ┌─────────────────────────────────┐ │ Kibana │ ← 数据可视化与分析平台 │ (图表、仪表盘、地图) │ ├─────────────────────────────────┤ │ Elasticsearch │ ← 核心存储搜索分析引擎 │ (分布式、REST API) │ ├──────────────────┬──────────────┤ │ Logstash │ Beats │ ← 数据采集与处理层 │ (数据ETL管道) │ (轻量采集器) │ └──────────────────┴──────────────┘4.1 Elasticsearch核心引擎承担数据存储、索引和搜索的核心功能。所有数据最终都存储在ES中由ES对外提供搜索和分析能力。4.2 Kibana可视化平台Kibana是ES的前端界面提供Discover交互式地探索ES中的数据Visualize创建柱状图、饼图、折线图、热力图等Dashboard将多个可视化组件组合成仪表盘Dev Tools直接在浏览器中编写和调试ES查询4.3 Logstash数据处理管道Logstash是一个服务端数据处理管道支持从多种来源采集数据、转换数据然后将数据发送到ES。它的核心能力是ETL抽取-转换-加载。4.4 Beats轻量级数据采集器Beats是一系列轻量级的数据采集代理部署在需要采集数据的服务器上Filebeat采集日志文件Metricbeat采集系统和应用指标Packetbeat采集网络数据Heartbeat做运行时间监控五、5分钟跑通第一个ES查询理论说再多不如动手跑一次。假设你已经安装好了ES后面文章会详细讲解安装现在打开终端跟我一起做5.1 检查集群状态curl-XGETlocalhost:9200/_cat/health?v返回结果epoch timestamp cluster status node.total node.data shards pri relo init unassign 1716278400 10:00:00 elasticsearch green 1 1 0 0 0 0 0看到status: green就说明ES正常运行。5.2 创建一个索引并写入数据curl-XPUTlocalhost:9200/products/_doc/1-HContent-Type: application/json-d { name: 蓝牙耳机, brand: 漫步者, price: 299, category: 电子产品, description: 高清音质超长续航舒适佩戴 }5.3 搜索文档curl-XGETlocalhost:9200/products/_search-HContent-Type: application/json-d { query: { match: { name: 蓝牙 } } }返回结果中你会看到刚才写入的那个文档说明搜索成功。5.4 聚合统计curl-XGETlocalhost:9200/products/_search-HContent-Type: application/json-d { size: 0, aggs: { categories: { terms: { field: category.keyword } } } }这个查询可以对product按分类统计数量——在没有一行SQL的情况下完成了类似GROUP BY的功能。六、总结与最佳实践核心要点回顾ES不等于传统数据库它擅长搜索和分析但不适合事务处理和复杂关联查询ES的核心是倒排索引这是它能实现毫秒级全文搜索的根本原因ES是一个平台而非工具通过Elastic Stack生态可以覆盖从数据采集到可视化的全链路先理解概念再动手Index、Document、Shard这些核心概念是后续学习的基石最佳实践建议不要用ES替代关系数据库订单系统、支付系统仍然适合MySQL商品搜索、日志分析才适合ES先规划好索引的Mapping虽然ES支持动态Mapping但生产环境应该提前定义字段类型合理设置分片和副本数分片过多会增加集群开销过少则限制扩展能力善用Kibana的Dev Tools学习和调试ES查询的最佳入口下一篇【第02篇】Elasticsearch核心概念详解
