这是一个或许对你有用的社群 一对一交流/面试小册/简历优化/求职解惑欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料《项目实战视频》从书中学往事中“练”《互联网高频面试题》面朝简历学习春暖花开《架构 x 系统设计》摧枯拉朽掌控面试高频场景题《精进 Java 学习指南》系统学习互联网主流技术栈《必读 Java 源码专栏》知其然知其所以然这是一个或许对你有用的开源项目国产Star破10w的开源项目前端包括管理后台、微信小程序后端支持单体、微服务架构RBAC权限、数据权限、SaaS多租户、商城、支付、工作流、大屏报表、ERP、CRM、AI大模型、IoT物联网等功能多模块https://gitee.com/zhijiantianya/ruoyi-vue-pro微服务https://gitee.com/zhijiantianya/yudao-cloud视频教程https://doc.iocoder.cn【国内首批】支持 JDK17/21SpringBoot3、JDK8/11Spring Boot2双版本这道题面试官真正想筛什么L130 秒答案——给一个安全的默认值L22 分钟答案——讲清为什么这个数字L35 分钟答案——一个能算出来的公式 实战代码直接掉分的几种答法高频追问怎么接一句话收口这道题面试官真正想筛什么先看真实面试场景 面试官: 你们项目批量插入大概多少条一批 候选者: 嗯……5 万一批吧。 面试官:5 万确定吗这条 SQL 多大、max_allowed_packet够装吗 候选者: 嗯……我们之前一直这么用没出过问题。 面试官:5 万这个数字怎么算出来的为什么不是 500、不是 5000资源、事务、锁——你考虑过哪个维度 候选者: 这……是之前一位资深工程师定的。 面试官:回去等通知吧。这道题筛三件事数字背后的推导能力——能不能从硬件、记录大小、事务约束算出来一个数字理解 InnoDB 的存储原理——页、redo log、事务边界、max_allowed_packet会用 MyBatis 实现——foreachvsExecutorType.BATCH、什么时候用哪个下面三段就是 L1/L2/L3 标准答案——按段位评估自己卡在哪一档。基于 Spring Boot MyBatis Plus Vue Element 实现的后台管理系统 用户小程序支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能项目地址https://github.com/YunaiV/ruoyi-vue-pro视频教程https://doc.iocoder.cn/video/L130 秒答案——给一个安全的默认值被问到能直接给一个生产可用的默认值500 - 1000 条一批——OLTP 业务高频小事务走这个范围事务粒度可控、不会撑爆max_allowed_packet、锁占用时间短。5000 - 10000 条一批——离线导数/批处理场景可以放大批量减少总往返开销。一句话注释业务系统选 500-1000离线任务选 5000-10000绝对不要超过 5 万。⚠️L1 的边界背一个数字 30 分及格。如果面试官问为什么是 500-1000大了会怎样——你答不上来就只能停在 30 分。基于 Spring Cloud Alibaba Gateway Nacos RocketMQ Vue Element 实现的后台管理系统 用户小程序支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能项目地址https://github.com/YunaiV/yudao-cloud视频教程https://doc.iocoder.cn/video/L22 分钟答案——讲清为什么这个数字L2 答法的核心讲清三个限制因素——单批太大会触发的硬性约束。限制 1MySQL 的max_allowed_packet上限每条INSERT INTO t VALUES (...), (...), ...是一个 SQL packet 发给 MySQL Server——有最大长度上限MySQL 版本默认max_allowed_packet5.61 MB5.74 MB8.064 MB超出会报错Packet for query is too large。一行 100 字节的话1MB packet 大约能装 1 万条——超过了就拆批。限制 2事务粒度——大事务 锁占用 redo log 膨胀InnoDB 写入会先写 redo logWAL 锁住相关行。单批越大redo log 膨胀——大事务可能触发 redo log file 切换甚至 checkpoint行锁/间隙锁占用时间长——其它读写都在等失败回滚成本高——10 万条插到 9.5 万崩了前面 9.5 万全要 rollback生产经验单批超过 1 万条回滚一次的代价就开始让人难受了。限制 3内存与 IO——批量太大反而拖慢数据先进 buffer pool再异步刷盘批量的甜区太小→ 每条都要事务开销 网络往返性能差甜区500-5000 → 单事务内合并多行写、IO 次数和事务次数都最优太大→ buffer pool 被这一批占满 → 触发刷盘 → IO 飙升 → 影响其它查询单条 vs 批量的差距——主要在事务开销场景事务次数网络往返锁获取1000 次单条 INSERT1000100010001 次 1000 行 batch111L2 的边界能讲清三个限制因素 60 分及格。如果问那具体怎么算给我一个能用的公式——L3 来了。L35 分钟答案——一个能算出来的公式 实战代码L3 给两件东西一套可推导的公式MyBatis 实战代码——这一档是 90 分。公式 1单条记录大小估算给定字段结构整型 (int)4 字节变长字符串 (varchar)平均 50 字节最大 255 字节日期 (date)3 字节浮点数 (float)4 字节平均一条记录大小考虑 varchar 最大长度的极端情况公式 2内存预算反推批量8GB 内存、预留 20%给 OS 和其它进程可用 ≈ 6.4 GB按平均记录大小算内存能撑下的最大记录数公式 3硬盘容量校验512 GB 硬盘能存的最大记录数这只是上限——实战还要预留磁盘 20-30% 给 binlog、redo log、临时空间并考虑增长速度。实战MyBatis 三种姿势姿势 1foreach拼大 SQL最常见的做法——一条 SQL 多个 VALUESinsert idinsertMultiple parameterTypelist INSERT INTO orders (order_no, user_id, amount, create_time) VALUES foreach collectionlist itemrecord separator, (#{record.orderNo}, #{record.userId}, #{record.amount}, #{record.createTime}) /foreach /insert✅ 单次执行、性能高❌受max_allowed_packet限制——批量不能无限大姿势 2ExecutorType.BATCH累积发送让 MyBatis 帮你用 JDBC 批处理addBatch / executeBatch攒到一定数量再发——内存可控、批量大小可灵活配置SqlSession session sqlSessionFactory.openSession(ExecutorType.BATCH); try { OrderMapper mapper session.getMapper(OrderMapper.class); int count 0; for (Order order : orders) { mapper.insert(order); // 每 1000 条 flush 一次避免内存爆炸 if (count % 1000 0) { session.flushStatements(); } } session.commit(); } catch (Exception e) { session.rollback(); throw e; } finally { session.close(); }✅ 内存可控、批量大小可灵活配置✅DAO 层强制走 BATCH能防住新人在 for 里写单条 insert 把性能玩崩⚠️关于网络往返次数的常见误解BATCH 模式不是永远只 1 次往返——你flushStatements()多少次就分多少批发送MySQL 驱动默认仍是逐条 INSERT 发包只是用了 JDBC batch 协议只有加 URL 参数rewriteBatchedStatementstrue时驱动才会把多条 INSERT 重写成单条多 VALUES 的大 SQL——这时才接近foreach的效率重写后的大 SQL 仍受max_allowed_packet限制——所以即使开了 rewrite单批不能无限大建议保持 1000-5000 这个甜区姿势 3避免频繁 commit每条都 commit 每次都触发刷盘 checkpoint——批量插入最忌讳// ❌ 错的姿势循环里 commit for (Order o : orders) { insert(o); commit(); // 性能爆炸 } // ✅ 对的姿势循环里只 add全部完了再 commit for (Order o : orders) { insert(o); } commit();直接掉分的几种答法答法为什么扣分5 万 / 10 万条一批凭感觉给数字大概率超max_allowed_packet——4MB 默认值100 字节/行只能装 4 万100 字节单行 索引列稍多就爆越多越好错——批量大反而拖慢不是单调上升我们项目就是这么定的不会推导 30 分顶天不知道max_allowed_packet基础不牢——这是 SQL 协议层的硬性约束不知道ExecutorType.BATCHMyBatis 都没玩透——foreach不是唯一姿势高频追问怎么接追问 1foreach和ExecutorType.BATCH选哪个维度foreachExecutorType.BATCHSQL 形态一条 INSERT VALUES (...),(...)N 条独立 INSERT走 JDBCaddBatch协议攒发网络往返1 次每次flushStatements()一批——你 flush 几次就发几次max_allowed_packet限制严格——超了直接报错默认逐条发不会超开rewriteBatchedStatementstrue重写为大 SQL 后仍会触发限制可读性XML 中拼 SQL调 SQL 直观Java 代码控制SQL 一致推荐场景知道大小、≤ 1000 条大批量5000、不确定大小追问 2批量插入和分库分表怎么协调核心问题分库分表后一批 10000 条数据可能分散到 16 个库每个库实际只有 ~625 条——不能用一条 SQL 解决。两种方案按分片键分组先按分片规则把 10000 条分组到 16 个库对每个库分别走批量借助 ShardingSphere / MyCAT让中间件帮你做这个分组业务层依然像单库一样写追问 3MySQL 自身有什么参数能调bulk_insert_buffer_sizeMyISAM 专用——InnoDB 不用看innodb_flush_log_at_trx_commit默认 1 每事务刷盘改成 2可以批量插入快很多但崩了可能丢 1 秒数据sync_binlog默认 1 每事务刷 binlog同上 trade-off生产里别乱改——这些参数影响数据安全DBA 没点头之前别动。一句话收口回到开头那个面试场景——候选者答错的不是5 万这个数字而是讲不出选这个数字的理由。成为优秀工程师的关键不是知道更多技巧而是对每个数字都讲得出来源。欢迎加入我的知识星球全面提升技术能力。 加入方式“长按”或“扫描”下方二维码噢星球的内容包括项目实战、面试招聘、源码解析、学习路线。文章有帮助的话在看转发吧。 谢谢支持哟 (*^__^*
面试拷打：MySQL 一次批量插入多少条最优？答数字不会推导直接 -50 分
这是一个或许对你有用的社群 一对一交流/面试小册/简历优化/求职解惑欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料《项目实战视频》从书中学往事中“练”《互联网高频面试题》面朝简历学习春暖花开《架构 x 系统设计》摧枯拉朽掌控面试高频场景题《精进 Java 学习指南》系统学习互联网主流技术栈《必读 Java 源码专栏》知其然知其所以然这是一个或许对你有用的开源项目国产Star破10w的开源项目前端包括管理后台、微信小程序后端支持单体、微服务架构RBAC权限、数据权限、SaaS多租户、商城、支付、工作流、大屏报表、ERP、CRM、AI大模型、IoT物联网等功能多模块https://gitee.com/zhijiantianya/ruoyi-vue-pro微服务https://gitee.com/zhijiantianya/yudao-cloud视频教程https://doc.iocoder.cn【国内首批】支持 JDK17/21SpringBoot3、JDK8/11Spring Boot2双版本这道题面试官真正想筛什么L130 秒答案——给一个安全的默认值L22 分钟答案——讲清为什么这个数字L35 分钟答案——一个能算出来的公式 实战代码直接掉分的几种答法高频追问怎么接一句话收口这道题面试官真正想筛什么先看真实面试场景 面试官: 你们项目批量插入大概多少条一批 候选者: 嗯……5 万一批吧。 面试官:5 万确定吗这条 SQL 多大、max_allowed_packet够装吗 候选者: 嗯……我们之前一直这么用没出过问题。 面试官:5 万这个数字怎么算出来的为什么不是 500、不是 5000资源、事务、锁——你考虑过哪个维度 候选者: 这……是之前一位资深工程师定的。 面试官:回去等通知吧。这道题筛三件事数字背后的推导能力——能不能从硬件、记录大小、事务约束算出来一个数字理解 InnoDB 的存储原理——页、redo log、事务边界、max_allowed_packet会用 MyBatis 实现——foreachvsExecutorType.BATCH、什么时候用哪个下面三段就是 L1/L2/L3 标准答案——按段位评估自己卡在哪一档。基于 Spring Boot MyBatis Plus Vue Element 实现的后台管理系统 用户小程序支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能项目地址https://github.com/YunaiV/ruoyi-vue-pro视频教程https://doc.iocoder.cn/video/L130 秒答案——给一个安全的默认值被问到能直接给一个生产可用的默认值500 - 1000 条一批——OLTP 业务高频小事务走这个范围事务粒度可控、不会撑爆max_allowed_packet、锁占用时间短。5000 - 10000 条一批——离线导数/批处理场景可以放大批量减少总往返开销。一句话注释业务系统选 500-1000离线任务选 5000-10000绝对不要超过 5 万。⚠️L1 的边界背一个数字 30 分及格。如果面试官问为什么是 500-1000大了会怎样——你答不上来就只能停在 30 分。基于 Spring Cloud Alibaba Gateway Nacos RocketMQ Vue Element 实现的后台管理系统 用户小程序支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能项目地址https://github.com/YunaiV/yudao-cloud视频教程https://doc.iocoder.cn/video/L22 分钟答案——讲清为什么这个数字L2 答法的核心讲清三个限制因素——单批太大会触发的硬性约束。限制 1MySQL 的max_allowed_packet上限每条INSERT INTO t VALUES (...), (...), ...是一个 SQL packet 发给 MySQL Server——有最大长度上限MySQL 版本默认max_allowed_packet5.61 MB5.74 MB8.064 MB超出会报错Packet for query is too large。一行 100 字节的话1MB packet 大约能装 1 万条——超过了就拆批。限制 2事务粒度——大事务 锁占用 redo log 膨胀InnoDB 写入会先写 redo logWAL 锁住相关行。单批越大redo log 膨胀——大事务可能触发 redo log file 切换甚至 checkpoint行锁/间隙锁占用时间长——其它读写都在等失败回滚成本高——10 万条插到 9.5 万崩了前面 9.5 万全要 rollback生产经验单批超过 1 万条回滚一次的代价就开始让人难受了。限制 3内存与 IO——批量太大反而拖慢数据先进 buffer pool再异步刷盘批量的甜区太小→ 每条都要事务开销 网络往返性能差甜区500-5000 → 单事务内合并多行写、IO 次数和事务次数都最优太大→ buffer pool 被这一批占满 → 触发刷盘 → IO 飙升 → 影响其它查询单条 vs 批量的差距——主要在事务开销场景事务次数网络往返锁获取1000 次单条 INSERT1000100010001 次 1000 行 batch111L2 的边界能讲清三个限制因素 60 分及格。如果问那具体怎么算给我一个能用的公式——L3 来了。L35 分钟答案——一个能算出来的公式 实战代码L3 给两件东西一套可推导的公式MyBatis 实战代码——这一档是 90 分。公式 1单条记录大小估算给定字段结构整型 (int)4 字节变长字符串 (varchar)平均 50 字节最大 255 字节日期 (date)3 字节浮点数 (float)4 字节平均一条记录大小考虑 varchar 最大长度的极端情况公式 2内存预算反推批量8GB 内存、预留 20%给 OS 和其它进程可用 ≈ 6.4 GB按平均记录大小算内存能撑下的最大记录数公式 3硬盘容量校验512 GB 硬盘能存的最大记录数这只是上限——实战还要预留磁盘 20-30% 给 binlog、redo log、临时空间并考虑增长速度。实战MyBatis 三种姿势姿势 1foreach拼大 SQL最常见的做法——一条 SQL 多个 VALUESinsert idinsertMultiple parameterTypelist INSERT INTO orders (order_no, user_id, amount, create_time) VALUES foreach collectionlist itemrecord separator, (#{record.orderNo}, #{record.userId}, #{record.amount}, #{record.createTime}) /foreach /insert✅ 单次执行、性能高❌受max_allowed_packet限制——批量不能无限大姿势 2ExecutorType.BATCH累积发送让 MyBatis 帮你用 JDBC 批处理addBatch / executeBatch攒到一定数量再发——内存可控、批量大小可灵活配置SqlSession session sqlSessionFactory.openSession(ExecutorType.BATCH); try { OrderMapper mapper session.getMapper(OrderMapper.class); int count 0; for (Order order : orders) { mapper.insert(order); // 每 1000 条 flush 一次避免内存爆炸 if (count % 1000 0) { session.flushStatements(); } } session.commit(); } catch (Exception e) { session.rollback(); throw e; } finally { session.close(); }✅ 内存可控、批量大小可灵活配置✅DAO 层强制走 BATCH能防住新人在 for 里写单条 insert 把性能玩崩⚠️关于网络往返次数的常见误解BATCH 模式不是永远只 1 次往返——你flushStatements()多少次就分多少批发送MySQL 驱动默认仍是逐条 INSERT 发包只是用了 JDBC batch 协议只有加 URL 参数rewriteBatchedStatementstrue时驱动才会把多条 INSERT 重写成单条多 VALUES 的大 SQL——这时才接近foreach的效率重写后的大 SQL 仍受max_allowed_packet限制——所以即使开了 rewrite单批不能无限大建议保持 1000-5000 这个甜区姿势 3避免频繁 commit每条都 commit 每次都触发刷盘 checkpoint——批量插入最忌讳// ❌ 错的姿势循环里 commit for (Order o : orders) { insert(o); commit(); // 性能爆炸 } // ✅ 对的姿势循环里只 add全部完了再 commit for (Order o : orders) { insert(o); } commit();直接掉分的几种答法答法为什么扣分5 万 / 10 万条一批凭感觉给数字大概率超max_allowed_packet——4MB 默认值100 字节/行只能装 4 万100 字节单行 索引列稍多就爆越多越好错——批量大反而拖慢不是单调上升我们项目就是这么定的不会推导 30 分顶天不知道max_allowed_packet基础不牢——这是 SQL 协议层的硬性约束不知道ExecutorType.BATCHMyBatis 都没玩透——foreach不是唯一姿势高频追问怎么接追问 1foreach和ExecutorType.BATCH选哪个维度foreachExecutorType.BATCHSQL 形态一条 INSERT VALUES (...),(...)N 条独立 INSERT走 JDBCaddBatch协议攒发网络往返1 次每次flushStatements()一批——你 flush 几次就发几次max_allowed_packet限制严格——超了直接报错默认逐条发不会超开rewriteBatchedStatementstrue重写为大 SQL 后仍会触发限制可读性XML 中拼 SQL调 SQL 直观Java 代码控制SQL 一致推荐场景知道大小、≤ 1000 条大批量5000、不确定大小追问 2批量插入和分库分表怎么协调核心问题分库分表后一批 10000 条数据可能分散到 16 个库每个库实际只有 ~625 条——不能用一条 SQL 解决。两种方案按分片键分组先按分片规则把 10000 条分组到 16 个库对每个库分别走批量借助 ShardingSphere / MyCAT让中间件帮你做这个分组业务层依然像单库一样写追问 3MySQL 自身有什么参数能调bulk_insert_buffer_sizeMyISAM 专用——InnoDB 不用看innodb_flush_log_at_trx_commit默认 1 每事务刷盘改成 2可以批量插入快很多但崩了可能丢 1 秒数据sync_binlog默认 1 每事务刷 binlog同上 trade-off生产里别乱改——这些参数影响数据安全DBA 没点头之前别动。一句话收口回到开头那个面试场景——候选者答错的不是5 万这个数字而是讲不出选这个数字的理由。成为优秀工程师的关键不是知道更多技巧而是对每个数字都讲得出来源。欢迎加入我的知识星球全面提升技术能力。 加入方式“长按”或“扫描”下方二维码噢星球的内容包括项目实战、面试招聘、源码解析、学习路线。文章有帮助的话在看转发吧。 谢谢支持哟 (*^__^*
