Redis概率算法HyperLogLog数学原理与高效基数统计实践【免费下载链接】redisRedis 是一个高性能的键值对数据库通常用作数据库、缓存和消息代理。* 缓存数据减轻数据库压力会话存储发布订阅模式。* 特点支持多种数据结构如字符串、列表、集合、散列、有序集等支持持久化存储基于内存性能高。项目地址: https://gitcode.com/GitHub_Trending/re/redisRedis 是一个高性能的键值对数据库通常用作数据库、缓存和消息代理。其中HyperLogLog 是 Redis 提供的一种概率算法能够以极小的内存占用实现海量数据的基数统计广泛应用于用户访问量统计、独立访客计数等场景。什么是基数统计基数统计即计算集合中不重复元素的个数。例如统计网站的独立访客数UV、某个关键词的独立搜索次数等。传统方法需要存储所有元素并去重当数据量达到百万甚至亿级时内存消耗会变得非常巨大。HyperLogLog 算法通过概率统计的方式仅需约 12KB 内存就能估算接近 2^64 个元素的基数且误差率控制在 0.81% 左右完美解决了内存与精度的平衡问题。HyperLogLog 的数学原理核心思想伯努利试验与极大似然估计HyperLogLog 基于伯努利试验的概率特性假设我们对一个随机数生成器进行多次独立试验记录每次试验中首次出现连续 k 个 0 后跟着一个 1 的结果。通过观察这些结果的最大值就能估算出试验的总次数。在实际应用中将每个元素通过哈希函数映射为 64 位随机数记录每个哈希值二进制表示中前导零的最大个数记为k基数估算公式E α * m² / Σ(2^(-k))α是修正系数Redis 中取值0.7213475204444817m是寄存器数量Redis 中使用 16384 个寄存器Redis 中的实现优化Redis 对标准 HyperLogLog 算法做了多项优化双模式存储低基数时使用稀疏模式Run-Length Encoding节省空间高基数时自动转为密集模式64位哈希采用 MurmurHash64A 哈希函数避免 32 位哈希的精度限制动态缓存计算结果会缓存避免重复计算核心实现代码位于 src/hyperloglog.c其中定义了两种存储结构struct hllhdr { char magic[4]; /* HYLL 魔术字 */ uint8_t encoding; /* HLL_DENSE 或 HLL_SPARSE */ uint8_t notused[3]; uint8_t card[8]; /* 缓存的基数估算值 */ uint8_t registers[]; /* 寄存器数组 */ };Redis HyperLogLog 的使用方法基本命令添加元素PFADD key element [element ...]PFADD unique_visitors alice bob charlie估算基数PFCOUNT key [key ...]PFCOUNT unique_visitors # 返回估算的独立用户数合并多个 HyperLogLogPFMERGE destkey sourcekey [sourcekey ...]PFMERGE all_visitors unique_visitors_2023 unique_visitors_2024内存占用对比数据规模传统集合SetHyperLogLog100万~160MB~12KB1亿~1.6GB~12KB实际应用场景1. 网站UV统计# 记录每个访问用户 PFADD daily_uv user1 user2 user3 ... # 获取当日UV PFCOUNT daily_uv2. 搜索关键词去重# 记录搜索关键词 PFADD search_terms redis hyperloglog algorithm # 获取独立关键词数量 PFCOUNT search_terms3. 大数据量去重计数当需要统计千万级甚至亿级数据的独立元素个数时HyperLogLog 是最优选择。例如电商平台的商品浏览记录去重、广告曝光量统计等。算法局限性与注意事项概率估算结果是近似值误差约 0.81%不适合需要精确计数的场景无法获取具体元素只能得到基数统计结果无法获取原始元素内存占用固定无论数据量多少均占用约 12KB 内存总结HyperLogLog 算法为 Redis 提供了高效的基数统计能力通过巧妙的数学原理和工程优化在仅使用 12KB 内存的情况下就能处理接近 2^64 个元素的去重计数问题。这使得 Redis 在海量数据统计场景中表现出色成为缓存、计数系统的理想选择。掌握 HyperLogLog 的原理和使用方法能帮助开发者在处理大数据量去重问题时在内存占用和计算效率之间找到完美平衡。如需深入了解实现细节可以查阅 Redis 源码中的 src/hyperloglog.c 文件。【免费下载链接】redisRedis 是一个高性能的键值对数据库通常用作数据库、缓存和消息代理。* 缓存数据减轻数据库压力会话存储发布订阅模式。* 特点支持多种数据结构如字符串、列表、集合、散列、有序集等支持持久化存储基于内存性能高。项目地址: https://gitcode.com/GitHub_Trending/re/redis创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Redis概率算法：HyperLogLog数学原理与高效基数统计实践
Redis概率算法HyperLogLog数学原理与高效基数统计实践【免费下载链接】redisRedis 是一个高性能的键值对数据库通常用作数据库、缓存和消息代理。* 缓存数据减轻数据库压力会话存储发布订阅模式。* 特点支持多种数据结构如字符串、列表、集合、散列、有序集等支持持久化存储基于内存性能高。项目地址: https://gitcode.com/GitHub_Trending/re/redisRedis 是一个高性能的键值对数据库通常用作数据库、缓存和消息代理。其中HyperLogLog 是 Redis 提供的一种概率算法能够以极小的内存占用实现海量数据的基数统计广泛应用于用户访问量统计、独立访客计数等场景。什么是基数统计基数统计即计算集合中不重复元素的个数。例如统计网站的独立访客数UV、某个关键词的独立搜索次数等。传统方法需要存储所有元素并去重当数据量达到百万甚至亿级时内存消耗会变得非常巨大。HyperLogLog 算法通过概率统计的方式仅需约 12KB 内存就能估算接近 2^64 个元素的基数且误差率控制在 0.81% 左右完美解决了内存与精度的平衡问题。HyperLogLog 的数学原理核心思想伯努利试验与极大似然估计HyperLogLog 基于伯努利试验的概率特性假设我们对一个随机数生成器进行多次独立试验记录每次试验中首次出现连续 k 个 0 后跟着一个 1 的结果。通过观察这些结果的最大值就能估算出试验的总次数。在实际应用中将每个元素通过哈希函数映射为 64 位随机数记录每个哈希值二进制表示中前导零的最大个数记为k基数估算公式E α * m² / Σ(2^(-k))α是修正系数Redis 中取值0.7213475204444817m是寄存器数量Redis 中使用 16384 个寄存器Redis 中的实现优化Redis 对标准 HyperLogLog 算法做了多项优化双模式存储低基数时使用稀疏模式Run-Length Encoding节省空间高基数时自动转为密集模式64位哈希采用 MurmurHash64A 哈希函数避免 32 位哈希的精度限制动态缓存计算结果会缓存避免重复计算核心实现代码位于 src/hyperloglog.c其中定义了两种存储结构struct hllhdr { char magic[4]; /* HYLL 魔术字 */ uint8_t encoding; /* HLL_DENSE 或 HLL_SPARSE */ uint8_t notused[3]; uint8_t card[8]; /* 缓存的基数估算值 */ uint8_t registers[]; /* 寄存器数组 */ };Redis HyperLogLog 的使用方法基本命令添加元素PFADD key element [element ...]PFADD unique_visitors alice bob charlie估算基数PFCOUNT key [key ...]PFCOUNT unique_visitors # 返回估算的独立用户数合并多个 HyperLogLogPFMERGE destkey sourcekey [sourcekey ...]PFMERGE all_visitors unique_visitors_2023 unique_visitors_2024内存占用对比数据规模传统集合SetHyperLogLog100万~160MB~12KB1亿~1.6GB~12KB实际应用场景1. 网站UV统计# 记录每个访问用户 PFADD daily_uv user1 user2 user3 ... # 获取当日UV PFCOUNT daily_uv2. 搜索关键词去重# 记录搜索关键词 PFADD search_terms redis hyperloglog algorithm # 获取独立关键词数量 PFCOUNT search_terms3. 大数据量去重计数当需要统计千万级甚至亿级数据的独立元素个数时HyperLogLog 是最优选择。例如电商平台的商品浏览记录去重、广告曝光量统计等。算法局限性与注意事项概率估算结果是近似值误差约 0.81%不适合需要精确计数的场景无法获取具体元素只能得到基数统计结果无法获取原始元素内存占用固定无论数据量多少均占用约 12KB 内存总结HyperLogLog 算法为 Redis 提供了高效的基数统计能力通过巧妙的数学原理和工程优化在仅使用 12KB 内存的情况下就能处理接近 2^64 个元素的去重计数问题。这使得 Redis 在海量数据统计场景中表现出色成为缓存、计数系统的理想选择。掌握 HyperLogLog 的原理和使用方法能帮助开发者在处理大数据量去重问题时在内存占用和计算效率之间找到完美平衡。如需深入了解实现细节可以查阅 Redis 源码中的 src/hyperloglog.c 文件。【免费下载链接】redisRedis 是一个高性能的键值对数据库通常用作数据库、缓存和消息代理。* 缓存数据减轻数据库压力会话存储发布订阅模式。* 特点支持多种数据结构如字符串、列表、集合、散列、有序集等支持持久化存储基于内存性能高。项目地址: https://gitcode.com/GitHub_Trending/re/redis创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
