南京大学 操作系统 (JYY) 学习笔记C 标准库与动态内存管理的艺术 (libc malloc)写在前面这是本系列的第九篇。我们已经学习了许多系统调用比如进程管理的fork,execve,waitpid内存管理的mmap文件管理的open,read,write,pipe等等。观察这些系统调用你会发现一个有趣的原则“非必要不实现”机制与策略分离、最小完备性原则。但凡应用程序能自己搞定的功能操作系统就不提供。这能防止内核代码膨胀。本讲内容系统调用虽好但过于底层。为了服务应用程序我们需要一套“好用”的库函数。今天我们将深入探讨 C 语言的灵魂基石——libc以及令无数程序员又爱又恨的动态内存管理核心malloc和free。libc 简介从“最小”的 C 程序出发void_start(){__asm__(mov $60, %eax\n// syscall: exitxor %edi, %edi\n// status: 0syscall);}通过 C 语言本身的机制指针、数组、结构体、函数结合底层的操作系统系统调用syscall我们可以构建出整个计算机应用世界。系统调用是地基C 语言是框架C 语言世界上“最通用”的高级语言。C 语言其实是一种“高级汇编语言”你可以把 C 代码几乎原样对应成汇编语言。它只对系统调用做了一层非常浅的封装。为什么不用 CC 更好用但太庞大移植起来很痛苦。小到任何一个嵌入式平台大到超级计算机基本上都有一个 C 编译器。因为有 C 语言操作系统和应用才能在任何硬件上移植。AI 科普为什么称 C 语言是高级的汇编语言硬件级操作:支持指针、直接内存访问和位操作能精准控制硬件寄存器。高效性:编译后的机器指令效率极高且支持内联汇编。跨平台:通过编译器实现硬件适配避免了汇编语言强依赖特定架构的死穴同时保留了底层控制权。C23古老语言的持续演进C 语言并没有停滞不前看看现代 C 语言引入的新特性constexprintn54;// C11 的 constexpr 被引入用于编译期常量求值typeof(n)arr[n];// GNU C 扩展的 typeof获取变量类型[[maybe_unused]]auto*ptrfoo();// C17 的属性告诉编译器这个变量没用也不要报警告ptrnullptr;// C11 引入的明确空指针终于不用写宏定义 NULL 了如果没有库函数寸步难行就算我们懂得了所有的系统调用如果没有 libc 库我们依然没法正常编程。intread(intfd,void*buf,size_tcount);intwrite(intfd,constvoid*buf,size_tcount);intmain(){inta???;// 怎么把用户输入的字符转化为整数 aintb???;intsumab;// 怎么把整数 sum 转化为字符串输出到屏幕}解析字符串、格式化输出这些繁琐但必不可少的工作统统由 libc 帮我们包办了。The C Standard Library (C 标准库):机制运行库:大部分可以用 C 语言本身实现少部分需要底层汇编支持。标准化:ISO IEC 标准的一部分POSIX C Library 的子集。它极其稳定可靠拥有极佳的移植性。学习 libc 最好的方法自己写一个 libc今天我们有 AI 老师的辅助可以直接挑战底层源码。在尝试手写 libc 的过程中你可能会遇到各种折磨人的 BugInline assembly 忘记写%%。_start的栈指针rsp被意外修改。mmap的参数顺序传错。munmap忘记处理内存块头部的 8 字节 metadata 导致系统崩溃。谨慎使用 AIGC 直接生成底层代码但你可以让 AI 辅佐你去阅读优秀的开源实现比如minilibc或musl。Musl比 glibc 更适合学习的源码调试 glibc不你不想glibc 代码背负了极度沉重的历史包袱充斥着为了性能做的极端优化宏对新手极其不友好。正确的选择musl libc。它的代码非常干净、优雅极其适合用来理解 C 语言标准库是如何利用系统调用一层层搭建起来的。编译技巧-O1: 降低优化级别防止编译器把你想看的逻辑抹除。-g3: 包含最详尽的调试信息方便 GDB 单步追踪。基础编程机制的抽象在脱离了操作系统的Freestanding (独立)环境下libc 依然为我们提供了一组宝贵的基础定义stddef.h: 定义了size_t以及极其巧妙的offsetof宏。stdint.h: 定义了确切宽度的整数类型int32_t,uint64_t。stdbool.h: 定义了bool,true,false。inttypes.h: 提供跨平台打印定宽整数的格式化宏。更有字符串与数组操作的利器string.h(memcpy,memmove,strcpy)以及提供常用杂项功能的stdlib.h(rand,abort,atoi)。AI 时代的查阅艺术 (Prompt Engineering)在面对庞杂的文档如复杂的 IEEE 浮点数标准、setjmp状态机跳转时“Attention is all you need.”你需要给 AI 喂极具针对性的“关键词”。虽然现代的推理模型Reasoning Model降低了对 Prompt 的严苛依赖但神来之笔的关键词依然能让你瞬间拿到直击灵魂的答案。系统调用与环境的抽象标准输入输出Standard I/O (stdio.h)FILE *的背后本质上封装着一个整数的文件描述符 (fd)以及一个用户态的内存缓冲区。printf()家族函数实际上是将你传入的各种类型数据格式化成字符串最后调用底层的write(1, ...)输出到屏幕。进程环境的继承environ在执行execve时环境变量是被传递给新进程的。intmain(argc,char*argv[],char*envp[]);全局变量environ是谁赋值的如果你在 GDB 里打上 Watch Point 去监控它你会发现你的代码根本没有对它赋值。答案在系统底层根据 System V ABI 规范操作系统在execve加载程序后会在进程的初始栈上布好这些数据而 libc 在调用你的main函数之前内部的一段隐秘初始化代码已经悄悄帮你把environ指针设置好了。动态内存管理malloc()和free()的深渊“I call it my billion-dollar mistake. It was the invention of the null reference in 1965.” (Tony Hoare)发明了空指针这是一个价值十亿美元的错误。编程语言抽象的不足在 C 语言中我们总是盲目地假设指针不是空的。malloc/free的设计更是将这种危险推向了极致Use after free (释放后使用)Double free (重复释放)Memory leak (内存泄漏)它违背了“机制策略分离”的原则要求程序员保证“每一个 malloc 在任何可能路径上都必有一次且仅有一次的 free并且之后绝对不再使用”。在庞大的工程中这几乎是不可能完成的任务。操作系统底层mmap操作系统不管分配一小段内存它只提供mmap早期是sbrk能给你大段、连续的虚拟地址空间甚至可以超过物理内存的上限。rootLAPTOP-GT06V0GS:/mnt/d/CSLab/osCourse/lec9/mmap# strace ./alloc# mmap 匿名内存映射内核其实只分配了虚拟地址并没有马上给你物理内存延迟分配mmap(NULL,8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1,0)0x7f1aecd5a000极客解析mmap** 的 Lazy Allocation (延迟分配)**当mmap返回时物理内存并没有真正分配。只有当你的代码第一次读写这块内存触发了硬件的缺页异常 (Page Fault)时操作系统才会火速给你分配真实的物理内存。这就是为什么你可以瞬间mmap出 8GB 甚至更多的内存而不会卡顿的原因。实现高效的 malloc() / free()操作系统不管小内存那应用程序怎么管自己写数据结构管“Premature optimization is the root of all evil.” —— D. E. Knuth过早的优化是万恶之源。性能优化的铁律脱离 workload (负载场景) 做优化就是耍流氓在开始写算法之前你必须知道你的系统到底是面临怎样的请求特征。去哪里找 workload去看顶会的 Paper顺便白嫖微软或者大牛们的方案比如mimalloc。在现实系统中我们通常不考虑恶意攻击的最坏情况虽然这会带来拒绝服务攻击的风险而是针对日常的正常行为做优化。针对malloc()的统计学观察大对象分配后读写数量应当远大于它的大小。(如果你申请了 16MB 内存只写了几个字节就立刻释放了这绝对是个 Performance Bug不是 Feature)。推论越小的对象创建和分配得越频繁因此在 Lab 里我们几乎只需要管好小对象的分配效率就能拿高分。由于所有的分配都会在多核处理器上并发发生可扩展性 (Scalability)和锁竞争是主要瓶颈。如果用一个全局大链表去first fit找空闲块不仅慢而且锁竞争会让系统崩溃。终极哲学Fast and Slow (快慢系统分离)就像《思考快与慢》里写的人类大脑一样优秀的系统往往设置两套机制Fast path (快车道):性能极好覆盖 99% 的常见情况没有锁冲突。Slow path (慢车道):当快车道失败时比如内存耗尽回退到慢车道踏踏实实地去向操作系统要内存、合并碎片、处理复杂情况。人类的智慧空间换时间Segregated List (Slab)现代高性能内存分配器的核心思想把向 OS 借来的大块内存Slab切分每个 Slab 里的每个格子都一样大(比如专门存放 32 字节对象的 Slab专门存放 64 字节的 Slab)。线程本地缓存 (Thread Local):为每个线程分配专属的 Slab 列表。Fast path:线程需要 32 字节时直接在自己的 32 字节 Slab 里取出一个格子不需要加锁瞬间完成Slow path:当线程本地的 Slab 用完了才回退去全局共享池里申请新的大块内存或者调用mmap。
南京大学 操作系统 (JYY) 学习笔记：C 标准库与动态内存管理的艺术 (libc malloc)
南京大学 操作系统 (JYY) 学习笔记C 标准库与动态内存管理的艺术 (libc malloc)写在前面这是本系列的第九篇。我们已经学习了许多系统调用比如进程管理的fork,execve,waitpid内存管理的mmap文件管理的open,read,write,pipe等等。观察这些系统调用你会发现一个有趣的原则“非必要不实现”机制与策略分离、最小完备性原则。但凡应用程序能自己搞定的功能操作系统就不提供。这能防止内核代码膨胀。本讲内容系统调用虽好但过于底层。为了服务应用程序我们需要一套“好用”的库函数。今天我们将深入探讨 C 语言的灵魂基石——libc以及令无数程序员又爱又恨的动态内存管理核心malloc和free。libc 简介从“最小”的 C 程序出发void_start(){__asm__(mov $60, %eax\n// syscall: exitxor %edi, %edi\n// status: 0syscall);}通过 C 语言本身的机制指针、数组、结构体、函数结合底层的操作系统系统调用syscall我们可以构建出整个计算机应用世界。系统调用是地基C 语言是框架C 语言世界上“最通用”的高级语言。C 语言其实是一种“高级汇编语言”你可以把 C 代码几乎原样对应成汇编语言。它只对系统调用做了一层非常浅的封装。为什么不用 CC 更好用但太庞大移植起来很痛苦。小到任何一个嵌入式平台大到超级计算机基本上都有一个 C 编译器。因为有 C 语言操作系统和应用才能在任何硬件上移植。AI 科普为什么称 C 语言是高级的汇编语言硬件级操作:支持指针、直接内存访问和位操作能精准控制硬件寄存器。高效性:编译后的机器指令效率极高且支持内联汇编。跨平台:通过编译器实现硬件适配避免了汇编语言强依赖特定架构的死穴同时保留了底层控制权。C23古老语言的持续演进C 语言并没有停滞不前看看现代 C 语言引入的新特性constexprintn54;// C11 的 constexpr 被引入用于编译期常量求值typeof(n)arr[n];// GNU C 扩展的 typeof获取变量类型[[maybe_unused]]auto*ptrfoo();// C17 的属性告诉编译器这个变量没用也不要报警告ptrnullptr;// C11 引入的明确空指针终于不用写宏定义 NULL 了如果没有库函数寸步难行就算我们懂得了所有的系统调用如果没有 libc 库我们依然没法正常编程。intread(intfd,void*buf,size_tcount);intwrite(intfd,constvoid*buf,size_tcount);intmain(){inta???;// 怎么把用户输入的字符转化为整数 aintb???;intsumab;// 怎么把整数 sum 转化为字符串输出到屏幕}解析字符串、格式化输出这些繁琐但必不可少的工作统统由 libc 帮我们包办了。The C Standard Library (C 标准库):机制运行库:大部分可以用 C 语言本身实现少部分需要底层汇编支持。标准化:ISO IEC 标准的一部分POSIX C Library 的子集。它极其稳定可靠拥有极佳的移植性。学习 libc 最好的方法自己写一个 libc今天我们有 AI 老师的辅助可以直接挑战底层源码。在尝试手写 libc 的过程中你可能会遇到各种折磨人的 BugInline assembly 忘记写%%。_start的栈指针rsp被意外修改。mmap的参数顺序传错。munmap忘记处理内存块头部的 8 字节 metadata 导致系统崩溃。谨慎使用 AIGC 直接生成底层代码但你可以让 AI 辅佐你去阅读优秀的开源实现比如minilibc或musl。Musl比 glibc 更适合学习的源码调试 glibc不你不想glibc 代码背负了极度沉重的历史包袱充斥着为了性能做的极端优化宏对新手极其不友好。正确的选择musl libc。它的代码非常干净、优雅极其适合用来理解 C 语言标准库是如何利用系统调用一层层搭建起来的。编译技巧-O1: 降低优化级别防止编译器把你想看的逻辑抹除。-g3: 包含最详尽的调试信息方便 GDB 单步追踪。基础编程机制的抽象在脱离了操作系统的Freestanding (独立)环境下libc 依然为我们提供了一组宝贵的基础定义stddef.h: 定义了size_t以及极其巧妙的offsetof宏。stdint.h: 定义了确切宽度的整数类型int32_t,uint64_t。stdbool.h: 定义了bool,true,false。inttypes.h: 提供跨平台打印定宽整数的格式化宏。更有字符串与数组操作的利器string.h(memcpy,memmove,strcpy)以及提供常用杂项功能的stdlib.h(rand,abort,atoi)。AI 时代的查阅艺术 (Prompt Engineering)在面对庞杂的文档如复杂的 IEEE 浮点数标准、setjmp状态机跳转时“Attention is all you need.”你需要给 AI 喂极具针对性的“关键词”。虽然现代的推理模型Reasoning Model降低了对 Prompt 的严苛依赖但神来之笔的关键词依然能让你瞬间拿到直击灵魂的答案。系统调用与环境的抽象标准输入输出Standard I/O (stdio.h)FILE *的背后本质上封装着一个整数的文件描述符 (fd)以及一个用户态的内存缓冲区。printf()家族函数实际上是将你传入的各种类型数据格式化成字符串最后调用底层的write(1, ...)输出到屏幕。进程环境的继承environ在执行execve时环境变量是被传递给新进程的。intmain(argc,char*argv[],char*envp[]);全局变量environ是谁赋值的如果你在 GDB 里打上 Watch Point 去监控它你会发现你的代码根本没有对它赋值。答案在系统底层根据 System V ABI 规范操作系统在execve加载程序后会在进程的初始栈上布好这些数据而 libc 在调用你的main函数之前内部的一段隐秘初始化代码已经悄悄帮你把environ指针设置好了。动态内存管理malloc()和free()的深渊“I call it my billion-dollar mistake. It was the invention of the null reference in 1965.” (Tony Hoare)发明了空指针这是一个价值十亿美元的错误。编程语言抽象的不足在 C 语言中我们总是盲目地假设指针不是空的。malloc/free的设计更是将这种危险推向了极致Use after free (释放后使用)Double free (重复释放)Memory leak (内存泄漏)它违背了“机制策略分离”的原则要求程序员保证“每一个 malloc 在任何可能路径上都必有一次且仅有一次的 free并且之后绝对不再使用”。在庞大的工程中这几乎是不可能完成的任务。操作系统底层mmap操作系统不管分配一小段内存它只提供mmap早期是sbrk能给你大段、连续的虚拟地址空间甚至可以超过物理内存的上限。rootLAPTOP-GT06V0GS:/mnt/d/CSLab/osCourse/lec9/mmap# strace ./alloc# mmap 匿名内存映射内核其实只分配了虚拟地址并没有马上给你物理内存延迟分配mmap(NULL,8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1,0)0x7f1aecd5a000极客解析mmap** 的 Lazy Allocation (延迟分配)**当mmap返回时物理内存并没有真正分配。只有当你的代码第一次读写这块内存触发了硬件的缺页异常 (Page Fault)时操作系统才会火速给你分配真实的物理内存。这就是为什么你可以瞬间mmap出 8GB 甚至更多的内存而不会卡顿的原因。实现高效的 malloc() / free()操作系统不管小内存那应用程序怎么管自己写数据结构管“Premature optimization is the root of all evil.” —— D. E. Knuth过早的优化是万恶之源。性能优化的铁律脱离 workload (负载场景) 做优化就是耍流氓在开始写算法之前你必须知道你的系统到底是面临怎样的请求特征。去哪里找 workload去看顶会的 Paper顺便白嫖微软或者大牛们的方案比如mimalloc。在现实系统中我们通常不考虑恶意攻击的最坏情况虽然这会带来拒绝服务攻击的风险而是针对日常的正常行为做优化。针对malloc()的统计学观察大对象分配后读写数量应当远大于它的大小。(如果你申请了 16MB 内存只写了几个字节就立刻释放了这绝对是个 Performance Bug不是 Feature)。推论越小的对象创建和分配得越频繁因此在 Lab 里我们几乎只需要管好小对象的分配效率就能拿高分。由于所有的分配都会在多核处理器上并发发生可扩展性 (Scalability)和锁竞争是主要瓶颈。如果用一个全局大链表去first fit找空闲块不仅慢而且锁竞争会让系统崩溃。终极哲学Fast and Slow (快慢系统分离)就像《思考快与慢》里写的人类大脑一样优秀的系统往往设置两套机制Fast path (快车道):性能极好覆盖 99% 的常见情况没有锁冲突。Slow path (慢车道):当快车道失败时比如内存耗尽回退到慢车道踏踏实实地去向操作系统要内存、合并碎片、处理复杂情况。人类的智慧空间换时间Segregated List (Slab)现代高性能内存分配器的核心思想把向 OS 借来的大块内存Slab切分每个 Slab 里的每个格子都一样大(比如专门存放 32 字节对象的 Slab专门存放 64 字节的 Slab)。线程本地缓存 (Thread Local):为每个线程分配专属的 Slab 列表。Fast path:线程需要 32 字节时直接在自己的 32 字节 Slab 里取出一个格子不需要加锁瞬间完成Slow path:当线程本地的 Slab 用完了才回退去全局共享池里申请新的大块内存或者调用mmap。
