缓冲区在哪里read操作系统把内核缓冲区的数据拷贝到你传入的用户内存buf 如果内核缓冲区没有需要的数据 → OS 发起硬件请求从磁盘加载数据进入内核缓冲区再拷贝给应用。write把应用buf的数据拷贝进内核缓冲区函数返回后续内核再异步写到磁盘。操作表 一组函数指针数组跳转表存储这个文件 / 硬件对应的read、write、open、close、llseek等底层实现地址。//内核伪代码 struct file_operations { //读写偏移 loff_t (*llseek) (struct file *, loff_t, int); //对应系统调用 read() ssize_t (*read) (struct file *, char __user *, size_t, loff_t *); //对应系统调用 write() ssize_t (*write) (struct file *, const char __user *, size_t, loff_t *); //打开文件 int (*open) (struct inode *, struct file *); //关闭文件 int (*release) (struct inode *, struct file *); //还有 ioctl、poll、mmap…… };用户层永远只调用统一 APIread(fd)/write(fd)不需要区分底层是磁盘文件、键盘、显示器、网卡、串口。 内核收到系统调用后根据 fd 找到struct file取出里面的f_op操作表调用操作表里对应的函数指针缓冲区在内核空间内核缓冲区图中间区域内核缓冲区、磁盘、read()/write()系统调用、struct file归属内核空间操作系统维护所有进程共享内核缓存资源接口系统调用read(int fd, buf, size) / write()数据流向write 流程应用 → 用户缓冲区 → write 系统调用 → 内核缓冲区 →延迟刷新磁盘read 流程磁盘 → 内核缓冲区 → read 系统调用拷贝 → 用户缓冲区 → 应用程序变量重点调用write()绝不直接写磁盘write 只是把数据拷贝到内核缓冲区操作系统会在合适时机内核线程 pdflush把缓冲区数据刷入磁盘这种机制叫延迟写。为什么要有缓冲区系统调用是有成本的,我们要减少系统调用的次数new malloc底层都是会调用系统调用,但是你在申请的时候给你的是虚拟地址空间,当你真正开始用的时候在区物理内存里面给你申请比如在stl里面vector需要扩容的时候,一般采用2倍,这样也有利于减少系统调用的次数为了减少系统调用,c,c就登场了用户级缓冲区归属用户空间由 C 标准库libc维护接口fopen/fgets/fputs/fprintf/fread/fwrite这些标准 IO 函数意义减少系统调用次数系统调用read/write会发生用户态 ↔ 内核态切换开销大。 程序不会调用一次write写 1 个字节而是先把数据攒在用户缓冲区缓冲区满 / 主动刷新时才调用一次write系统调用进入内核。两条数据流路线路线 A标准库 IO带用户缓冲区 fputs/fprintf应用内存变量 →FILE 用户缓冲区→ 缓冲区刷新 →write()系统调用 →内核缓冲区→ 操作系统异步刷入磁盘路线 B原生系统调用无用户缓冲区 read/write应用内存 buffer → 直接通过read/write在内核缓冲区、程序内存之间拷贝接下来我们看下面三个现象eg1Linux 规则最小可用文件描述符分配进程启动默认fd0 (标准输入)、fd1 (标准输出 stdout)、fd2 (标准错误 stderr)close(1)释放 fd1随后open()打开文件优先拿到最小空闲 fd也就是 1最终fd 1 指向 log.txtprintf底层往stdoutfd1输出所以内容本该写入 log.txt。说明printf数据放入 stdout 缓冲区尚未 writeclose(fd)→关闭文件描述符 fd1缓冲区数据还躺在内存里但是通往文件的 fd 已经被关掉等到程序退出库函数尝试刷新缓冲区、调用 write (fd1) → fd1 已经关闭系统调用失败缓冲区数据直接丢失文件没有写入任何内容log.txt为空文件当我们为他添加fflush,时又重新把hello world写入log.txt文件eg2运行效果等待 1 秒后输出hello运行效果等待 1 秒无任何输出printf(hello)不带换行符\n程序输出到终端stdout 是行缓冲模式。 行缓冲规则只有遇到\n、主动fflush、进程正常库层退出才刷新缓冲区单纯字符串无换行数据停留在C 库用户缓冲区不会调用 write 系统调用。exit会刷新语言级缓冲,二_exit则不会,导致缓冲区内容丢失eg3标准 IO 库函数C 库带用户缓冲区printf / fprintf(stdout) / fputs数据先存入进程用户态 stdio 缓冲区不一定立刻调用write系统调用。系统调用无用户缓冲区write(fd,buf,len)直接发起内核调用数据直达内核缓冲区不存在用户缓冲区滞留。前置缓冲规则输出到终端交互式 shellstdout 行缓冲遇见\n自动刷新缓冲区输出到普通文件重定向 aaaastdout 全缓冲\n不会触发刷新数据停留在用户缓冲区解释现象1../buffer.exe直接终端运行行缓冲 每条标准 IO 带\n触发缓冲区刷新依次打印 4 行无重复。2../buffer.exe aaaa重定向到文件全缓冲\n不再刷新程序退出时exit()统一刷新缓冲区。 顺序write 直接输出随后程序退出一次性输出缓冲区内 3 条标准 IO 内容。解释现象forkfork()创建子进程时采用写时复制COW父进程整个用户地址空间完整复制一份给子进程。stdio 缓冲区位于用户地址空间会被一并拷贝分支 1终端运行行缓冲 标准 IO 函数内部\n触发刷新fork 执行前缓冲区已经清空。 fork 时父子进程缓冲区都是空的后续没有重复输出。分支 2重定向文件全缓冲\n不会刷新缓冲区执行fork()那一刻 父进程的 stdout 缓冲区还存放着hello printf\nhello printf\nhello fprintf\nhello fputs\nfork 复制地址空间 →子进程拿到一份一模一样的缓冲区副本。父子进程是独立进程父进程退出刷新自身缓冲区输出一组标准 IO 内容子进程退出刷新自己复制得来的缓冲区再次输出同一组内容而write()是系统调用没有用户缓冲区在 fork 之前就已经完成内核输出只会打印一次。内核缓冲区两种刷新方式主动强制落盘fsync () /fdatasync ()系统调用强制把内核缓冲区数据立即写入磁盘硬件等待磁盘 IO 完成才返回。fsync(fd)刷新文件数据 文件元信息大小、修改时间等fdatasync(fd)只刷新文件内容不强制同步元信息性能略高操作系统异步自动刷新内核后台守护进程pdflush/flusher定时扫描在系统空闲、内存不足时自动把 Page Cache 数据刷到磁盘无需程序干预。
Linux之文件--缓冲区和c封装
缓冲区在哪里read操作系统把内核缓冲区的数据拷贝到你传入的用户内存buf 如果内核缓冲区没有需要的数据 → OS 发起硬件请求从磁盘加载数据进入内核缓冲区再拷贝给应用。write把应用buf的数据拷贝进内核缓冲区函数返回后续内核再异步写到磁盘。操作表 一组函数指针数组跳转表存储这个文件 / 硬件对应的read、write、open、close、llseek等底层实现地址。//内核伪代码 struct file_operations { //读写偏移 loff_t (*llseek) (struct file *, loff_t, int); //对应系统调用 read() ssize_t (*read) (struct file *, char __user *, size_t, loff_t *); //对应系统调用 write() ssize_t (*write) (struct file *, const char __user *, size_t, loff_t *); //打开文件 int (*open) (struct inode *, struct file *); //关闭文件 int (*release) (struct inode *, struct file *); //还有 ioctl、poll、mmap…… };用户层永远只调用统一 APIread(fd)/write(fd)不需要区分底层是磁盘文件、键盘、显示器、网卡、串口。 内核收到系统调用后根据 fd 找到struct file取出里面的f_op操作表调用操作表里对应的函数指针缓冲区在内核空间内核缓冲区图中间区域内核缓冲区、磁盘、read()/write()系统调用、struct file归属内核空间操作系统维护所有进程共享内核缓存资源接口系统调用read(int fd, buf, size) / write()数据流向write 流程应用 → 用户缓冲区 → write 系统调用 → 内核缓冲区 →延迟刷新磁盘read 流程磁盘 → 内核缓冲区 → read 系统调用拷贝 → 用户缓冲区 → 应用程序变量重点调用write()绝不直接写磁盘write 只是把数据拷贝到内核缓冲区操作系统会在合适时机内核线程 pdflush把缓冲区数据刷入磁盘这种机制叫延迟写。为什么要有缓冲区系统调用是有成本的,我们要减少系统调用的次数new malloc底层都是会调用系统调用,但是你在申请的时候给你的是虚拟地址空间,当你真正开始用的时候在区物理内存里面给你申请比如在stl里面vector需要扩容的时候,一般采用2倍,这样也有利于减少系统调用的次数为了减少系统调用,c,c就登场了用户级缓冲区归属用户空间由 C 标准库libc维护接口fopen/fgets/fputs/fprintf/fread/fwrite这些标准 IO 函数意义减少系统调用次数系统调用read/write会发生用户态 ↔ 内核态切换开销大。 程序不会调用一次write写 1 个字节而是先把数据攒在用户缓冲区缓冲区满 / 主动刷新时才调用一次write系统调用进入内核。两条数据流路线路线 A标准库 IO带用户缓冲区 fputs/fprintf应用内存变量 →FILE 用户缓冲区→ 缓冲区刷新 →write()系统调用 →内核缓冲区→ 操作系统异步刷入磁盘路线 B原生系统调用无用户缓冲区 read/write应用内存 buffer → 直接通过read/write在内核缓冲区、程序内存之间拷贝接下来我们看下面三个现象eg1Linux 规则最小可用文件描述符分配进程启动默认fd0 (标准输入)、fd1 (标准输出 stdout)、fd2 (标准错误 stderr)close(1)释放 fd1随后open()打开文件优先拿到最小空闲 fd也就是 1最终fd 1 指向 log.txtprintf底层往stdoutfd1输出所以内容本该写入 log.txt。说明printf数据放入 stdout 缓冲区尚未 writeclose(fd)→关闭文件描述符 fd1缓冲区数据还躺在内存里但是通往文件的 fd 已经被关掉等到程序退出库函数尝试刷新缓冲区、调用 write (fd1) → fd1 已经关闭系统调用失败缓冲区数据直接丢失文件没有写入任何内容log.txt为空文件当我们为他添加fflush,时又重新把hello world写入log.txt文件eg2运行效果等待 1 秒后输出hello运行效果等待 1 秒无任何输出printf(hello)不带换行符\n程序输出到终端stdout 是行缓冲模式。 行缓冲规则只有遇到\n、主动fflush、进程正常库层退出才刷新缓冲区单纯字符串无换行数据停留在C 库用户缓冲区不会调用 write 系统调用。exit会刷新语言级缓冲,二_exit则不会,导致缓冲区内容丢失eg3标准 IO 库函数C 库带用户缓冲区printf / fprintf(stdout) / fputs数据先存入进程用户态 stdio 缓冲区不一定立刻调用write系统调用。系统调用无用户缓冲区write(fd,buf,len)直接发起内核调用数据直达内核缓冲区不存在用户缓冲区滞留。前置缓冲规则输出到终端交互式 shellstdout 行缓冲遇见\n自动刷新缓冲区输出到普通文件重定向 aaaastdout 全缓冲\n不会触发刷新数据停留在用户缓冲区解释现象1../buffer.exe直接终端运行行缓冲 每条标准 IO 带\n触发缓冲区刷新依次打印 4 行无重复。2../buffer.exe aaaa重定向到文件全缓冲\n不再刷新程序退出时exit()统一刷新缓冲区。 顺序write 直接输出随后程序退出一次性输出缓冲区内 3 条标准 IO 内容。解释现象forkfork()创建子进程时采用写时复制COW父进程整个用户地址空间完整复制一份给子进程。stdio 缓冲区位于用户地址空间会被一并拷贝分支 1终端运行行缓冲 标准 IO 函数内部\n触发刷新fork 执行前缓冲区已经清空。 fork 时父子进程缓冲区都是空的后续没有重复输出。分支 2重定向文件全缓冲\n不会刷新缓冲区执行fork()那一刻 父进程的 stdout 缓冲区还存放着hello printf\nhello printf\nhello fprintf\nhello fputs\nfork 复制地址空间 →子进程拿到一份一模一样的缓冲区副本。父子进程是独立进程父进程退出刷新自身缓冲区输出一组标准 IO 内容子进程退出刷新自己复制得来的缓冲区再次输出同一组内容而write()是系统调用没有用户缓冲区在 fork 之前就已经完成内核输出只会打印一次。内核缓冲区两种刷新方式主动强制落盘fsync () /fdatasync ()系统调用强制把内核缓冲区数据立即写入磁盘硬件等待磁盘 IO 完成才返回。fsync(fd)刷新文件数据 文件元信息大小、修改时间等fdatasync(fd)只刷新文件内容不强制同步元信息性能略高操作系统异步自动刷新内核后台守护进程pdflush/flusher定时扫描在系统空闲、内存不足时自动把 Page Cache 数据刷到磁盘无需程序干预。
