1. 从“Hello, World!”到文件世界为什么文件操作是Python的必修课如果你刚开始学Python可能还在和print(“Hello, World!”)打交道。但很快你就会发现程序不能只活在内存里那些计算出的数据、爬取到的信息、分析出的结果最终都需要一个归宿——那就是文件。无论是把一段文本保存成.txt把一组数据存为.csv方便用Excel打开还是把复杂的对象序列化成.json或.pickle文件操作是连接程序内部世界和外部持久化存储的桥梁。我见过不少初学者函数、循环学得挺溜但一到“把数据存下来”或者“从文件里读配置”就卡壳代码跑一遍结果就没了或者因为文件路径问题报一堆FileNotFoundError。今天我们就抛开那些华而不实的框架回归到最本质的open()、read()、write()把Python文件操作的里里外外、坑坑洼洼都捋清楚。这不是一份冰冷的API文档翻译而是一个老码农在无数次“文件已在另一程序中打开”和“编码错误”的教训后为你总结的实战指南。2. 基石理解Python的open()函数与文件模式几乎所有Python文件操作的起点都是内置的open()函数。它的基础语法很简单open(file, mode‘r’, buffering-1, encodingNone, …)。但魔鬼藏在细节里尤其是那个mode参数选错了可能让你折腾半天。2.1 七种武器详解文件打开模式mode参数是一个字符串它定义了文件以何种方式被打开。很多人只记得‘r’和‘w’但实际上它有更精细的组合理解它们能避免很多数据丢失的悲剧。‘r’(只读模式)默认模式。用于读取文件内容。如果文件不存在会直接抛出FileNotFoundError。这是最安全的一种模式因为你不会意外修改或清空文件。try: with open(‘example.txt‘, ‘r‘) as f: content f.read() except FileNotFoundError: print(“目标文件不存在请检查路径。”)‘w’(写入模式)用于写入文件。这是一个高危模式如果文件已存在它会清空原有所有内容然后从头开始写。如果文件不存在它会创建新文件。所以除非你确定要覆盖否则慎用。# 假设example.txt原有内容为“Old Content” with open(‘example.txt‘, ‘w‘) as f: f.write(‘New Content‘) # 执行后文件里只剩下“New Content”‘a’(追加模式)用于在文件末尾追加内容。如果文件存在写入的数据会被加到文件末尾如果文件不存在则创建新文件。这是日志记录、持续添加数据的常用模式不会破坏已有内容。with open(‘log.txt‘, ‘a‘) as f: f.write(f‘{datetime.now()}: User logged in.\n‘)‘x’(独占创建模式)用于创建新文件。如果文件已存在则操作失败抛出FileExistsError。这在你需要确保不会意外覆盖已有文件时非常有用比如生成一个唯一ID命名的报告文件。try: with open(‘report_20231027.txt‘, ‘x‘) as f: f.write(‘Report Content‘) except FileExistsError: print(“报告文件已存在请更换文件名或手动处理。”)‘b’(二进制模式)上述模式都可以加上‘b‘如‘rb‘、‘wb‘、‘ab‘。用于读写二进制文件如图片、视频、可执行文件或pickle序列化的对象。在二进制模式下你不能指定encoding参数读写操作使用的是bytes对象。# 复制一张图片 with open(‘source.jpg‘, ‘rb‘) as src_file: with open(‘copy.jpg‘, ‘wb‘) as dst_file: dst_file.write(src_file.read())‘’(更新模式)与上述模式结合如‘r‘、‘w‘、‘a‘表示同时支持读写。但这带来了复杂性‘r‘打开文件用于读写。文件必须存在指针在开头。写入会从指针位置开始覆盖原有字节。‘w‘打开文件用于读写。如果文件存在则清空不存在则创建。‘a‘打开文件用于读写。如果文件存在指针在末尾不存在则创建。写入总是追加。注意对于‘r‘和‘a‘要特别注意文件指针的位置否则很容易出现写入覆盖了不想覆盖的数据或者读不到刚写入的数据的情况。初学者建议先明确本次操作是“只读”、“只写覆盖”还是“只写追加”尽量使用单一功能的模式避免使用‘‘模式除非你很清楚自己在做什么。2.2 为什么推荐使用with语句上下文管理器你可能看过两种写法# 写法一不推荐 f open(‘file.txt‘, ‘r‘) content f.read() f.close() # 必须手动关闭 # 写法二推荐 with open(‘file.txt‘, ‘r‘) as f: content f.read() # 退出with块后文件自动关闭务必使用第二种with语句是Python的上下文管理器协议。它的核心优势是确保资源被正确释放。即使在with块内发生了异常文件也会被安全地关闭。手动调用f.close()很容易被遗忘特别是在复杂的逻辑分支或异常发生时导致文件句柄泄漏。在Windows系统上一个未关闭的文件可能被锁定导致其他程序甚至你自己的程序下一次运行出现“操作无法完成因为文件已在另一程序中打开”的错误。在Linux/Mac上虽然表现可能不同但泄漏资源总是不好的。3. 读写基本功文本与二进制数据的处理掌握了如何打开文件接下来就是核心的读写操作。这里要严格区分文本模式和二进制模式。3.1 文本文件的读写编码是头等大事在文本模式默认或使用‘t‘如‘rt‘下Python处理的是字符串str。当你从磁盘读取字节时Python会根据指定的encoding参数将其解码为字符串写入时则将字符串编码为字节。如果编码指定错误轻则乱码重则程序崩溃UnicodeDecodeError。读取方法f.read(size-1)读取整个文件或最多size个字符注意是字符不是字节返回一个字符串。f.readline(size-1)读取一行直到换行符包括换行符。可以指定size限制读取的字符数。f.readlines()读取所有行返回一个由每行字符串组成的列表。对于大文件这可能会消耗大量内存。更优雅的方式直接迭代文件对象。文件对象本身是可迭代的每次迭代返回一行。这是处理大文件最内存高效的方式。with open(‘large_log.txt‘, ‘r‘, encoding‘utf-8‘) as f: for line in f: # 每次只读一行到内存 process(line) # 处理该行写入方法f.write(string)将字符串写入文件返回写入的字符数。注意它不会自动添加换行符你需要自己加\n。f.writelines(sequence)将一个字符串序列如列表写入文件。同样它不会自动添加换行符需要序列中的每个字符串自己包含换行符。lines [‘Line 1\n‘, ‘Line 2\n‘, ‘Line 3\n‘] with open(‘output.txt‘, ‘w‘, encoding‘utf-8‘) as f: # f.writelines(lines) # 正确 # 错误示范f.writelines([‘Line 1‘, ‘Line 2‘]) 会导致两行连在一起编码实战建议现代项目无脑用utf-8encoding‘utf-8‘几乎适用于所有场景它是跨平台、跨语言的国际标准。处理Windows系统生成的文本文件如某些中文软件可能会遇到gbk或gb2312编码。可以尝试encoding‘gbk‘。如果无法确定编码可以使用chardet库进行检测但非100%准确。在open()时明确指定编码是好习惯不要依赖系统默认编码通过locale.getpreferredencoding()获取这会导致程序在不同机器上行为不一致。3.2 二进制文件的读写字节的精准操控二进制模式带‘b‘下读写操作的单位是bytes。字符串需要先编码encode()才能写入读出的bytes对象需要解码decode()才能变成字符串。# 文本和二进制模式对比 text_data “Hello, 世界” # 文本模式写入自动编码 with open(‘text.txt‘, ‘w‘, encoding‘utf-8‘) as f: f.write(text_data) # 直接写字符串 # 二进制模式写入手动编码 with open(‘binary.bin‘, ‘wb‘) as f: f.write(text_data.encode(‘utf-8‘)) # 必须编码为bytes # 二进制模式读取 with open(‘binary.bin‘, ‘rb‘) as f: bytes_data f.read() # 得到的是 b‘...‘ recovered_text bytes_data.decode(‘utf-8‘) # 手动解码二进制操作的关键在于文件指针。你可以使用f.tell()获取当前指针位置使用f.seek(offset, whence)移动指针。这在解析特定格式的文件如图像文件头、自定义数据包时至关重要。whence0默认从文件开头计算偏移量。whence1从当前位置计算偏移量。whence2从文件末尾计算偏移量。4. 文件与路径的“宫斗剧”os与pathlib模块实战文件操作不仅仅是读写内容更多时候是在和文件系统打交道检查文件是否存在、创建目录、列出文件、拼接路径等。Python提供了os和os.path模块以及更现代、面向对象的pathlib模块。4.1 传统派os.path的常用操作os.path模块提供了一系列字符串路径的操作函数但请注意它们只是处理字符串并不直接访问文件系统除了exists等少数函数。import os file_path “./data/report.txt” # 1. 路径拆解与拼接 dir_name os.path.dirname(file_path) # ‘./data‘ base_name os.path.basename(file_path) # ‘report.txt‘ split_result os.path.split(file_path) # (‘./data‘, ‘report.txt‘) join_path os.path.join(‘parent‘, ‘child‘, ‘file.txt‘) # ‘parent/child/file.txt‘ (跨平台) # 2. 路径存在性与属性判断 if os.path.exists(file_path): print(“文件存在”) if os.path.isfile(file_path): print(“这是一个文件”) if os.path.isdir(‘./data‘): print(“这是一个目录”) abs_path os.path.abspath(‘./data‘) # 获取绝对路径 real_path os.path.realpath(‘./data‘) # 解析软链接后的绝对路径 # 3. 目录遍历 for item in os.listdir(‘./data‘): print(item) # 列出目录下所有文件和子目录名 # 更强大的 os.walk for root, dirs, files in os.walk(‘./data‘): for file in files: print(os.path.join(root, file)) # 递归列出所有文件4.2 现代派拥抱pathlib.Path从Python 3.4开始pathlib模块提供了表示文件系统路径的类其API更面向对象、更直观并且直接整合了许多操作。from pathlib import Path # 创建Path对象 p Path(‘./data/report.txt‘) # 或者使用更清晰的写法 current_dir Path(‘.‘) / ‘data‘ # 支持 / 操作符拼接路径 file_path current_dir / ‘report.txt‘ # 1. 路径信息 print(file_path.parent) # 父目录 Path(‘data‘) print(file_path.name) # 文件名 ‘report.txt‘ print(file_path.stem) # 主名 ‘report‘ print(file_path.suffix) # 后缀 ‘.txt‘ # 2. 文件系统操作 if file_path.exists(): print(“存在”) if file_path.is_file(): print(“是文件”) # 3. 读写文件 (pathlib 封装了 open) content file_path.read_text(encoding‘utf-8‘) # 一次性读取文本 file_path.write_text(‘New content‘, encoding‘utf-8‘) # 一次性写入文本覆盖 # 二进制读写 bytes_data file_path.read_bytes() file_path.write_bytes(b‘Binary data‘) # 4. 目录操作 dir_path Path(‘./new_data‘) dir_path.mkdir(parentsTrue, exist_okTrue) # 创建目录parentsTrue可创建多级exist_okTrue避免已存在时报错 for child in dir_path.iterdir(): # 迭代目录内容 print(child) # 查找文件 for py_file in Path(‘.‘).glob(‘**/*.py‘): # 递归查找所有.py文件 print(py_file)个人体会在新项目中我强烈建议使用pathlib。它的链式调用非常流畅比如(Path(‘logs‘) / ‘app.log‘).write_text(…)代码意图一目了然。os.path在处理大量字符串路径时仍有其价值但pathlib无疑是未来。5. 高级话题与实战避坑指南掌握了基础我们来看看那些容易让人栽跟头的高级场景和常见错误。5.1 大文件处理内存友好的读写策略用read()或readlines()一次性读取几个GB的文件是导致程序内存爆掉MemoryError的经典错误。正确的做法是流式读取。# 方法一按行迭代文本文件 with open(‘huge_file.txt‘, ‘r‘, encoding‘utf-8‘) as f: for line in f: process_line(line) # 逐行处理 # 方法二按指定大小块读取适用于文本或二进制 chunk_size 1024 * 1024 # 每次读取1MB with open(‘huge_video.mp4‘, ‘rb‘) as f: while True: chunk f.read(chunk_size) if not chunk: # 读到文件末尾 break process_chunk(chunk) # 方法三使用更高效的工具 # 对于结构化文本如CSV使用pandas的chunksize import pandas as pd chunk_iter pd.read_csv(‘large.csv‘, chunksize10000) for chunk in chunk_iter: process_dataframe(chunk)5.2 文件锁与“文件已被占用”错误在多进程、多线程编程或者脚本频繁运行、IDE调试时你很可能遇到“PermissionError: [Errno 13] Permission denied”或者类似“文件已在另一程序中打开”的提示。这是因为文件被某个进程锁定通常是未正确关闭。根本原因在Windows上以写入模式‘w‘, ‘a‘, ‘r‘等打开一个文件系统会施加一个独占锁防止其他进程写入。即使你的Python程序已经close()了文件如果句柄没有及时释放锁可能还会短暂存在。解决方案确保使用with语句这是第一道防线。检查是否有其他程序占用比如Excel打开了你要写的CSV文件文本编辑器打开了配置文件或者你之前的程序实例还在后台运行。使用重试机制对于可能被短暂锁定的文件如日志文件可以在打开时捕获异常并重试。import time def safe_write(filepath, content, max_retries5): for i in range(max_retries): try: with open(filepath, ‘w‘, encoding‘utf-8‘) as f: f.write(content) return True except PermissionError: if i max_retries - 1: raise time.sleep(0.1) # 等待一小段时间再重试 return False考虑文件锁库对于需要严格协调的多进程访问可以考虑使用第三方库如portalocker跨平台来实现进程间文件锁。5.3 临时文件与安全删除有时你需要创建一些中间文件用完后希望自动清理。tempfile模块是你的好帮手。import tempfile import os # 创建临时文件关闭后自动删除在大多数系统上 with tempfile.NamedTemporaryFile(mode‘w‘, suffix‘.tmp‘, deleteTrue) as tmp: tmp.write(‘Temporary data‘) tmp.seek(0) # 将指针移回文件开头以便读取 print(tmp.read()) # 读取内容 # 退出with块临时文件被自动删除 # 创建临时目录 with tempfile.TemporaryDirectory() as tmpdir: tmp_file_path os.path.join(tmpdir, ‘test.txt‘) with open(tmp_file_path, ‘w‘) as f: f.write(‘data in temp dir‘) # 在此使用临时目录中的文件 # 退出with块整个临时目录及其内容被递归删除使用临时文件可以避免在程序异常退出时留下垃圾文件也增强了安全性避免敏感信息残留。5.4 序列化用文件保存Python对象将内存中的列表、字典等复杂对象保存到文件或者从文件加载回来这就是序列化与反序列化。Python内置了pickle和json模块。picklePython专用的二进制序列化协议。可以序列化几乎所有的Python对象函数、类实例等但不安全。不要反序列化来自不受信任来源的pickle数据它可能执行任意代码。仅用于可信环境。import pickle data {‘name‘: ‘Alice‘, ‘score‘: [95, 87, 92], ‘func‘: lambda x: x*2} # 序列化到文件 with open(‘data.pkl‘, ‘wb‘) as f: # 注意是‘wb‘ pickle.dump(data, f) # 从文件反序列化 with open(‘data.pkl‘, ‘rb‘) as f: loaded_data pickle.load(f) print(loaded_data[‘func‘](5)) # 输出: 10json基于文本的轻量级数据交换格式。只能序列化基本类型字典、列表、字符串、数字、布尔值、None。安全、跨语言、可读性好是Web API和配置文件的默认选择。import json data {‘name‘: ‘Alice‘, ‘score‘: [95, 87, 92]} # 序列化到文件 with open(‘data.json‘, ‘w‘, encoding‘utf-8‘) as f: json.dump(data, f, indent2, ensure_asciiFalse) # indent美化ensure_asciiFalse允许中文 # 从文件反序列化 with open(‘data.json‘, ‘r‘, encoding‘utf-8‘) as f: loaded_data json.load(f)选择建议除非有特殊需求如保存机器学习模型、复杂的自定义类实例否则优先使用json。pickle更适合在纯Python环境间传递临时数据。6. 综合案例一个简易的日志记录与配置文件管理系统让我们把上面的知识串起来写一个实际可用的模块。假设我们要为一个爬虫脚本添加日志记录和可配置的爬取参数。项目结构my_crawler/ ├── config.json # 配置文件 ├── logs/ # 日志目录 ├── crawler.py # 主程序 └── utils/ # 工具模块 └── file_utils.py1. 配置文件管理 (utils/file_utils.py):import json from pathlib import Path import logging CONFIG_DIR Path(‘.‘) CONFIG_FILE CONFIG_DIR / ‘config.json‘ def load_config(): 加载配置文件如果不存在则创建默认配置 default_config { ‘start_url‘: ‘https://example.com‘, ‘max_depth‘: 3, ‘output_dir‘: ‘./data‘, ‘log_level‘: ‘INFO‘, ‘user_agent‘: ‘MyCrawler/1.0‘ } if not CONFIG_FILE.exists(): # 创建默认配置文件 CONFIG_FILE.write_text(json.dumps(default_config, indent2, ensure_asciiFalse)) print(f“配置文件不存在已创建默认配置于 {CONFIG_FILE}“) return default_config try: with open(CONFIG_FILE, ‘r‘, encoding‘utf-8‘) as f: config json.load(f) # 合并默认配置确保新版本有新增字段时也能工作 merged_config {**default_config, **config} return merged_config except json.JSONDecodeError as e: logging.error(f“配置文件 {CONFIG_FILE} 格式错误: {e}“) raise2. 日志系统集成:import logging from pathlib import Path from datetime import datetime def setup_logging(config): 根据配置设置日志 log_dir Path(config.get(‘log_dir‘, ‘./logs‘)) log_dir.mkdir(parentsTrue, exist_okTrue) # 关键确保日志目录存在 log_level getattr(logging, config.get(‘log_level‘, ‘INFO‘).upper()) # 生成带时间戳的日志文件名 log_file log_dir / f“crawler_{datetime.now().strftime(‘%Y%m%d_%H%M%S‘)}.log“ # 配置logging logging.basicConfig( levellog_level, format‘%(asctime)s - %(name)s - %(levelname)s - %(message)s‘, handlers[ logging.FileHandler(log_file, encoding‘utf-8‘), # 输出到文件 logging.StreamHandler() # 同时输出到控制台 ] ) return log_file3. 主程序 (crawler.py):import logging from utils.file_utils import load_config, setup_logging def main(): # 1. 加载配置 config load_config() logging.info(“配置文件加载成功。”) # 2. 设置日志 log_file_path setup_logging(config) logging.info(f“日志已初始化输出到: {log_file_path}“) # 3. 使用配置 start_url config[‘start_url‘] max_depth config[‘max_depth‘] output_dir Path(config[‘output_dir‘]) output_dir.mkdir(parentsTrue, exist_okTrue) # 确保输出目录存在 logging.info(f“开始爬取起始URL: {start_url}, 最大深度: {max_depth}“) # 4. 模拟爬取和数据保存 try: # ... 这里是你的爬取逻辑 ... data_to_save [{‘title‘: ‘Page1‘, ‘url‘: start_url}] # 将结果保存为JSON文件 output_file output_dir / ‘results.json‘ import json with open(output_file, ‘w‘, encoding‘utf-8‘) as f: json.dump(data_to_save, f, indent2, ensure_asciiFalse) logging.info(f“爬取结果已保存至: {output_file}“) except Exception as e: logging.error(f“爬取过程中发生错误: {e}“, exc_infoTrue) # exc_infoTrue会打印堆栈跟踪 # 可以选择将错误信息追加到特定错误日志文件 error_log Path(‘./logs/errors.log‘) with open(error_log, ‘a‘, encoding‘utf-8‘) as f: f.write(f“{datetime.now()}: {e}\n“) finally: logging.info(“爬虫程序运行结束。”) if __name__ ‘__main__‘: main()这个案例综合运用了json读写管理配置文件。pathlib优雅地处理路径和目录创建mkdir(parentsTrue, exist_okTrue)。logging模块与文件操作将日志同时输出到文件和控制台。异常处理与文件追加在发生错误时不仅记录到主日志还可能追加到专门的错误日志文件。编码指定所有文件操作都明确使用encoding‘utf-8‘保证跨环境一致性。文件操作是Python编程中看似简单但细节繁多的基础。从正确的打开模式、编码处理到路径管理、大文件读写和异常处理每一步都需要清晰的认知。我的经验是在写任何文件相关的代码前先问自己三个问题1. 我要以什么模式打开会不会覆盖 2. 编码是什么会不会乱码 3. 文件路径存在吗要不要先创建目录。想清楚这三点能避开80%的坑。剩下的就交给with语句和pathlib吧它们是你写出健壮、清晰文件操作代码的最得力助手。
Python文件操作实战指南：从open()到pathlib，掌握数据持久化核心技能
1. 从“Hello, World!”到文件世界为什么文件操作是Python的必修课如果你刚开始学Python可能还在和print(“Hello, World!”)打交道。但很快你就会发现程序不能只活在内存里那些计算出的数据、爬取到的信息、分析出的结果最终都需要一个归宿——那就是文件。无论是把一段文本保存成.txt把一组数据存为.csv方便用Excel打开还是把复杂的对象序列化成.json或.pickle文件操作是连接程序内部世界和外部持久化存储的桥梁。我见过不少初学者函数、循环学得挺溜但一到“把数据存下来”或者“从文件里读配置”就卡壳代码跑一遍结果就没了或者因为文件路径问题报一堆FileNotFoundError。今天我们就抛开那些华而不实的框架回归到最本质的open()、read()、write()把Python文件操作的里里外外、坑坑洼洼都捋清楚。这不是一份冰冷的API文档翻译而是一个老码农在无数次“文件已在另一程序中打开”和“编码错误”的教训后为你总结的实战指南。2. 基石理解Python的open()函数与文件模式几乎所有Python文件操作的起点都是内置的open()函数。它的基础语法很简单open(file, mode‘r’, buffering-1, encodingNone, …)。但魔鬼藏在细节里尤其是那个mode参数选错了可能让你折腾半天。2.1 七种武器详解文件打开模式mode参数是一个字符串它定义了文件以何种方式被打开。很多人只记得‘r’和‘w’但实际上它有更精细的组合理解它们能避免很多数据丢失的悲剧。‘r’(只读模式)默认模式。用于读取文件内容。如果文件不存在会直接抛出FileNotFoundError。这是最安全的一种模式因为你不会意外修改或清空文件。try: with open(‘example.txt‘, ‘r‘) as f: content f.read() except FileNotFoundError: print(“目标文件不存在请检查路径。”)‘w’(写入模式)用于写入文件。这是一个高危模式如果文件已存在它会清空原有所有内容然后从头开始写。如果文件不存在它会创建新文件。所以除非你确定要覆盖否则慎用。# 假设example.txt原有内容为“Old Content” with open(‘example.txt‘, ‘w‘) as f: f.write(‘New Content‘) # 执行后文件里只剩下“New Content”‘a’(追加模式)用于在文件末尾追加内容。如果文件存在写入的数据会被加到文件末尾如果文件不存在则创建新文件。这是日志记录、持续添加数据的常用模式不会破坏已有内容。with open(‘log.txt‘, ‘a‘) as f: f.write(f‘{datetime.now()}: User logged in.\n‘)‘x’(独占创建模式)用于创建新文件。如果文件已存在则操作失败抛出FileExistsError。这在你需要确保不会意外覆盖已有文件时非常有用比如生成一个唯一ID命名的报告文件。try: with open(‘report_20231027.txt‘, ‘x‘) as f: f.write(‘Report Content‘) except FileExistsError: print(“报告文件已存在请更换文件名或手动处理。”)‘b’(二进制模式)上述模式都可以加上‘b‘如‘rb‘、‘wb‘、‘ab‘。用于读写二进制文件如图片、视频、可执行文件或pickle序列化的对象。在二进制模式下你不能指定encoding参数读写操作使用的是bytes对象。# 复制一张图片 with open(‘source.jpg‘, ‘rb‘) as src_file: with open(‘copy.jpg‘, ‘wb‘) as dst_file: dst_file.write(src_file.read())‘’(更新模式)与上述模式结合如‘r‘、‘w‘、‘a‘表示同时支持读写。但这带来了复杂性‘r‘打开文件用于读写。文件必须存在指针在开头。写入会从指针位置开始覆盖原有字节。‘w‘打开文件用于读写。如果文件存在则清空不存在则创建。‘a‘打开文件用于读写。如果文件存在指针在末尾不存在则创建。写入总是追加。注意对于‘r‘和‘a‘要特别注意文件指针的位置否则很容易出现写入覆盖了不想覆盖的数据或者读不到刚写入的数据的情况。初学者建议先明确本次操作是“只读”、“只写覆盖”还是“只写追加”尽量使用单一功能的模式避免使用‘‘模式除非你很清楚自己在做什么。2.2 为什么推荐使用with语句上下文管理器你可能看过两种写法# 写法一不推荐 f open(‘file.txt‘, ‘r‘) content f.read() f.close() # 必须手动关闭 # 写法二推荐 with open(‘file.txt‘, ‘r‘) as f: content f.read() # 退出with块后文件自动关闭务必使用第二种with语句是Python的上下文管理器协议。它的核心优势是确保资源被正确释放。即使在with块内发生了异常文件也会被安全地关闭。手动调用f.close()很容易被遗忘特别是在复杂的逻辑分支或异常发生时导致文件句柄泄漏。在Windows系统上一个未关闭的文件可能被锁定导致其他程序甚至你自己的程序下一次运行出现“操作无法完成因为文件已在另一程序中打开”的错误。在Linux/Mac上虽然表现可能不同但泄漏资源总是不好的。3. 读写基本功文本与二进制数据的处理掌握了如何打开文件接下来就是核心的读写操作。这里要严格区分文本模式和二进制模式。3.1 文本文件的读写编码是头等大事在文本模式默认或使用‘t‘如‘rt‘下Python处理的是字符串str。当你从磁盘读取字节时Python会根据指定的encoding参数将其解码为字符串写入时则将字符串编码为字节。如果编码指定错误轻则乱码重则程序崩溃UnicodeDecodeError。读取方法f.read(size-1)读取整个文件或最多size个字符注意是字符不是字节返回一个字符串。f.readline(size-1)读取一行直到换行符包括换行符。可以指定size限制读取的字符数。f.readlines()读取所有行返回一个由每行字符串组成的列表。对于大文件这可能会消耗大量内存。更优雅的方式直接迭代文件对象。文件对象本身是可迭代的每次迭代返回一行。这是处理大文件最内存高效的方式。with open(‘large_log.txt‘, ‘r‘, encoding‘utf-8‘) as f: for line in f: # 每次只读一行到内存 process(line) # 处理该行写入方法f.write(string)将字符串写入文件返回写入的字符数。注意它不会自动添加换行符你需要自己加\n。f.writelines(sequence)将一个字符串序列如列表写入文件。同样它不会自动添加换行符需要序列中的每个字符串自己包含换行符。lines [‘Line 1\n‘, ‘Line 2\n‘, ‘Line 3\n‘] with open(‘output.txt‘, ‘w‘, encoding‘utf-8‘) as f: # f.writelines(lines) # 正确 # 错误示范f.writelines([‘Line 1‘, ‘Line 2‘]) 会导致两行连在一起编码实战建议现代项目无脑用utf-8encoding‘utf-8‘几乎适用于所有场景它是跨平台、跨语言的国际标准。处理Windows系统生成的文本文件如某些中文软件可能会遇到gbk或gb2312编码。可以尝试encoding‘gbk‘。如果无法确定编码可以使用chardet库进行检测但非100%准确。在open()时明确指定编码是好习惯不要依赖系统默认编码通过locale.getpreferredencoding()获取这会导致程序在不同机器上行为不一致。3.2 二进制文件的读写字节的精准操控二进制模式带‘b‘下读写操作的单位是bytes。字符串需要先编码encode()才能写入读出的bytes对象需要解码decode()才能变成字符串。# 文本和二进制模式对比 text_data “Hello, 世界” # 文本模式写入自动编码 with open(‘text.txt‘, ‘w‘, encoding‘utf-8‘) as f: f.write(text_data) # 直接写字符串 # 二进制模式写入手动编码 with open(‘binary.bin‘, ‘wb‘) as f: f.write(text_data.encode(‘utf-8‘)) # 必须编码为bytes # 二进制模式读取 with open(‘binary.bin‘, ‘rb‘) as f: bytes_data f.read() # 得到的是 b‘...‘ recovered_text bytes_data.decode(‘utf-8‘) # 手动解码二进制操作的关键在于文件指针。你可以使用f.tell()获取当前指针位置使用f.seek(offset, whence)移动指针。这在解析特定格式的文件如图像文件头、自定义数据包时至关重要。whence0默认从文件开头计算偏移量。whence1从当前位置计算偏移量。whence2从文件末尾计算偏移量。4. 文件与路径的“宫斗剧”os与pathlib模块实战文件操作不仅仅是读写内容更多时候是在和文件系统打交道检查文件是否存在、创建目录、列出文件、拼接路径等。Python提供了os和os.path模块以及更现代、面向对象的pathlib模块。4.1 传统派os.path的常用操作os.path模块提供了一系列字符串路径的操作函数但请注意它们只是处理字符串并不直接访问文件系统除了exists等少数函数。import os file_path “./data/report.txt” # 1. 路径拆解与拼接 dir_name os.path.dirname(file_path) # ‘./data‘ base_name os.path.basename(file_path) # ‘report.txt‘ split_result os.path.split(file_path) # (‘./data‘, ‘report.txt‘) join_path os.path.join(‘parent‘, ‘child‘, ‘file.txt‘) # ‘parent/child/file.txt‘ (跨平台) # 2. 路径存在性与属性判断 if os.path.exists(file_path): print(“文件存在”) if os.path.isfile(file_path): print(“这是一个文件”) if os.path.isdir(‘./data‘): print(“这是一个目录”) abs_path os.path.abspath(‘./data‘) # 获取绝对路径 real_path os.path.realpath(‘./data‘) # 解析软链接后的绝对路径 # 3. 目录遍历 for item in os.listdir(‘./data‘): print(item) # 列出目录下所有文件和子目录名 # 更强大的 os.walk for root, dirs, files in os.walk(‘./data‘): for file in files: print(os.path.join(root, file)) # 递归列出所有文件4.2 现代派拥抱pathlib.Path从Python 3.4开始pathlib模块提供了表示文件系统路径的类其API更面向对象、更直观并且直接整合了许多操作。from pathlib import Path # 创建Path对象 p Path(‘./data/report.txt‘) # 或者使用更清晰的写法 current_dir Path(‘.‘) / ‘data‘ # 支持 / 操作符拼接路径 file_path current_dir / ‘report.txt‘ # 1. 路径信息 print(file_path.parent) # 父目录 Path(‘data‘) print(file_path.name) # 文件名 ‘report.txt‘ print(file_path.stem) # 主名 ‘report‘ print(file_path.suffix) # 后缀 ‘.txt‘ # 2. 文件系统操作 if file_path.exists(): print(“存在”) if file_path.is_file(): print(“是文件”) # 3. 读写文件 (pathlib 封装了 open) content file_path.read_text(encoding‘utf-8‘) # 一次性读取文本 file_path.write_text(‘New content‘, encoding‘utf-8‘) # 一次性写入文本覆盖 # 二进制读写 bytes_data file_path.read_bytes() file_path.write_bytes(b‘Binary data‘) # 4. 目录操作 dir_path Path(‘./new_data‘) dir_path.mkdir(parentsTrue, exist_okTrue) # 创建目录parentsTrue可创建多级exist_okTrue避免已存在时报错 for child in dir_path.iterdir(): # 迭代目录内容 print(child) # 查找文件 for py_file in Path(‘.‘).glob(‘**/*.py‘): # 递归查找所有.py文件 print(py_file)个人体会在新项目中我强烈建议使用pathlib。它的链式调用非常流畅比如(Path(‘logs‘) / ‘app.log‘).write_text(…)代码意图一目了然。os.path在处理大量字符串路径时仍有其价值但pathlib无疑是未来。5. 高级话题与实战避坑指南掌握了基础我们来看看那些容易让人栽跟头的高级场景和常见错误。5.1 大文件处理内存友好的读写策略用read()或readlines()一次性读取几个GB的文件是导致程序内存爆掉MemoryError的经典错误。正确的做法是流式读取。# 方法一按行迭代文本文件 with open(‘huge_file.txt‘, ‘r‘, encoding‘utf-8‘) as f: for line in f: process_line(line) # 逐行处理 # 方法二按指定大小块读取适用于文本或二进制 chunk_size 1024 * 1024 # 每次读取1MB with open(‘huge_video.mp4‘, ‘rb‘) as f: while True: chunk f.read(chunk_size) if not chunk: # 读到文件末尾 break process_chunk(chunk) # 方法三使用更高效的工具 # 对于结构化文本如CSV使用pandas的chunksize import pandas as pd chunk_iter pd.read_csv(‘large.csv‘, chunksize10000) for chunk in chunk_iter: process_dataframe(chunk)5.2 文件锁与“文件已被占用”错误在多进程、多线程编程或者脚本频繁运行、IDE调试时你很可能遇到“PermissionError: [Errno 13] Permission denied”或者类似“文件已在另一程序中打开”的提示。这是因为文件被某个进程锁定通常是未正确关闭。根本原因在Windows上以写入模式‘w‘, ‘a‘, ‘r‘等打开一个文件系统会施加一个独占锁防止其他进程写入。即使你的Python程序已经close()了文件如果句柄没有及时释放锁可能还会短暂存在。解决方案确保使用with语句这是第一道防线。检查是否有其他程序占用比如Excel打开了你要写的CSV文件文本编辑器打开了配置文件或者你之前的程序实例还在后台运行。使用重试机制对于可能被短暂锁定的文件如日志文件可以在打开时捕获异常并重试。import time def safe_write(filepath, content, max_retries5): for i in range(max_retries): try: with open(filepath, ‘w‘, encoding‘utf-8‘) as f: f.write(content) return True except PermissionError: if i max_retries - 1: raise time.sleep(0.1) # 等待一小段时间再重试 return False考虑文件锁库对于需要严格协调的多进程访问可以考虑使用第三方库如portalocker跨平台来实现进程间文件锁。5.3 临时文件与安全删除有时你需要创建一些中间文件用完后希望自动清理。tempfile模块是你的好帮手。import tempfile import os # 创建临时文件关闭后自动删除在大多数系统上 with tempfile.NamedTemporaryFile(mode‘w‘, suffix‘.tmp‘, deleteTrue) as tmp: tmp.write(‘Temporary data‘) tmp.seek(0) # 将指针移回文件开头以便读取 print(tmp.read()) # 读取内容 # 退出with块临时文件被自动删除 # 创建临时目录 with tempfile.TemporaryDirectory() as tmpdir: tmp_file_path os.path.join(tmpdir, ‘test.txt‘) with open(tmp_file_path, ‘w‘) as f: f.write(‘data in temp dir‘) # 在此使用临时目录中的文件 # 退出with块整个临时目录及其内容被递归删除使用临时文件可以避免在程序异常退出时留下垃圾文件也增强了安全性避免敏感信息残留。5.4 序列化用文件保存Python对象将内存中的列表、字典等复杂对象保存到文件或者从文件加载回来这就是序列化与反序列化。Python内置了pickle和json模块。picklePython专用的二进制序列化协议。可以序列化几乎所有的Python对象函数、类实例等但不安全。不要反序列化来自不受信任来源的pickle数据它可能执行任意代码。仅用于可信环境。import pickle data {‘name‘: ‘Alice‘, ‘score‘: [95, 87, 92], ‘func‘: lambda x: x*2} # 序列化到文件 with open(‘data.pkl‘, ‘wb‘) as f: # 注意是‘wb‘ pickle.dump(data, f) # 从文件反序列化 with open(‘data.pkl‘, ‘rb‘) as f: loaded_data pickle.load(f) print(loaded_data[‘func‘](5)) # 输出: 10json基于文本的轻量级数据交换格式。只能序列化基本类型字典、列表、字符串、数字、布尔值、None。安全、跨语言、可读性好是Web API和配置文件的默认选择。import json data {‘name‘: ‘Alice‘, ‘score‘: [95, 87, 92]} # 序列化到文件 with open(‘data.json‘, ‘w‘, encoding‘utf-8‘) as f: json.dump(data, f, indent2, ensure_asciiFalse) # indent美化ensure_asciiFalse允许中文 # 从文件反序列化 with open(‘data.json‘, ‘r‘, encoding‘utf-8‘) as f: loaded_data json.load(f)选择建议除非有特殊需求如保存机器学习模型、复杂的自定义类实例否则优先使用json。pickle更适合在纯Python环境间传递临时数据。6. 综合案例一个简易的日志记录与配置文件管理系统让我们把上面的知识串起来写一个实际可用的模块。假设我们要为一个爬虫脚本添加日志记录和可配置的爬取参数。项目结构my_crawler/ ├── config.json # 配置文件 ├── logs/ # 日志目录 ├── crawler.py # 主程序 └── utils/ # 工具模块 └── file_utils.py1. 配置文件管理 (utils/file_utils.py):import json from pathlib import Path import logging CONFIG_DIR Path(‘.‘) CONFIG_FILE CONFIG_DIR / ‘config.json‘ def load_config(): 加载配置文件如果不存在则创建默认配置 default_config { ‘start_url‘: ‘https://example.com‘, ‘max_depth‘: 3, ‘output_dir‘: ‘./data‘, ‘log_level‘: ‘INFO‘, ‘user_agent‘: ‘MyCrawler/1.0‘ } if not CONFIG_FILE.exists(): # 创建默认配置文件 CONFIG_FILE.write_text(json.dumps(default_config, indent2, ensure_asciiFalse)) print(f“配置文件不存在已创建默认配置于 {CONFIG_FILE}“) return default_config try: with open(CONFIG_FILE, ‘r‘, encoding‘utf-8‘) as f: config json.load(f) # 合并默认配置确保新版本有新增字段时也能工作 merged_config {**default_config, **config} return merged_config except json.JSONDecodeError as e: logging.error(f“配置文件 {CONFIG_FILE} 格式错误: {e}“) raise2. 日志系统集成:import logging from pathlib import Path from datetime import datetime def setup_logging(config): 根据配置设置日志 log_dir Path(config.get(‘log_dir‘, ‘./logs‘)) log_dir.mkdir(parentsTrue, exist_okTrue) # 关键确保日志目录存在 log_level getattr(logging, config.get(‘log_level‘, ‘INFO‘).upper()) # 生成带时间戳的日志文件名 log_file log_dir / f“crawler_{datetime.now().strftime(‘%Y%m%d_%H%M%S‘)}.log“ # 配置logging logging.basicConfig( levellog_level, format‘%(asctime)s - %(name)s - %(levelname)s - %(message)s‘, handlers[ logging.FileHandler(log_file, encoding‘utf-8‘), # 输出到文件 logging.StreamHandler() # 同时输出到控制台 ] ) return log_file3. 主程序 (crawler.py):import logging from utils.file_utils import load_config, setup_logging def main(): # 1. 加载配置 config load_config() logging.info(“配置文件加载成功。”) # 2. 设置日志 log_file_path setup_logging(config) logging.info(f“日志已初始化输出到: {log_file_path}“) # 3. 使用配置 start_url config[‘start_url‘] max_depth config[‘max_depth‘] output_dir Path(config[‘output_dir‘]) output_dir.mkdir(parentsTrue, exist_okTrue) # 确保输出目录存在 logging.info(f“开始爬取起始URL: {start_url}, 最大深度: {max_depth}“) # 4. 模拟爬取和数据保存 try: # ... 这里是你的爬取逻辑 ... data_to_save [{‘title‘: ‘Page1‘, ‘url‘: start_url}] # 将结果保存为JSON文件 output_file output_dir / ‘results.json‘ import json with open(output_file, ‘w‘, encoding‘utf-8‘) as f: json.dump(data_to_save, f, indent2, ensure_asciiFalse) logging.info(f“爬取结果已保存至: {output_file}“) except Exception as e: logging.error(f“爬取过程中发生错误: {e}“, exc_infoTrue) # exc_infoTrue会打印堆栈跟踪 # 可以选择将错误信息追加到特定错误日志文件 error_log Path(‘./logs/errors.log‘) with open(error_log, ‘a‘, encoding‘utf-8‘) as f: f.write(f“{datetime.now()}: {e}\n“) finally: logging.info(“爬虫程序运行结束。”) if __name__ ‘__main__‘: main()这个案例综合运用了json读写管理配置文件。pathlib优雅地处理路径和目录创建mkdir(parentsTrue, exist_okTrue)。logging模块与文件操作将日志同时输出到文件和控制台。异常处理与文件追加在发生错误时不仅记录到主日志还可能追加到专门的错误日志文件。编码指定所有文件操作都明确使用encoding‘utf-8‘保证跨环境一致性。文件操作是Python编程中看似简单但细节繁多的基础。从正确的打开模式、编码处理到路径管理、大文件读写和异常处理每一步都需要清晰的认知。我的经验是在写任何文件相关的代码前先问自己三个问题1. 我要以什么模式打开会不会覆盖 2. 编码是什么会不会乱码 3. 文件路径存在吗要不要先创建目录。想清楚这三点能避开80%的坑。剩下的就交给with语句和pathlib吧它们是你写出健壮、清晰文件操作代码的最得力助手。
