别再手动点选了用Python脚本批量下载ERA5气象数据的保姆级教程附.cdsapirc配置避坑气象数据分析工作中最耗时的环节往往不是算法开发或结果可视化而是原始数据的获取。以ERA5再分析数据为例当研究需要覆盖多年、多变量或多区域时手动下载不仅需要反复点击网页表单还可能因网络波动导致前功尽弃。本文将彻底解决这个痛点通过Python脚本实现全自动批量下载即使面对TB级数据需求也能从容应对。1. 环境准备从零搭建自动化工作流1.1 注册CDS账户与API密钥获取访问Copernicus Climate Data StoreCDS官网完成注册后进入用户面板的API密钥页面。这里需要特别注意UID显示在个人信息页面的数字IDAPI Key由32位字母数字组成的字符串这两个参数需要组合成如下格式保存到~/.cdsapirc文件Windows系统路径为C:\Users\用户名\.cdsapircurl: https://cds.climate.copernicus.eu/api/v2 key: UID:API密钥注意文件权限应设置为600仅当前用户可读写避免密钥泄露风险。在Linux/Mac终端执行chmod 600 ~/.cdsapirc1.2 Python环境配置推荐使用conda创建独立环境避免依赖冲突conda create -n era5 python3.9 conda activate era5 pip install cdsapi xarray netCDF4验证安装是否成功import cdsapi client cdsapi.Client() print(client.status()) # 应返回CDS服务状态2. 脚本自动化实战从单次下载到批量任务2.1 基础下载脚本解析在CDS页面选择数据后点击Show API request生成的代码模板如下import cdsapi c cdsapi.Client() c.retrieve( reanalysis-era5-single-levels, { product_type: reanalysis, variable: 2m_temperature, year: 2023, month: 01, day: 01, time: 00:00, format: netcdf, }, download.nc )关键参数说明product_typereanalysis再分析数据或ensemble_members集合成员format推荐netcdf格式便于后续处理area可选参数格式为[北纬, 西经, 南纬, 东经]2.2 进阶批量下载方案实现多时间维度自动下载的完整脚本示例from datetime import datetime, timedelta def download_era5(variables, start_date, end_date, output_dir): current datetime.strptime(start_date, %Y-%m-%d) end datetime.strptime(end_date, %Y-%m-%d) while current end: filename f{output_dir}/era5_{current.strftime(%Y%m%d)}.nc c.retrieve( reanalysis-era5-single-levels, { variable: variables, year: current.strftime(%Y), month: current.strftime(%m), day: current.strftime(%d), time: [f{h:02d}:00 for h in range(24)], format: netcdf, }, filename ) current timedelta(days1) # 调用示例 download_era5( variables[2m_temperature, total_precipitation], start_date2023-01-01, end_date2023-01-31, output_dir./data )3. 高频问题解决方案库3.1 证书验证失败处理当出现SSL: CERTIFICATE_VERIFY_FAILED错误时在脚本开头添加import ssl ssl._create_default_https_context ssl._create_unverified_context3.2 请求排队优化策略CDS系统对大规模请求会自动排队可通过以下方法提升效率分片下载将长时间段拆分为多个子任务错峰提交避开欧洲工作时间UTC 8:00-18:00状态监控定期检查client.status()的队列位置3.3 内存管理技巧处理高分辨率数据时添加网格参数避免内存溢出grid: [0.25, 0.25], # 经度/纬度分辨率4. 数据质量验证与后续处理4.1 快速校验下载完整性使用xarray检查文件结构import xarray as xr ds xr.open_dataset(download.nc) print(ds)4.2 自动重试机制针对网络不稳定的增强代码from tenacity import retry, stop_after_attempt, wait_exponential retry(stopstop_after_attempt(3), waitwait_exponential(multiplier1, min4, max10)) def safe_download(): c.retrieve(...) safe_download()4.3 数据转换技巧将多个单日文件合并为时间序列import glob files sorted(glob.glob(./data/era5_*.nc)) combined xr.open_mfdataset(files, combineby_coords) combined.to_netcdf(era5_monthly.nc)
别再手动点选了！用Python脚本批量下载ERA5气象数据的保姆级教程（附.cdsapirc配置避坑）
别再手动点选了用Python脚本批量下载ERA5气象数据的保姆级教程附.cdsapirc配置避坑气象数据分析工作中最耗时的环节往往不是算法开发或结果可视化而是原始数据的获取。以ERA5再分析数据为例当研究需要覆盖多年、多变量或多区域时手动下载不仅需要反复点击网页表单还可能因网络波动导致前功尽弃。本文将彻底解决这个痛点通过Python脚本实现全自动批量下载即使面对TB级数据需求也能从容应对。1. 环境准备从零搭建自动化工作流1.1 注册CDS账户与API密钥获取访问Copernicus Climate Data StoreCDS官网完成注册后进入用户面板的API密钥页面。这里需要特别注意UID显示在个人信息页面的数字IDAPI Key由32位字母数字组成的字符串这两个参数需要组合成如下格式保存到~/.cdsapirc文件Windows系统路径为C:\Users\用户名\.cdsapircurl: https://cds.climate.copernicus.eu/api/v2 key: UID:API密钥注意文件权限应设置为600仅当前用户可读写避免密钥泄露风险。在Linux/Mac终端执行chmod 600 ~/.cdsapirc1.2 Python环境配置推荐使用conda创建独立环境避免依赖冲突conda create -n era5 python3.9 conda activate era5 pip install cdsapi xarray netCDF4验证安装是否成功import cdsapi client cdsapi.Client() print(client.status()) # 应返回CDS服务状态2. 脚本自动化实战从单次下载到批量任务2.1 基础下载脚本解析在CDS页面选择数据后点击Show API request生成的代码模板如下import cdsapi c cdsapi.Client() c.retrieve( reanalysis-era5-single-levels, { product_type: reanalysis, variable: 2m_temperature, year: 2023, month: 01, day: 01, time: 00:00, format: netcdf, }, download.nc )关键参数说明product_typereanalysis再分析数据或ensemble_members集合成员format推荐netcdf格式便于后续处理area可选参数格式为[北纬, 西经, 南纬, 东经]2.2 进阶批量下载方案实现多时间维度自动下载的完整脚本示例from datetime import datetime, timedelta def download_era5(variables, start_date, end_date, output_dir): current datetime.strptime(start_date, %Y-%m-%d) end datetime.strptime(end_date, %Y-%m-%d) while current end: filename f{output_dir}/era5_{current.strftime(%Y%m%d)}.nc c.retrieve( reanalysis-era5-single-levels, { variable: variables, year: current.strftime(%Y), month: current.strftime(%m), day: current.strftime(%d), time: [f{h:02d}:00 for h in range(24)], format: netcdf, }, filename ) current timedelta(days1) # 调用示例 download_era5( variables[2m_temperature, total_precipitation], start_date2023-01-01, end_date2023-01-31, output_dir./data )3. 高频问题解决方案库3.1 证书验证失败处理当出现SSL: CERTIFICATE_VERIFY_FAILED错误时在脚本开头添加import ssl ssl._create_default_https_context ssl._create_unverified_context3.2 请求排队优化策略CDS系统对大规模请求会自动排队可通过以下方法提升效率分片下载将长时间段拆分为多个子任务错峰提交避开欧洲工作时间UTC 8:00-18:00状态监控定期检查client.status()的队列位置3.3 内存管理技巧处理高分辨率数据时添加网格参数避免内存溢出grid: [0.25, 0.25], # 经度/纬度分辨率4. 数据质量验证与后续处理4.1 快速校验下载完整性使用xarray检查文件结构import xarray as xr ds xr.open_dataset(download.nc) print(ds)4.2 自动重试机制针对网络不稳定的增强代码from tenacity import retry, stop_after_attempt, wait_exponential retry(stopstop_after_attempt(3), waitwait_exponential(multiplier1, min4, max10)) def safe_download(): c.retrieve(...) safe_download()4.3 数据转换技巧将多个单日文件合并为时间序列import glob files sorted(glob.glob(./data/era5_*.nc)) combined xr.open_mfdataset(files, combineby_coords) combined.to_netcdf(era5_monthly.nc)
