1. 全球气象数据获取的完整指南第一次接触气象数据的朋友可能会被各种专业术语和数据格式搞得晕头转向。我刚开始做气象分析时光是找数据就花了两周时间下载下来的文件还经常打不开。今天我就把从数据获取到最终分析的完整流程梳理出来帮你避开我踩过的那些坑。NCDC美国国家气候数据中心是全球最权威的气象数据来源之一它收集了来自全球数万个气象站点的观测数据。这些数据对气象研究、农业规划、能源预测等领域都至关重要。不过原始数据都是些没有表头的纯文本文件直接看起来就像天书一样。2. 数据下载与站点筛选2.1 访问NCDC数据仓库NCDC的数据都存放在FTP服务器上地址是ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/。我建议用FileZilla这类专业的FTP工具来下载速度会比浏览器稳定得多。服务器上按年份分文件夹存放数据最早可以追溯到1901年。每个数据文件都是.gz压缩格式命名规则很规范前6位是站点ID接着是固定字符-99999-最后4位是年份。比如592871-99999-2022.gz就是2022年ID为592871的站点数据。2.2 筛选中国区域站点要找到中国的气象站点需要先下载站点目录文件isd-history。这个文件里包含了所有站点的元信息其中CTRY列标明了国家代码中国的代码是CH。我通常用Python的pandas来处理这个筛选import pandas as pd # 读取站点目录 stations pd.read_csv(isd-history.csv) # 筛选中国站点 china_stations stations[stations[CTRY] CH] # 保存结果 china_stations.to_csv(china_stations.csv, indexFalse)如果你需要特定区域的站点可以把站点坐标导入ArcGIS或QGIS这类地理信息系统用研究区域的边界进行空间筛选。我去年做长三角气候分析时就用这个方法精准筛选出了87个相关站点。3. 数据格式解析与清洗3.1 理解原始数据格式下载的.gz文件解压后是纯文本格式每行记录代表一个小时的观测数据。数据列之间用空格分隔共12列分别对应年 2. 月 3. 日 4. 小时温度(℃×10) 6. 露点温度(℃×10) 7. 气压(hPa×10)风向(角度) 9. 风速(m/s×10)云量(八分之一) 11. 1小时降雨量(mm×10) 12. 6小时降雨量(mm×10)注意所有带量纲的数据都放大了10倍这是为了节省存储空间。缺失值用-9999表示处理时需要特别留意。3.2 Python数据清洗实战用Python处理这些数据非常方便。下面是我常用的数据处理脚本import pandas as pd import numpy as np def process_noaa_data(file_path): # 读取原始数据 raw_data pd.read_csv(file_path, headerNone, sep\s) # 设置列名 columns [年,月,日,小时,温度,露点温度,气压, 风向,风速,云量,1小时雨量,6小时雨量] df pd.DataFrame(raw_data.values, columnscolumns) # 处理缺失值 df df.replace(-9999, np.nan) # 单位换算 for col in [温度,露点温度,气压,风速,1小时雨量,6小时雨量]: df[col] df[col]/10 # 创建时间索引 df[时间] pd.to_datetime(df[[年,月,日,小时]]) df.set_index(时间, inplaceTrue) return df # 使用示例 data process_noaa_data(592871-99999-2022) data.to_excel(processed_data.xlsx)这个脚本会自动处理单位换算、缺失值并建立规范的时间索引。我还会添加一些质量控制步骤比如检查温度是否在合理范围内风速是否为非负值等。4. 高级数据处理技巧4.1 时间序列重采样气象分析经常需要将高频数据聚合为日、月或年数据。Pandas的resample方法简直是为此而生# 读取处理好的数据 data pd.read_excel(processed_data.xlsx, index_col时间) # 计算日统计量 daily_stats data.resample(D).agg({ 温度: [mean, max, min], 风速: mean, 1小时雨量: sum }) # 重命名列 daily_stats.columns [日均温, 日最高温, 日最低温, 平均风速, 日总降雨量]我特别喜欢Pandas的这种链式操作一行代码就能完成复杂的时间聚合。记得降雨量要用sum而温度通常用mean/max/min。4.2 多站点批量处理当需要处理几十个站点的数据时手动一个个处理太费时。这是我写的批量处理脚本import os from tqdm import tqdm # 进度条工具 input_folder raw_data/ output_folder processed_data/ # 确保输出目录存在 os.makedirs(output_folder, exist_okTrue) # 遍历所有.gz文件 for file in tqdm(os.listdir(input_folder)): if file.endswith(.gz): # 解压文件 os.system(fgzip -dk {input_folder}{file}) # 处理数据 raw_file file.replace(.gz, ) df process_noaa_data(f{input_folder}{raw_file}) # 保存结果 output_file f{output_folder}{raw_file.replace(-99999-, _)}.xlsx df.to_excel(output_file) # 清理临时文件 os.remove(f{input_folder}{raw_file})这个脚本会自动处理文件夹下所有.gz文件显示进度条并规范命名输出文件。用上多线程还能进一步加速处理上百个站点数据也就几分钟的事。5. 数据可视化与分析5.1 基础气象图表绘制处理好的数据可以用Matplotlib或Seaborn快速可视化。这是我的温度曲线模板import matplotlib.pyplot as plt import seaborn as sns plt.figure(figsize(12, 6)) sns.lineplot(datadaily_stats, xdaily_stats.index, y日均温) plt.title(2022年日均温度变化, fontsize14) plt.xlabel(日期) plt.ylabel(温度(℃)) plt.grid(True) plt.savefig(temperature_trend.png, dpi300, bbox_inchestight)对于风向数据用极坐标绘制风玫瑰图会更直观from windrose import WindroseAxes ax WindroseAxes.from_ax() ax.bar(data[风向].dropna(), data[风速].dropna(), normedTrue, opening0.8, edgecolorwhite) ax.set_legend(title风速(m/s)) plt.savefig(wind_rose.png)5.2 空间分布分析如果你有多个站点的数据可以绘制空间分布图。先用Geopandas处理地理数据import geopandas as gpd from shapely.geometry import Point # 创建地理DataFrame geometry [Point(xy) for xy in zip(china_stations[LON], china_stations[LAT])] gdf gpd.GeoDataFrame(china_stations, geometrygeometry) # 绘制地图 fig, ax plt.subplots(figsize(10, 8)) gdf.plot(axax, colorred, markersize5) plt.title(中国气象站点分布, fontsize14) plt.xlabel(经度) plt.ylabel(纬度)配合Cartopy库还能添加更专业的地图底图分析站点分布与地形的关系。6. 常见问题解决方案6.1 数据缺失处理气象数据常有缺失我一般用以下几种方法处理直接删除缺失较少的日期用前后时刻数据线性插值用同站点历史同期数据均值填充用邻近站点数据空间插值Python实现示例# 线性插值 data[温度] data[温度].interpolate() # 历史均值填充 def fill_with_history(df, column): for month in range(1, 13): mask (df.index.month month) df[column].isna() monthly_avg df[df.index.month month][column].mean() df.loc[mask, column] monthly_avg return df6.2 数据质量控制原始数据可能存在异常值需要设置合理范围过滤温度-50℃ ~ 50℃气压800 hPa ~ 1100 hPa风速0 m/s ~ 75 m/s降雨量≥0 mmdef quality_control(df): df.loc[df[温度] -50, 温度] np.nan df.loc[df[温度] 50, 温度] np.nan # 其他变量类似处理 return df7. 自动化工作流搭建7.1 使用Airflow调度任务对于定期更新的分析可以用Airflow建立自动化流水线from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime def download_data(): # 实现下载逻辑 pass def process_data(): # 实现处理逻辑 pass default_args { owner: me, start_date: datetime(2023, 1, 1), retries: 3 } dag DAG(noaa_pipeline, default_argsdefault_args, schedule_intervalmonthly) t1 PythonOperator( task_iddownload, python_callabledownload_data, dagdag ) t2 PythonOperator( task_idprocess, python_callableprocess_data, dagdag ) t1 t2这个DAG会每月自动运行下载最新数据并处理。我在服务器上部署后再也不用手动更新数据了。7.2 数据存储方案处理好的数据可以存入数据库方便查询。我推荐使用TimescaleDB它是专为时间序列数据优化的PostgreSQL扩展import psycopg2 from sqlalchemy import create_engine # 连接数据库 engine create_engine(postgresql://user:passwordlocalhost:5432/weather) # 存储数据 daily_stats.to_sql(temperature, engine, if_existsappend, indexTrue)对于超大规模数据可以考虑使用Parquet列式存储节省空间且查询高效daily_stats.to_parquet(temperature.parquet, enginepyarrow)
从NCDC到本地分析：一站式获取与处理全球气象站点数据
1. 全球气象数据获取的完整指南第一次接触气象数据的朋友可能会被各种专业术语和数据格式搞得晕头转向。我刚开始做气象分析时光是找数据就花了两周时间下载下来的文件还经常打不开。今天我就把从数据获取到最终分析的完整流程梳理出来帮你避开我踩过的那些坑。NCDC美国国家气候数据中心是全球最权威的气象数据来源之一它收集了来自全球数万个气象站点的观测数据。这些数据对气象研究、农业规划、能源预测等领域都至关重要。不过原始数据都是些没有表头的纯文本文件直接看起来就像天书一样。2. 数据下载与站点筛选2.1 访问NCDC数据仓库NCDC的数据都存放在FTP服务器上地址是ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/。我建议用FileZilla这类专业的FTP工具来下载速度会比浏览器稳定得多。服务器上按年份分文件夹存放数据最早可以追溯到1901年。每个数据文件都是.gz压缩格式命名规则很规范前6位是站点ID接着是固定字符-99999-最后4位是年份。比如592871-99999-2022.gz就是2022年ID为592871的站点数据。2.2 筛选中国区域站点要找到中国的气象站点需要先下载站点目录文件isd-history。这个文件里包含了所有站点的元信息其中CTRY列标明了国家代码中国的代码是CH。我通常用Python的pandas来处理这个筛选import pandas as pd # 读取站点目录 stations pd.read_csv(isd-history.csv) # 筛选中国站点 china_stations stations[stations[CTRY] CH] # 保存结果 china_stations.to_csv(china_stations.csv, indexFalse)如果你需要特定区域的站点可以把站点坐标导入ArcGIS或QGIS这类地理信息系统用研究区域的边界进行空间筛选。我去年做长三角气候分析时就用这个方法精准筛选出了87个相关站点。3. 数据格式解析与清洗3.1 理解原始数据格式下载的.gz文件解压后是纯文本格式每行记录代表一个小时的观测数据。数据列之间用空格分隔共12列分别对应年 2. 月 3. 日 4. 小时温度(℃×10) 6. 露点温度(℃×10) 7. 气压(hPa×10)风向(角度) 9. 风速(m/s×10)云量(八分之一) 11. 1小时降雨量(mm×10) 12. 6小时降雨量(mm×10)注意所有带量纲的数据都放大了10倍这是为了节省存储空间。缺失值用-9999表示处理时需要特别留意。3.2 Python数据清洗实战用Python处理这些数据非常方便。下面是我常用的数据处理脚本import pandas as pd import numpy as np def process_noaa_data(file_path): # 读取原始数据 raw_data pd.read_csv(file_path, headerNone, sep\s) # 设置列名 columns [年,月,日,小时,温度,露点温度,气压, 风向,风速,云量,1小时雨量,6小时雨量] df pd.DataFrame(raw_data.values, columnscolumns) # 处理缺失值 df df.replace(-9999, np.nan) # 单位换算 for col in [温度,露点温度,气压,风速,1小时雨量,6小时雨量]: df[col] df[col]/10 # 创建时间索引 df[时间] pd.to_datetime(df[[年,月,日,小时]]) df.set_index(时间, inplaceTrue) return df # 使用示例 data process_noaa_data(592871-99999-2022) data.to_excel(processed_data.xlsx)这个脚本会自动处理单位换算、缺失值并建立规范的时间索引。我还会添加一些质量控制步骤比如检查温度是否在合理范围内风速是否为非负值等。4. 高级数据处理技巧4.1 时间序列重采样气象分析经常需要将高频数据聚合为日、月或年数据。Pandas的resample方法简直是为此而生# 读取处理好的数据 data pd.read_excel(processed_data.xlsx, index_col时间) # 计算日统计量 daily_stats data.resample(D).agg({ 温度: [mean, max, min], 风速: mean, 1小时雨量: sum }) # 重命名列 daily_stats.columns [日均温, 日最高温, 日最低温, 平均风速, 日总降雨量]我特别喜欢Pandas的这种链式操作一行代码就能完成复杂的时间聚合。记得降雨量要用sum而温度通常用mean/max/min。4.2 多站点批量处理当需要处理几十个站点的数据时手动一个个处理太费时。这是我写的批量处理脚本import os from tqdm import tqdm # 进度条工具 input_folder raw_data/ output_folder processed_data/ # 确保输出目录存在 os.makedirs(output_folder, exist_okTrue) # 遍历所有.gz文件 for file in tqdm(os.listdir(input_folder)): if file.endswith(.gz): # 解压文件 os.system(fgzip -dk {input_folder}{file}) # 处理数据 raw_file file.replace(.gz, ) df process_noaa_data(f{input_folder}{raw_file}) # 保存结果 output_file f{output_folder}{raw_file.replace(-99999-, _)}.xlsx df.to_excel(output_file) # 清理临时文件 os.remove(f{input_folder}{raw_file})这个脚本会自动处理文件夹下所有.gz文件显示进度条并规范命名输出文件。用上多线程还能进一步加速处理上百个站点数据也就几分钟的事。5. 数据可视化与分析5.1 基础气象图表绘制处理好的数据可以用Matplotlib或Seaborn快速可视化。这是我的温度曲线模板import matplotlib.pyplot as plt import seaborn as sns plt.figure(figsize(12, 6)) sns.lineplot(datadaily_stats, xdaily_stats.index, y日均温) plt.title(2022年日均温度变化, fontsize14) plt.xlabel(日期) plt.ylabel(温度(℃)) plt.grid(True) plt.savefig(temperature_trend.png, dpi300, bbox_inchestight)对于风向数据用极坐标绘制风玫瑰图会更直观from windrose import WindroseAxes ax WindroseAxes.from_ax() ax.bar(data[风向].dropna(), data[风速].dropna(), normedTrue, opening0.8, edgecolorwhite) ax.set_legend(title风速(m/s)) plt.savefig(wind_rose.png)5.2 空间分布分析如果你有多个站点的数据可以绘制空间分布图。先用Geopandas处理地理数据import geopandas as gpd from shapely.geometry import Point # 创建地理DataFrame geometry [Point(xy) for xy in zip(china_stations[LON], china_stations[LAT])] gdf gpd.GeoDataFrame(china_stations, geometrygeometry) # 绘制地图 fig, ax plt.subplots(figsize(10, 8)) gdf.plot(axax, colorred, markersize5) plt.title(中国气象站点分布, fontsize14) plt.xlabel(经度) plt.ylabel(纬度)配合Cartopy库还能添加更专业的地图底图分析站点分布与地形的关系。6. 常见问题解决方案6.1 数据缺失处理气象数据常有缺失我一般用以下几种方法处理直接删除缺失较少的日期用前后时刻数据线性插值用同站点历史同期数据均值填充用邻近站点数据空间插值Python实现示例# 线性插值 data[温度] data[温度].interpolate() # 历史均值填充 def fill_with_history(df, column): for month in range(1, 13): mask (df.index.month month) df[column].isna() monthly_avg df[df.index.month month][column].mean() df.loc[mask, column] monthly_avg return df6.2 数据质量控制原始数据可能存在异常值需要设置合理范围过滤温度-50℃ ~ 50℃气压800 hPa ~ 1100 hPa风速0 m/s ~ 75 m/s降雨量≥0 mmdef quality_control(df): df.loc[df[温度] -50, 温度] np.nan df.loc[df[温度] 50, 温度] np.nan # 其他变量类似处理 return df7. 自动化工作流搭建7.1 使用Airflow调度任务对于定期更新的分析可以用Airflow建立自动化流水线from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime def download_data(): # 实现下载逻辑 pass def process_data(): # 实现处理逻辑 pass default_args { owner: me, start_date: datetime(2023, 1, 1), retries: 3 } dag DAG(noaa_pipeline, default_argsdefault_args, schedule_intervalmonthly) t1 PythonOperator( task_iddownload, python_callabledownload_data, dagdag ) t2 PythonOperator( task_idprocess, python_callableprocess_data, dagdag ) t1 t2这个DAG会每月自动运行下载最新数据并处理。我在服务器上部署后再也不用手动更新数据了。7.2 数据存储方案处理好的数据可以存入数据库方便查询。我推荐使用TimescaleDB它是专为时间序列数据优化的PostgreSQL扩展import psycopg2 from sqlalchemy import create_engine # 连接数据库 engine create_engine(postgresql://user:passwordlocalhost:5432/weather) # 存储数据 daily_stats.to_sql(temperature, engine, if_existsappend, indexTrue)对于超大规模数据可以考虑使用Parquet列式存储节省空间且查询高效daily_stats.to_parquet(temperature.parquet, enginepyarrow)
