影刀RPA 数据对比分析两表差异查找作者林焱什么情况用什么本月数据和上月数据对比找变化、实际数据和计划数据对比找差异、两份名单对比找出新增和删除的人。在影刀RPA里用pandas的merge和compare可以快速找出两个数据集之间的差异。适用场景月度数据对比、库存盘点对比、人员变动检测、价格变动监控、数据一致性校验。怎么做店群矩阵自动化突破运营极限两表对比找差异importpandasaspd# 读取两个表df_oldpd.read_excel(rC:\Data\june_data.xlsx)df_newpd.read_excel(rC:\Data\july_data.xlsx)# 方法1merge indicatormergeddf_new.merge(df_old,on订单ID,howouter,indicatorTrue# 添加_merge列标识来源)# 新增的行在new中有old中没有addedmerged[merged[_merge]left_only]# 删除的行在old中有new中没有removedmerged[merged[_merge]right_only]# 未变化的行unchangedmerged[merged[_merge]both]值变化检测deffind_value_changes(df_old,df_new,key_col,compare_colsNone): 找出值发生变化的行 key_col: 关联键列名 compare_cols: 要比较的列名列表None则比较所有列 # 合并两表mergeddf_new.merge(df_old,onkey_col,howinner,suffixes(_新,_旧))ifcompare_colsisNone:compare_cols[cforcindf_new.columnsifc!key_col]# 找出有变化的行changed_maskpd.Series(False,indexmerged.index)changes[]forcolincompare_cols:old_colf{col}_旧new_colf{col}_新ifold_colinmerged.columnsandnew_colinmerged.columns:# 比较值处理NaNcol_changed((merged[old_col].fillna(NULL)!merged[new_col].fillna(NULL)))changed_maskchanged_mask|col_changed changed_rowsmerged[changed_mask].copy()# 记录具体变化foridx,rowinchanged_rows.iterrows():forcolincompare_cols:old_valrow.get(f{col}_旧)new_valrow.get(f{col}_新)ifstr(old_val)!str(new_val):changes.append({关联键:row[key_col],字段:col,旧值:old_val,新值:new_val})returnpd.DataFrame(changes),changed_rows# 使用changes,changed_rowsfind_value_changes(df_old,df_new,key_col订单ID,compare_cols[金额,状态,产品名称])ifnotchanges.empty:changes.to_excel(rC:\Data\changes.xlsx,indexFalse)print(f发现{len(changes)}处变化)完整对比报告defgenerate_comparison_report(df_old,df_new,key_col,output_path):生成完整对比报告withpd.ExcelWriter(output_path,engineopenpyxl)aswriter:# 1. 概览summarypd.DataFrame({项目:[旧数据行数,新数据行数,新增行数,删除行数,变化行数,未变化行数],数量:[len(df_old),len(df_new),len(df_new[~df_new[key_col].isin(df_old[key_col])]),len(df_old[~df_old[key_col].isin(df_new[key_col])]),0,# 待计算0# 待计算]})# 2. 新增的记录addeddf_new[~df_new[key_col].isin(df_old[key_col])]added.to_excel(writer,sheet_name新增记录,indexFalse)# 3. 删除的记录removeddf_old[~df_old[key_col].isin(df_new[key_col])]removed.to_excel(writer,sheet_name删除记录,indexFalse)# 4. 值变化changes,changed_rowsfind_value_changes(df_old,df_new,key_col)changes.to_excel(writer,sheet_name值变化,indexFalse)# 更新概览summary.loc[summary[项目]变化行数,数量]len(changed_rows)summary.loc[summary[项目]未变化行数,数量](len(df_old)-len(removed)-len(changed_rows))summary.to_excel(writer,sheet_name对比概览,indexFalse)returnoutput_path# 使用generate_comparison_report(df_old,df_new,key_col订单ID,output_pathrC:\Data\comparison_report.xlsx)价格变动监控defmonitor_price_change(old_file,new_file,output_file):监控价格变动df_oldpd.read_excel(old_file)df_newpd.read_excel(new_file)# 合并对比mergeddf_new.merge(df_old[[SKU,价格]],onSKU,howleft,suffixes(_新,_旧))# 计算变化merged[价格变化]merged[价格_新]-merged[价格_旧]merged[变化幅度](merged[价格变化]/merged[价格_旧]*100).round(2)merged[变化方向]merged[价格变化].apply(lambdax:涨价ifx0else降价ifx0else不变)# 筛选有变化的changedmerged[merged[价格变化]!0].copy()changedchanged.sort_values(变化幅度,ascendingFalse)changed.to_excel(output_file,indexFalse)# 统计print(f涨价:{len(changed[changed[变化方向]涨价])}个)print(f降价:{len(changed[changed[变化方向]降价])}个)print(f最大涨幅:{changed[变化幅度].max():.1f}%)print(f最大降幅:{changed[变化幅度].min():.1f}%)returnchanged影刀RPA对比流程【设置变量】 old_file rC:\Data\上月数据.xlsx new_file rC:\Data\本月数据.xlsx 【读取Excel文件】→ old_file → df_old 【读取Excel文件】→ new_file → df_new 【执行Python代码】 # 对比分析 report generate_comparison_report( df_old, df_new, key_col订单ID, output_pathrC:\Data\对比报告.xlsx ) 【发送邮件】 附件对比报告.xlsx 内容本月数据变化{新增X条删除Y条修改Z处}有什么坑temu店群自动化报活动案例坑1关联键类型不一致# 问题一边是int一边是strmerge匹配不上df_old[订单ID]df_old[订单ID].astype(int)df_new[订单ID]df_new[订单ID].astype(str)mergeddf_old.merge(df_new,on订单ID)# 结果为空# 解决统一类型df_old[订单ID]df_old[订单ID].astype(str).str.strip()df_new[订单ID]df_new[订单ID].astype(str).str.strip()坑2NaN比较结果意外# 问题NaN ! NaN 返回True导致没变化的数据也被标记为变化importnumpyasnp np.nannp.nan# False!np.nan!np.nan# True!# 解决用fillna统一处理old_valstr(row[f{col}_旧])ifpd.notna(row[f{col}_旧])elseNULLnew_valstr(row[f{col}_新])ifpd.notna(row[f{col}_新])elseNULLchangedold_val!new_val坑3列名冲突# 问题两表有同名列merge后自动加后缀_x _ymergeddf_new.merge(df_old,onID)# 金额列变成 金额_x 和 金额_y# 解决指定后缀mergeddf_new.merge(df_old,onID,suffixes(_新,_旧))# 金额_新 和 金额_旧更清晰坑4重复键导致行数膨胀# 问题df_old中某个ID有2条记录merge后变成2×N条mergeddf_new.merge(df_old,onID)# 行数暴增# 解决先去重df_old_uniquedf_old.drop_duplicates(subsetID,keeplast)mergeddf_new.merge(df_old_unique,onID,howleft)坑5大数据量对比内存不够# 解决分批对比defbatch_compare(df_old,df_new,key_col,batch_size10000):分批对比all_changes[]foriinrange(0,len(df_new),batch_size):batchdf_new.iloc[i:ibatch_size]changes,_find_value_changes(df_old,batch,key_col)all_changes.append(changes)print(f已处理{min(ibatch_size,len(df_new))}/{len(df_new)})returnpd.concat(all_changes,ignore_indexTrue)
影刀RPA 数据对比分析：两表差异查找
影刀RPA 数据对比分析两表差异查找作者林焱什么情况用什么本月数据和上月数据对比找变化、实际数据和计划数据对比找差异、两份名单对比找出新增和删除的人。在影刀RPA里用pandas的merge和compare可以快速找出两个数据集之间的差异。适用场景月度数据对比、库存盘点对比、人员变动检测、价格变动监控、数据一致性校验。怎么做店群矩阵自动化突破运营极限两表对比找差异importpandasaspd# 读取两个表df_oldpd.read_excel(rC:\Data\june_data.xlsx)df_newpd.read_excel(rC:\Data\july_data.xlsx)# 方法1merge indicatormergeddf_new.merge(df_old,on订单ID,howouter,indicatorTrue# 添加_merge列标识来源)# 新增的行在new中有old中没有addedmerged[merged[_merge]left_only]# 删除的行在old中有new中没有removedmerged[merged[_merge]right_only]# 未变化的行unchangedmerged[merged[_merge]both]值变化检测deffind_value_changes(df_old,df_new,key_col,compare_colsNone): 找出值发生变化的行 key_col: 关联键列名 compare_cols: 要比较的列名列表None则比较所有列 # 合并两表mergeddf_new.merge(df_old,onkey_col,howinner,suffixes(_新,_旧))ifcompare_colsisNone:compare_cols[cforcindf_new.columnsifc!key_col]# 找出有变化的行changed_maskpd.Series(False,indexmerged.index)changes[]forcolincompare_cols:old_colf{col}_旧new_colf{col}_新ifold_colinmerged.columnsandnew_colinmerged.columns:# 比较值处理NaNcol_changed((merged[old_col].fillna(NULL)!merged[new_col].fillna(NULL)))changed_maskchanged_mask|col_changed changed_rowsmerged[changed_mask].copy()# 记录具体变化foridx,rowinchanged_rows.iterrows():forcolincompare_cols:old_valrow.get(f{col}_旧)new_valrow.get(f{col}_新)ifstr(old_val)!str(new_val):changes.append({关联键:row[key_col],字段:col,旧值:old_val,新值:new_val})returnpd.DataFrame(changes),changed_rows# 使用changes,changed_rowsfind_value_changes(df_old,df_new,key_col订单ID,compare_cols[金额,状态,产品名称])ifnotchanges.empty:changes.to_excel(rC:\Data\changes.xlsx,indexFalse)print(f发现{len(changes)}处变化)完整对比报告defgenerate_comparison_report(df_old,df_new,key_col,output_path):生成完整对比报告withpd.ExcelWriter(output_path,engineopenpyxl)aswriter:# 1. 概览summarypd.DataFrame({项目:[旧数据行数,新数据行数,新增行数,删除行数,变化行数,未变化行数],数量:[len(df_old),len(df_new),len(df_new[~df_new[key_col].isin(df_old[key_col])]),len(df_old[~df_old[key_col].isin(df_new[key_col])]),0,# 待计算0# 待计算]})# 2. 新增的记录addeddf_new[~df_new[key_col].isin(df_old[key_col])]added.to_excel(writer,sheet_name新增记录,indexFalse)# 3. 删除的记录removeddf_old[~df_old[key_col].isin(df_new[key_col])]removed.to_excel(writer,sheet_name删除记录,indexFalse)# 4. 值变化changes,changed_rowsfind_value_changes(df_old,df_new,key_col)changes.to_excel(writer,sheet_name值变化,indexFalse)# 更新概览summary.loc[summary[项目]变化行数,数量]len(changed_rows)summary.loc[summary[项目]未变化行数,数量](len(df_old)-len(removed)-len(changed_rows))summary.to_excel(writer,sheet_name对比概览,indexFalse)returnoutput_path# 使用generate_comparison_report(df_old,df_new,key_col订单ID,output_pathrC:\Data\comparison_report.xlsx)价格变动监控defmonitor_price_change(old_file,new_file,output_file):监控价格变动df_oldpd.read_excel(old_file)df_newpd.read_excel(new_file)# 合并对比mergeddf_new.merge(df_old[[SKU,价格]],onSKU,howleft,suffixes(_新,_旧))# 计算变化merged[价格变化]merged[价格_新]-merged[价格_旧]merged[变化幅度](merged[价格变化]/merged[价格_旧]*100).round(2)merged[变化方向]merged[价格变化].apply(lambdax:涨价ifx0else降价ifx0else不变)# 筛选有变化的changedmerged[merged[价格变化]!0].copy()changedchanged.sort_values(变化幅度,ascendingFalse)changed.to_excel(output_file,indexFalse)# 统计print(f涨价:{len(changed[changed[变化方向]涨价])}个)print(f降价:{len(changed[changed[变化方向]降价])}个)print(f最大涨幅:{changed[变化幅度].max():.1f}%)print(f最大降幅:{changed[变化幅度].min():.1f}%)returnchanged影刀RPA对比流程【设置变量】 old_file rC:\Data\上月数据.xlsx new_file rC:\Data\本月数据.xlsx 【读取Excel文件】→ old_file → df_old 【读取Excel文件】→ new_file → df_new 【执行Python代码】 # 对比分析 report generate_comparison_report( df_old, df_new, key_col订单ID, output_pathrC:\Data\对比报告.xlsx ) 【发送邮件】 附件对比报告.xlsx 内容本月数据变化{新增X条删除Y条修改Z处}有什么坑temu店群自动化报活动案例坑1关联键类型不一致# 问题一边是int一边是strmerge匹配不上df_old[订单ID]df_old[订单ID].astype(int)df_new[订单ID]df_new[订单ID].astype(str)mergeddf_old.merge(df_new,on订单ID)# 结果为空# 解决统一类型df_old[订单ID]df_old[订单ID].astype(str).str.strip()df_new[订单ID]df_new[订单ID].astype(str).str.strip()坑2NaN比较结果意外# 问题NaN ! NaN 返回True导致没变化的数据也被标记为变化importnumpyasnp np.nannp.nan# False!np.nan!np.nan# True!# 解决用fillna统一处理old_valstr(row[f{col}_旧])ifpd.notna(row[f{col}_旧])elseNULLnew_valstr(row[f{col}_新])ifpd.notna(row[f{col}_新])elseNULLchangedold_val!new_val坑3列名冲突# 问题两表有同名列merge后自动加后缀_x _ymergeddf_new.merge(df_old,onID)# 金额列变成 金额_x 和 金额_y# 解决指定后缀mergeddf_new.merge(df_old,onID,suffixes(_新,_旧))# 金额_新 和 金额_旧更清晰坑4重复键导致行数膨胀# 问题df_old中某个ID有2条记录merge后变成2×N条mergeddf_new.merge(df_old,onID)# 行数暴增# 解决先去重df_old_uniquedf_old.drop_duplicates(subsetID,keeplast)mergeddf_new.merge(df_old_unique,onID,howleft)坑5大数据量对比内存不够# 解决分批对比defbatch_compare(df_old,df_new,key_col,batch_size10000):分批对比all_changes[]foriinrange(0,len(df_new),batch_size):batchdf_new.iloc[i:ibatch_size]changes,_find_value_changes(df_old,batch,key_col)all_changes.append(changes)print(f已处理{min(ibatch_size,len(df_new))}/{len(df_new)})returnpd.concat(all_changes,ignore_indexTrue)
