一、实验目标在实验7-1完成数据清洗的基础上继续利用助睿ETL平台实施两类关键特征的提取计算与持久化存储一标题文本特征与互动总量回填明细表计算每篇作品的互动总数total_interaction公式为likes favorites shares coins从标题文本中提取五个关键词特征标识字段has_best保姆级、has_lowcode零代码、has_practice实战、has_tutorial教程/指南、has_pit踩坑将上述计算结果更新回content_analysis明细表中二关键词粒度的汇总统计新建汇总表分别统计包含各关键词的作品的平均互动总量将汇总计算结果输出至title_feature_analysis表中完成本实验后学生应具备以下能力深入理解特征工程在数据分析全流程中的核心价值与作用机理熟练使用助睿ETL计算器组件完成衍生指标的公式计算掌握借助JavaScript代码组件实现对文本字段中关键词的自动化识别与标注理解插入/更新组件的数据回填机制在不创建新表、不覆盖已有基础数据的前提下更新指定字段灵活运用过滤记录 分组聚合组件组合完成分组条件下的统计指标计算二、实验环境实验平台助睿在线实验平台https://lab.guilan.cn本实验继续基于助睿数智Uniplore一站式数据科学平台开展。该平台提供从数据接入、ETL加工处理、机器学习建模到可视化展示的完整工具链以零代码操作模式降低了数据分析的技术门槛广泛适用于高校数据分析教学与企业数据加工场景。数据处理工具助睿ETL本实验涉及的核心功能组件及其用途如下表所示组件名称功能用途说明表输入读取content_analysis表中待处理的源数据计算器计算互动总量likes favorites shares coinsJavaScript代码对标题字段执行关键词匹配生成5个0/1特征标记插入/更新依据id字段进行匹配将特征计算结果回写至content_analysis表过滤记录 分组聚合分别统计整体均值以及各关键词对应的平均互动量增加常量为各个关键词分支附加名称标签字段合并记录把5个关键词的统计结果纵向拼接为统一的数据集表输出将互动汇总数据写入title_feature_analysis目标表中三、整体设计思路本实验围绕两类特征进行构建并将结果数据更新回实验7-1产出的content_analysis表中第一类互动总量。计算公式为likes favorites shares coins该指标从绝对值角度衡量单篇作品的用户互动总体规模反映作品的综合受欢迎程度。第二类标题特征标签。通过编程方式检测每篇作品标题中是否出现特定关键词将检测结果转化为0不存在/1存在的布尔标志字段为后续量化分析这些关键词的实际引流效果提供数据基础。整体数据处理流程如下图所示四、实验操作步骤4.1 更新content_analysis表标题特征标注互动总量计算步骤1导入源数据将实验7-1产出的content_analysis表作为数据输入源拖放至助睿ETL工作区中。助睿ETL具备跨项目数据集引用能力可直接选取上一实验输出的结果表。步骤2提取标题文本特征核心分析维度在JavaScript代码组件中通过编写JavaScript脚本对title字段执行关键词匹配检测生成五个标题特征标志字段。核心JavaScript代码如下var title title; // 字段名可直接作为变量进行引用// 逐一检测各关键词是否出现var has_best title.indexOf(保姆级) ! -1 ? 1 : 0;var has_lowcode title.indexOf(零代码) ! -1 ? 1 : 0;var has_practice title.indexOf(实战) ! -1 ? 1 : 0;var has_tutorial (title.indexOf(教程) ! -1 || title.indexOf(指南) ! -1) ? 1 : 0;var has_pit title.indexOf(踩坑) ! -1 ? 1 : 0;// 将检测结果赋值给输出字段输出字段需在字段表中提前声明has_best has_best;has_lowcode has_lowcode;has_practice has_practice;has_tutorial has_tutorial;has_pit has_pit;各特征字段的返回值说明如下表字段名返回值判定条件说明has_best1或0标题文本中含保姆级关键词时为1否则为0has_lowcode1或0标题文本中含零代码关键词时为1否则为0has_practice1或0标题文本中含实战关键词时为1否则为0has_tutorial1或0标题文本中含教程或指南任一关键词时为1否则为0has_pit1或0标题文本中含踩坑关键词时为1否则为0设计考量上述五个关键词在本次数据集中出现频率较高且均与内容的教学指导价值和实操属性存在强关联因此成为探究标题文本对互动数据影响力大小的理想分析切入点。每个特征独立提取便于在后续BI可视化环节中按关键词分组进行横向对比分析。步骤3计算互动总量接入计算器组件新建interactions字段计算公式设置为interactions likes favorites shares coins步骤4数据更新回填使用插入/更新组件将上一步计算得到的特征数据按记录ID进行匹配回填至content_analysis表中。关键配置参数如下表配置项设置值目标表content_analysis查询关键字匹配字段id以此字段作为匹配依据待更新字段列表total_interaction, has_best, has_lowcode, has_practice, has_tutorial, has_pit字段映射关系如下表所示数据流字段名目标表字段名ididinteractionstotal_interactionhas_besthas_besthas_lowcodehas_lowcodehas_practicehas_practicehas_tutorialhas_tutorialhas_pithas_pit补充说明插入/更新组件与表输出组件存在本质区别。若采用表输出方式每次运行都会在目标表中追加新的数据行容易造成数据重复冗余。插入/更新组件则按照id字段进行智能匹配——若id已存在则仅更新指定的字段值若id不存在才执行新增操作。由于本实验中所有id均已存在于content_analysis表中因此实际效果为纯更新操作不会产生重复行。这一机制确保了本实验流程具备可重复执行性多次运行也不会引入数据重复问题。步骤5运行转换流完整转换流配置如下图所示确认无误后点击运行按钮执行。数据处理结果展示4.2 构建关键词粒度汇总数据表步骤1创建目标数据表在助睿ETL中按以下结构创建title_feature_analysis目标表用于存储关键词粒度的汇总统计结果字段名称数据类型字段含义说明idINT自增主键用于唯一标识每条记录platformVARCHAR(20)平台名称B站/CSDNfeature_nameVARCHAR(50)关键词名称标签avg_interactionDECIMAL(10,2)附带该关键词的作品的平均互动总量overall_avgDECIMAL(10,2)该平台内全部作品的整体平均互动总量sample_countINT附带该关键词的作品样本数量步骤2计算平台整体平均互动量依次接入排序记录组件和分组组件按id字段升序排列不设置分组维度直接计算AVG(total_interaction)聚合值得到overall_avg整体均值。聚合计算完成后接入增加常量组件添加feature_name字段并赋值为保姆级为当前这一行统计数据贴上对应的名称标签便于后续与各关键词分支数据进行合并关联。步骤3计算各关键词对应的平均互动量以保姆级关键词为例操作流程如下首先从表输入组件引出另一条并行分支接入过滤记录组件设置过滤条件 has_best 1仅保留标题中含有保姆级关键词的作品记录。接着依次接入排序记录和分组组件按id升序排列后分别计算AVG(total_interaction)得到avg_interaction关键词平均互动量以及COUNT(id)得到sample_count样本数量。聚合完成后接入增加常量组件添加feature_name字段并赋值为保姆级为这一行数据打上名称标签。为何需要设置常量字段原因在于聚合运算得到的数据仅包含数值缺少关键词名称这一关键信息维度。若不加常量标识五个关键词分支的数据合并后将无法区分各自对应的关键词归属。常量字段的作用就是为每行统计结果附加一个身份标签向数据下游明确标识这一行是保姆级关键词的统计结果。下面的分支步骤4合并整体均值与关键词均值采用记录集连接组件将上述两个分支的结果进行合并以feature_name字段作为连接匹配键。由于两个分支各自仅输出一条记录因此无需预先进行排序操作。步骤5数据写入目标表通过表输出组件将合并后的数据写入title_feature_analysis表。此处需要特别注意务必取消勾选裁剪表选项因为后续还有其他关键词的统计数据需要追加写入不能删除表中已有的数据。步骤6运行当前分支转换流一个关键词保姆级完整的互动汇总数据加工转换流如下。后续关键词数据处理方法将上述构建好的完整分支进行复制粘贴然后仅需修改两处配置一是过滤条件例如改为has_lowcode 1二是常量字段的值例如改为零代码。其余组件的配置参数保持不变。全部关键词数据处理完毕后的最终数据视图如下五、实验产出成果输出表名数据粒度应用场景content_analysis更新后单篇作品级别用于排名分析、趋势变化、概况统计等明细层面的分析title_feature_analysis新建关键词级别用于标题特征与互动表现之间的关联关系分析六、核心知识点归纳衍生特征构建方法借助计算器组件完成多字段之间的数学运算生成新的分析维度指标如互动总量文本特征自动化标注利用JavaScript脚本的字符串匹配能力实现对标题文本字段中特定关键词的批量自动识别与0/1标志化编码数据更新策略采用插入/更新组件依据主键字段进行增量更新避免表输出方式可能造成的数据重复问题确保实验流程的可重复执行性分支并行处理模式通过复制现有分支模板并仅修改过滤条件和常量值两处参数即可高效完成多个相似维度统计任务大幅提升数据处理效率常量标签字段的应用价值在聚合统计的分支合并场景中常量字段承担着数据身份标识的关键角色是确保下游数据处理环节能够正确区分各分支来源的基础保障七、实验总结本实验在数据清洗成果的基础上进一步完成了作品特征维度的系统性构建。一方面通过计算互动总量指标将原本分散的点赞、收藏、分享、投币等单项互动数据整合为一个综合性的作品受欢迎程度度量标准。另一方面通过JavaScript脚本对标题文本进行自动化解析将五个高频关键词的存在性编码为结构化的0/1特征向量使得后续的量化分析成为可能。此外本实验所采用的数据更新策略插入/更新与分支模板复用方法体现了高效、规范的数据加工实践理念。最终产出的两张数据表——content_analysis更新版与title_feature_analysis——为下一阶段的BI可视化探索与运营洞察提炼做好了充分的数据准备。
从原始脏数据到可视化仪表盘：少量 SQL + 零代码 ETL，自媒体运营分析一步到位
一、实验目标在实验7-1完成数据清洗的基础上继续利用助睿ETL平台实施两类关键特征的提取计算与持久化存储一标题文本特征与互动总量回填明细表计算每篇作品的互动总数total_interaction公式为likes favorites shares coins从标题文本中提取五个关键词特征标识字段has_best保姆级、has_lowcode零代码、has_practice实战、has_tutorial教程/指南、has_pit踩坑将上述计算结果更新回content_analysis明细表中二关键词粒度的汇总统计新建汇总表分别统计包含各关键词的作品的平均互动总量将汇总计算结果输出至title_feature_analysis表中完成本实验后学生应具备以下能力深入理解特征工程在数据分析全流程中的核心价值与作用机理熟练使用助睿ETL计算器组件完成衍生指标的公式计算掌握借助JavaScript代码组件实现对文本字段中关键词的自动化识别与标注理解插入/更新组件的数据回填机制在不创建新表、不覆盖已有基础数据的前提下更新指定字段灵活运用过滤记录 分组聚合组件组合完成分组条件下的统计指标计算二、实验环境实验平台助睿在线实验平台https://lab.guilan.cn本实验继续基于助睿数智Uniplore一站式数据科学平台开展。该平台提供从数据接入、ETL加工处理、机器学习建模到可视化展示的完整工具链以零代码操作模式降低了数据分析的技术门槛广泛适用于高校数据分析教学与企业数据加工场景。数据处理工具助睿ETL本实验涉及的核心功能组件及其用途如下表所示组件名称功能用途说明表输入读取content_analysis表中待处理的源数据计算器计算互动总量likes favorites shares coinsJavaScript代码对标题字段执行关键词匹配生成5个0/1特征标记插入/更新依据id字段进行匹配将特征计算结果回写至content_analysis表过滤记录 分组聚合分别统计整体均值以及各关键词对应的平均互动量增加常量为各个关键词分支附加名称标签字段合并记录把5个关键词的统计结果纵向拼接为统一的数据集表输出将互动汇总数据写入title_feature_analysis目标表中三、整体设计思路本实验围绕两类特征进行构建并将结果数据更新回实验7-1产出的content_analysis表中第一类互动总量。计算公式为likes favorites shares coins该指标从绝对值角度衡量单篇作品的用户互动总体规模反映作品的综合受欢迎程度。第二类标题特征标签。通过编程方式检测每篇作品标题中是否出现特定关键词将检测结果转化为0不存在/1存在的布尔标志字段为后续量化分析这些关键词的实际引流效果提供数据基础。整体数据处理流程如下图所示四、实验操作步骤4.1 更新content_analysis表标题特征标注互动总量计算步骤1导入源数据将实验7-1产出的content_analysis表作为数据输入源拖放至助睿ETL工作区中。助睿ETL具备跨项目数据集引用能力可直接选取上一实验输出的结果表。步骤2提取标题文本特征核心分析维度在JavaScript代码组件中通过编写JavaScript脚本对title字段执行关键词匹配检测生成五个标题特征标志字段。核心JavaScript代码如下var title title; // 字段名可直接作为变量进行引用// 逐一检测各关键词是否出现var has_best title.indexOf(保姆级) ! -1 ? 1 : 0;var has_lowcode title.indexOf(零代码) ! -1 ? 1 : 0;var has_practice title.indexOf(实战) ! -1 ? 1 : 0;var has_tutorial (title.indexOf(教程) ! -1 || title.indexOf(指南) ! -1) ? 1 : 0;var has_pit title.indexOf(踩坑) ! -1 ? 1 : 0;// 将检测结果赋值给输出字段输出字段需在字段表中提前声明has_best has_best;has_lowcode has_lowcode;has_practice has_practice;has_tutorial has_tutorial;has_pit has_pit;各特征字段的返回值说明如下表字段名返回值判定条件说明has_best1或0标题文本中含保姆级关键词时为1否则为0has_lowcode1或0标题文本中含零代码关键词时为1否则为0has_practice1或0标题文本中含实战关键词时为1否则为0has_tutorial1或0标题文本中含教程或指南任一关键词时为1否则为0has_pit1或0标题文本中含踩坑关键词时为1否则为0设计考量上述五个关键词在本次数据集中出现频率较高且均与内容的教学指导价值和实操属性存在强关联因此成为探究标题文本对互动数据影响力大小的理想分析切入点。每个特征独立提取便于在后续BI可视化环节中按关键词分组进行横向对比分析。步骤3计算互动总量接入计算器组件新建interactions字段计算公式设置为interactions likes favorites shares coins步骤4数据更新回填使用插入/更新组件将上一步计算得到的特征数据按记录ID进行匹配回填至content_analysis表中。关键配置参数如下表配置项设置值目标表content_analysis查询关键字匹配字段id以此字段作为匹配依据待更新字段列表total_interaction, has_best, has_lowcode, has_practice, has_tutorial, has_pit字段映射关系如下表所示数据流字段名目标表字段名ididinteractionstotal_interactionhas_besthas_besthas_lowcodehas_lowcodehas_practicehas_practicehas_tutorialhas_tutorialhas_pithas_pit补充说明插入/更新组件与表输出组件存在本质区别。若采用表输出方式每次运行都会在目标表中追加新的数据行容易造成数据重复冗余。插入/更新组件则按照id字段进行智能匹配——若id已存在则仅更新指定的字段值若id不存在才执行新增操作。由于本实验中所有id均已存在于content_analysis表中因此实际效果为纯更新操作不会产生重复行。这一机制确保了本实验流程具备可重复执行性多次运行也不会引入数据重复问题。步骤5运行转换流完整转换流配置如下图所示确认无误后点击运行按钮执行。数据处理结果展示4.2 构建关键词粒度汇总数据表步骤1创建目标数据表在助睿ETL中按以下结构创建title_feature_analysis目标表用于存储关键词粒度的汇总统计结果字段名称数据类型字段含义说明idINT自增主键用于唯一标识每条记录platformVARCHAR(20)平台名称B站/CSDNfeature_nameVARCHAR(50)关键词名称标签avg_interactionDECIMAL(10,2)附带该关键词的作品的平均互动总量overall_avgDECIMAL(10,2)该平台内全部作品的整体平均互动总量sample_countINT附带该关键词的作品样本数量步骤2计算平台整体平均互动量依次接入排序记录组件和分组组件按id字段升序排列不设置分组维度直接计算AVG(total_interaction)聚合值得到overall_avg整体均值。聚合计算完成后接入增加常量组件添加feature_name字段并赋值为保姆级为当前这一行统计数据贴上对应的名称标签便于后续与各关键词分支数据进行合并关联。步骤3计算各关键词对应的平均互动量以保姆级关键词为例操作流程如下首先从表输入组件引出另一条并行分支接入过滤记录组件设置过滤条件 has_best 1仅保留标题中含有保姆级关键词的作品记录。接着依次接入排序记录和分组组件按id升序排列后分别计算AVG(total_interaction)得到avg_interaction关键词平均互动量以及COUNT(id)得到sample_count样本数量。聚合完成后接入增加常量组件添加feature_name字段并赋值为保姆级为这一行数据打上名称标签。为何需要设置常量字段原因在于聚合运算得到的数据仅包含数值缺少关键词名称这一关键信息维度。若不加常量标识五个关键词分支的数据合并后将无法区分各自对应的关键词归属。常量字段的作用就是为每行统计结果附加一个身份标签向数据下游明确标识这一行是保姆级关键词的统计结果。下面的分支步骤4合并整体均值与关键词均值采用记录集连接组件将上述两个分支的结果进行合并以feature_name字段作为连接匹配键。由于两个分支各自仅输出一条记录因此无需预先进行排序操作。步骤5数据写入目标表通过表输出组件将合并后的数据写入title_feature_analysis表。此处需要特别注意务必取消勾选裁剪表选项因为后续还有其他关键词的统计数据需要追加写入不能删除表中已有的数据。步骤6运行当前分支转换流一个关键词保姆级完整的互动汇总数据加工转换流如下。后续关键词数据处理方法将上述构建好的完整分支进行复制粘贴然后仅需修改两处配置一是过滤条件例如改为has_lowcode 1二是常量字段的值例如改为零代码。其余组件的配置参数保持不变。全部关键词数据处理完毕后的最终数据视图如下五、实验产出成果输出表名数据粒度应用场景content_analysis更新后单篇作品级别用于排名分析、趋势变化、概况统计等明细层面的分析title_feature_analysis新建关键词级别用于标题特征与互动表现之间的关联关系分析六、核心知识点归纳衍生特征构建方法借助计算器组件完成多字段之间的数学运算生成新的分析维度指标如互动总量文本特征自动化标注利用JavaScript脚本的字符串匹配能力实现对标题文本字段中特定关键词的批量自动识别与0/1标志化编码数据更新策略采用插入/更新组件依据主键字段进行增量更新避免表输出方式可能造成的数据重复问题确保实验流程的可重复执行性分支并行处理模式通过复制现有分支模板并仅修改过滤条件和常量值两处参数即可高效完成多个相似维度统计任务大幅提升数据处理效率常量标签字段的应用价值在聚合统计的分支合并场景中常量字段承担着数据身份标识的关键角色是确保下游数据处理环节能够正确区分各分支来源的基础保障七、实验总结本实验在数据清洗成果的基础上进一步完成了作品特征维度的系统性构建。一方面通过计算互动总量指标将原本分散的点赞、收藏、分享、投币等单项互动数据整合为一个综合性的作品受欢迎程度度量标准。另一方面通过JavaScript脚本对标题文本进行自动化解析将五个高频关键词的存在性编码为结构化的0/1特征向量使得后续的量化分析成为可能。此外本实验所采用的数据更新策略插入/更新与分支模板复用方法体现了高效、规范的数据加工实践理念。最终产出的两张数据表——content_analysis更新版与title_feature_analysis——为下一阶段的BI可视化探索与运营洞察提炼做好了充分的数据准备。
