个人笔记：实用机器学习（b站李沐）2.4

2.4特征工程手动特征工程和自动特征工程用卷积神经网络替代特征提取器从人设计特征机器做分类 -机器从数据中自动学习特征和分类代价是需要更多数据和算力但换来的是任务最优的特征表示。深度学习面临的挑战1Data Hungry数据饥渴需要大量标注数据才能学到好的特征小数据集上容易过拟合2Computation Heavy计算密集训练深度网络需要 GPU/TPU训练时间长能耗高表格数据特征工程表格数据由行样本和列特征组成特征列通常分为三类1数值型Int/Float直接使用或者分箱2类别型CategoricalOne-Hot 编码对于罕见的类型标记为Unknow为什么要合并罕见类别避免过拟合模型从极少数样本中学到的模式不可靠减少维度爆炸类别太多-One-Hot 向量太长处理测试集中的新类别训练时没见过的类别可归为 Unknown3字符串型String[例]日期时间特征日期不能直接输入模型需要拆解为多个有意义的数值特征为什么需要day_of_yearweek_of_yearday_of_week捕捉关键特征模型无法直接理解 2024-07-16 的语义但模型能理解 month7夏天和 is_weekend1周末购物多[例]特征组合笛卡尔积*虽然图像和文本类信息可以依赖深度学习自动提取CNN/Transformer但是表各类数据仍高度依赖人工设计文本特征提取1词袋模型将文本表示为词频向量完全忽略词序和语法。局限性词汇表设计困难丢失上下文语义鸿沟2词嵌入*Word2vec将词映射到稠密低维向量空间语义相近的词在空间中距离近。训练方式预测上下文局限静态表示每个词只有一个向量无法处理一词多义无上下文感知3预训练语言模型 *BERT, GPT-3用大规模无标注数据预训练通用语言表示然后微调到下游任务。图像视频特征提取传统方法手动特征提取现代方法用预训练过的深度神经网络作为特征提取器