nlp_structbert_sentence-similarity_chinese-large数据预处理全流程从零到模型输入想让一个中文句子相似度模型发挥出最佳效果第一步也是最关键的一步就是把你的原始文本数据“喂”对。今天我们就来手把手拆解如何将一堆可能杂乱无章的中文文本一步步处理成nlp_structbert_sentence-similarity_chinese-large模型能“消化”的标准输入。这个过程就像给食材做预处理清洗、切配、调味每一步都影响着最终“菜品”的质量。我们会从最原始的文本开始走过清洗、分词、标准化最后打包成模型可以直接使用的DataLoader。我会提供每一环节可复用的代码并特别提醒你在处理中文数据时容易踩的坑比如繁简体和全半角字符这些“隐形杀手”。1. 环境准备与工具安装在开始处理数据之前我们需要先把“厨房”——也就是开发环境——搭建好。这里推荐使用 Anaconda 来管理 Python 环境它能很好地解决包依赖冲突的问题。如果你还没安装 Anaconda可以去官网下载对应操作系统的安装包安装过程基本就是一路“下一步”。安装完成后打开你的终端Windows 是 Anaconda PromptMac/Linux 是终端我们来创建一个专属这个项目的环境。# 创建一个名为 nlp_preprocess 的 Python 3.8 环境 conda create -n nlp_preprocess python3.8 -y # 激活这个环境 conda activate nlp_preprocess环境激活后命令行前面通常会显示(nlp_preprocess)表示你已经在这个环境里了。接下来安装我们需要的核心库。# 安装 PyTorch请根据你的CUDA版本到PyTorch官网选择对应命令这里以CPU版本为例 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu # 安装 transformers 库这是使用 StructBERT 模型的必备库 pip install transformers # 安装中文处理相关的实用库 pip install jieba zhconvtransformers是 Hugging Face 提供的库里面包含了nlp_structbert_sentence-similarity_chinese-large模型及其分词器。jieba是一个优秀的中文分词工具虽然 StructBERT 使用它自己的子词分词器但前期文本清洗时可能用到。zhconv则专门用于繁简体转换。2. 理解模型需要什么样的“食物”在动手清洗数据前我们得先搞清楚模型到底吃什么。nlp_structbert_sentence-similarity_chinese-large是一个基于 Transformer 架构的预训练模型它期望的输入不是原始字符串而是一串数字 ID。具体来说处理流程是这样的原始句子今天天气真好分词器处理分词器会将句子切分成子词subword例如[‘今’ ‘天’ ‘天’ ‘气’ ‘真’ ‘好’]并加上特殊的[CLS]和[SEP]标记。转换为ID每个子词对应词汇表中的一个数字 ID句子就变成了像[101, 1234, 1235, 1235, 1236, 1237, 1238, 102]这样的序列。生成注意力掩码一个等长的序列有效 token 位置为 1填充位置为 0。模型输入最终模型接收的是{‘input_ids’: tensor(IDs), ‘attention_mask’: tensor(mask)}这样的字典。我们的预处理目标就是准备好干净、格式统一的原始句子让分词器能稳定、准确地将它们完成上述转换。3. 第一步原始文本清洗你拿到的数据可能来自网页、文档、用户输入里面夹杂着很多模型不需要的“杂质”。清洗的目标是保留纯净的中文文本内容。3.1 去除HTML标签与无关字符很多从网上爬取的数据会包含 HTML 标签第一步就是去掉它们。import re def clean_html_tags(text): 移除文本中的HTML标签。 clean re.compile(r‘.*?‘) return re.sub(clean, ‘‘, text) # 示例 dirty_text “p这是一个strong例子/strong。/p” clean_text clean_html_tags(dirty_text) print(clean_text) # 输出 这是一个例子。3.2 处理异常字符与空白多余的空格、制表符、换行符以及一些不可见的控制字符都需要规范化。def normalize_whitespace_and_remove_control_chars(text): 规范化空白字符将多个连续空白字符替换为单个空格并移除控制字符。 # 移除控制字符除了换行符和制表符根据需求调整 text re.sub(r‘[\x00-\x08\x0b\x0c\x0e-\x1f\x7f-\x9f]‘, ‘‘, text) # 将任何空白字符序列包括空格、换行、制表等替换为单个空格 text re.sub(r‘\s‘, ‘ ‘, text) # 去除首尾空格 return text.strip() # 示例 messy_text “这是第一行。\n\n这是第二行。 这里有好多空格。” clean_text normalize_whitespace_and_remove_control_chars(messy_text) print(clean_text) # 输出 这是第一行。 这是第二行。 这里有好多空格。3.3 中文处理特殊注意事项这是中文 NLP 预处理的重头戏几个小细节没处理好可能导致模型完全无法理解。繁简体转换模型是在简体中文语料上训练的繁体字会被视为未登录词OOV。务必统一为简体。from zhconv import convert def to_simplified_chinese(text): 将文本中的繁体中文转换为简体中文。 return convert(text, ‘zh-cn‘) # 示例 traditional_text “這是繁體中文例子。” simplified_text to_simplified_chinese(traditional_text) print(simplified_text) # 输出 这是繁体中文例子。全半角转换英文和数字有全角如和半角如ABC123之分模型通常更熟悉半角形式。def strQ2B(ustring): 全角转半角 rstring ““ for uchar in ustring: inside_code ord(uchar) if inside_code 12288: # 全角空格直接转换 inside_code 32 elif 65281 inside_code 65374: # 全角字符除空格转换 inside_code - 65248 rstring chr(inside_code) return rstring # 示例 full_width_text “这是全角数字全角字母。” half_width_text strQ2B(full_width_text) print(half_width_text) # 输出 这是全角数字123全角字母ABC。标点符号统一中文和英文的标点如逗号、句号、引号不同建议统一为中文标点或者根据你的语料库特点决定。这里提供一个将英文标点转为中文标点的简单示例def normalize_punctuation(text): 将英文标点符号转换为中文标点符号简易版。 实际应用中可能需要更复杂的映射表。 punctuation_map str.maketrans(‘,.’, ‘。‘) # 可以扩展这个映射表 return text.translate(punctuation_map)我们可以把上面的清洗步骤整合成一个函数def comprehensive_text_cleaning(text): 综合文本清洗函数 if not isinstance(text, str): return “” text clean_html_tags(text) text normalize_whitespace_and_remove_control_chars(text) text to_simplified_chinese(text) text strQ2B(text) # text normalize_punctuation(text) # 根据需求决定是否启用 return text # 批量处理示例 raw_texts [“pHello世界/p”, “這是一個繁體測試。\n\n”, “全角数字”] cleaned_texts [comprehensive_text_cleaning(t) for t in raw_texts] print(cleaned_texts) # 输出 [‘Hello世界‘, ‘这是一个繁体测试。 ‘, ‘全角数字123‘]4. 第二步使用专属分词器清洗干净后下一步就是分词。但请注意我们不需要也不应该使用jieba这类通用分词器对输入进行预先分词。因为StructBERT模型有自己训练好的子词分词器Tokenizer它知道如何将句子切分成最适合自己的子词单元。我们直接调用它即可。首先加载模型对应的分词器。from transformers import AutoTokenizer # 指定模型名称 model_name “IDEA-CCNL/Erlangshen-StructBERT-large-280k-Chinese” # 加载分词器 tokenizer AutoTokenizer.from_pretrained(model_name) # 让我们看看分词器如何处理一个句子 test_sentence “今天天气真好我们一起去公园吧。” encoded_input tokenizer(test_sentence, truncationTrue, padding‘max_length‘, max_length32) print(“输入句子”, test_sentence) print(“Tokenized IDs:”, encoded_input[‘input_ids‘]) print(“Attention Mask:”, encoded_input[‘attention_mask‘]) # 可以通过 decode 看回子词 print(“Tokens:”, tokenizer.convert_ids_to_tokens(encoded_input[‘input_ids‘]))关键参数解释truncationTrue如果句子超过max_length自动截断。padding‘max_length‘如果句子短于max_length用特定的[PAD]token 填充到该长度。max_length模型支持的最大序列长度。对于大型模型常见的是 512。你需要根据你的硬件和句子实际长度选择一个合适的值比如 128 或 256以平衡效果和效率。5. 第三步构建数据集与DataLoader现在我们需要将清洗和分词流程组织起来并打包成 PyTorch 的Dataset和DataLoader方便批量训练。假设我们处理的是句子对任务相似度判断数据格式是(sentence1, sentence2, label)。import torch from torch.utils.data import Dataset, DataLoader class SentencePairDataset(Dataset): def __init__(self, sentence1_list, sentence2_list, labels_list, tokenizer, max_length128): 初始化数据集。 :param sentence1_list: 句子1列表 :param sentence2_list: 句子2列表 :param labels_list: 标签列表例如0表示不相似1表示相似 :param tokenizer: 分词器 :param max_length: 最大序列长度 self.sentence1 sentence1_list self.sentence2 sentence2_list self.labels labels_list self.tokenizer tokenizer self.max_length max_length # 确保数据清洗在初始化时完成 self.sentence1 [comprehensive_text_cleaning(s) for s in self.sentence1] self.sentence2 [comprehensive_text_cleaning(s) for s in self.sentence2] def __len__(self): return len(self.labels) def __getitem__(self, idx): sent1 self.sentence1[idx] sent2 self.sentence2[idx] label self.labels[idx] # 使用分词器对句子对进行编码 encoded_pair self.tokenizer( sent1, sent2, truncationTrue, padding‘max_length‘, max_lengthself.max_length, return_tensors‘pt‘ # 直接返回PyTorch Tensor ) # 将 tensor 中第一维batch维度压缩掉因为 DataLoader 会自己添加 input_ids encoded_pair[‘input_ids‘].squeeze(0) attention_mask encoded_pair[‘attention_mask‘].squeeze(0) # 确保标签也是 tensor label torch.tensor(label, dtypetorch.float) return { ‘input_ids‘: input_ids, ‘attention_mask‘: attention_mask, ‘labels‘: label } # 假设我们有一些原始数据 raw_sent1 [“p我爱北京天安门/p”, “這是一個例子”] raw_sent2 [“天安门上太阳升”, “这是一个示例”] raw_labels [1, 0] # 假设第一对相似第二对不相似 # 创建数据集实例 dataset SentencePairDataset(raw_sent1, raw_sent2, raw_labels, tokenizer, max_length32) # 创建 DataLoader dataloader DataLoader(dataset, batch_size2, shuffleTrue) # 测试一个 batch for batch in dataloader: print(“Batch input_ids shape:“, batch[‘input_ids‘].shape) print(“Batch attention_mask shape:“, batch[‘attention_mask‘].shape) print(“Batch labels:“, batch[‘labels‘]) break这样我们就得到了一个可以直接用于模型训练或推理的DataLoader。每个 batch 都包含了整齐的input_ids,attention_mask和labels。6. 完整流程与实用技巧让我们把上面的所有步骤串起来形成一个完整的、可复用的数据处理脚本。同时分享几个实践中非常有用的小技巧。技巧一处理超长文本如果你的文本普遍很长直接截断到max_length可能会丢失重要信息。可以考虑以下策略滑动窗口将长文本切成重叠的片段分别输入模型再聚合结果如取最大相似度或平均相似度。抽取关键句先用其他方法如 TextRank抽取长文本的关键句子再用关键句子进行相似度计算。技巧二缓存处理结果预处理尤其是分词在大型数据集上可能比较耗时。你可以将处理好的Dataset对象保存到磁盘下次直接加载。import pickle # 保存 with open(‘processed_dataset.pkl‘, ‘wb‘) as f: pickle.dump(dataset, f) # 加载 with open(‘processed_dataset.pkl‘, ‘rb‘) as f: loaded_dataset pickle.load(f)技巧三监控数据质量在构建Dataset后建议快速检查一下数据分布比如句子长度的分布。import matplotlib.pyplot as plt # 计算所有句子1和句子2的长度token数 all_lengths [] for s1, s2 in zip(dataset.sentence1, dataset.sentence2): len1 len(tokenizer.encode(s1, add_special_tokensFalse)) len2 len(tokenizer.encode(s2, add_special_tokensFalse)) all_lengths.extend([len1, len2]) plt.hist(all_lengths, bins30) plt.xlabel(‘Sentence Length (tokens)‘) plt.ylabel(‘Frequency‘) plt.title(‘Distribution of Sentence Lengths‘) plt.show() # 根据分布情况调整你的 max_length以覆盖大多数句子同时不浪费计算资源。 max_reasonable_length int(np.percentile(all_lengths, 95)) # 例如覆盖95%的句子 print(f“建议的 max_length 可设置为 {max_reasonable_length}“)7. 总结走完这一整套流程你会发现把原始中文文本变成模型输入其实是一个需要细心和耐心的工程活儿。核心就是两步一是用我们写的清洗函数把文本弄干净特别是处理好繁简体、全半角这些中文特有的问题二是完全信任并利用好 Hugging Facetransformers提供的分词器让它来负责最核心的切分和编码工作。最后形成的SentencePairDataset和DataLoader把这个流程封装得很好无论是训练还是推理都能直接使用。记住高质量的数据预处理是模型取得好效果的基石多花点时间在这里后续的模型调优会事半功倍。如果你在处理自己的数据时遇到了奇怪的问题不妨回头检查一下清洗环节看看是不是有什么特殊的字符或格式漏掉了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
nlp_structbert_sentence-similarity_chinese-large数据预处理全流程：从原始文本到模型输入
nlp_structbert_sentence-similarity_chinese-large数据预处理全流程从零到模型输入想让一个中文句子相似度模型发挥出最佳效果第一步也是最关键的一步就是把你的原始文本数据“喂”对。今天我们就来手把手拆解如何将一堆可能杂乱无章的中文文本一步步处理成nlp_structbert_sentence-similarity_chinese-large模型能“消化”的标准输入。这个过程就像给食材做预处理清洗、切配、调味每一步都影响着最终“菜品”的质量。我们会从最原始的文本开始走过清洗、分词、标准化最后打包成模型可以直接使用的DataLoader。我会提供每一环节可复用的代码并特别提醒你在处理中文数据时容易踩的坑比如繁简体和全半角字符这些“隐形杀手”。1. 环境准备与工具安装在开始处理数据之前我们需要先把“厨房”——也就是开发环境——搭建好。这里推荐使用 Anaconda 来管理 Python 环境它能很好地解决包依赖冲突的问题。如果你还没安装 Anaconda可以去官网下载对应操作系统的安装包安装过程基本就是一路“下一步”。安装完成后打开你的终端Windows 是 Anaconda PromptMac/Linux 是终端我们来创建一个专属这个项目的环境。# 创建一个名为 nlp_preprocess 的 Python 3.8 环境 conda create -n nlp_preprocess python3.8 -y # 激活这个环境 conda activate nlp_preprocess环境激活后命令行前面通常会显示(nlp_preprocess)表示你已经在这个环境里了。接下来安装我们需要的核心库。# 安装 PyTorch请根据你的CUDA版本到PyTorch官网选择对应命令这里以CPU版本为例 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu # 安装 transformers 库这是使用 StructBERT 模型的必备库 pip install transformers # 安装中文处理相关的实用库 pip install jieba zhconvtransformers是 Hugging Face 提供的库里面包含了nlp_structbert_sentence-similarity_chinese-large模型及其分词器。jieba是一个优秀的中文分词工具虽然 StructBERT 使用它自己的子词分词器但前期文本清洗时可能用到。zhconv则专门用于繁简体转换。2. 理解模型需要什么样的“食物”在动手清洗数据前我们得先搞清楚模型到底吃什么。nlp_structbert_sentence-similarity_chinese-large是一个基于 Transformer 架构的预训练模型它期望的输入不是原始字符串而是一串数字 ID。具体来说处理流程是这样的原始句子今天天气真好分词器处理分词器会将句子切分成子词subword例如[‘今’ ‘天’ ‘天’ ‘气’ ‘真’ ‘好’]并加上特殊的[CLS]和[SEP]标记。转换为ID每个子词对应词汇表中的一个数字 ID句子就变成了像[101, 1234, 1235, 1235, 1236, 1237, 1238, 102]这样的序列。生成注意力掩码一个等长的序列有效 token 位置为 1填充位置为 0。模型输入最终模型接收的是{‘input_ids’: tensor(IDs), ‘attention_mask’: tensor(mask)}这样的字典。我们的预处理目标就是准备好干净、格式统一的原始句子让分词器能稳定、准确地将它们完成上述转换。3. 第一步原始文本清洗你拿到的数据可能来自网页、文档、用户输入里面夹杂着很多模型不需要的“杂质”。清洗的目标是保留纯净的中文文本内容。3.1 去除HTML标签与无关字符很多从网上爬取的数据会包含 HTML 标签第一步就是去掉它们。import re def clean_html_tags(text): 移除文本中的HTML标签。 clean re.compile(r‘.*?‘) return re.sub(clean, ‘‘, text) # 示例 dirty_text “p这是一个strong例子/strong。/p” clean_text clean_html_tags(dirty_text) print(clean_text) # 输出 这是一个例子。3.2 处理异常字符与空白多余的空格、制表符、换行符以及一些不可见的控制字符都需要规范化。def normalize_whitespace_and_remove_control_chars(text): 规范化空白字符将多个连续空白字符替换为单个空格并移除控制字符。 # 移除控制字符除了换行符和制表符根据需求调整 text re.sub(r‘[\x00-\x08\x0b\x0c\x0e-\x1f\x7f-\x9f]‘, ‘‘, text) # 将任何空白字符序列包括空格、换行、制表等替换为单个空格 text re.sub(r‘\s‘, ‘ ‘, text) # 去除首尾空格 return text.strip() # 示例 messy_text “这是第一行。\n\n这是第二行。 这里有好多空格。” clean_text normalize_whitespace_and_remove_control_chars(messy_text) print(clean_text) # 输出 这是第一行。 这是第二行。 这里有好多空格。3.3 中文处理特殊注意事项这是中文 NLP 预处理的重头戏几个小细节没处理好可能导致模型完全无法理解。繁简体转换模型是在简体中文语料上训练的繁体字会被视为未登录词OOV。务必统一为简体。from zhconv import convert def to_simplified_chinese(text): 将文本中的繁体中文转换为简体中文。 return convert(text, ‘zh-cn‘) # 示例 traditional_text “這是繁體中文例子。” simplified_text to_simplified_chinese(traditional_text) print(simplified_text) # 输出 这是繁体中文例子。全半角转换英文和数字有全角如和半角如ABC123之分模型通常更熟悉半角形式。def strQ2B(ustring): 全角转半角 rstring ““ for uchar in ustring: inside_code ord(uchar) if inside_code 12288: # 全角空格直接转换 inside_code 32 elif 65281 inside_code 65374: # 全角字符除空格转换 inside_code - 65248 rstring chr(inside_code) return rstring # 示例 full_width_text “这是全角数字全角字母。” half_width_text strQ2B(full_width_text) print(half_width_text) # 输出 这是全角数字123全角字母ABC。标点符号统一中文和英文的标点如逗号、句号、引号不同建议统一为中文标点或者根据你的语料库特点决定。这里提供一个将英文标点转为中文标点的简单示例def normalize_punctuation(text): 将英文标点符号转换为中文标点符号简易版。 实际应用中可能需要更复杂的映射表。 punctuation_map str.maketrans(‘,.’, ‘。‘) # 可以扩展这个映射表 return text.translate(punctuation_map)我们可以把上面的清洗步骤整合成一个函数def comprehensive_text_cleaning(text): 综合文本清洗函数 if not isinstance(text, str): return “” text clean_html_tags(text) text normalize_whitespace_and_remove_control_chars(text) text to_simplified_chinese(text) text strQ2B(text) # text normalize_punctuation(text) # 根据需求决定是否启用 return text # 批量处理示例 raw_texts [“pHello世界/p”, “這是一個繁體測試。\n\n”, “全角数字”] cleaned_texts [comprehensive_text_cleaning(t) for t in raw_texts] print(cleaned_texts) # 输出 [‘Hello世界‘, ‘这是一个繁体测试。 ‘, ‘全角数字123‘]4. 第二步使用专属分词器清洗干净后下一步就是分词。但请注意我们不需要也不应该使用jieba这类通用分词器对输入进行预先分词。因为StructBERT模型有自己训练好的子词分词器Tokenizer它知道如何将句子切分成最适合自己的子词单元。我们直接调用它即可。首先加载模型对应的分词器。from transformers import AutoTokenizer # 指定模型名称 model_name “IDEA-CCNL/Erlangshen-StructBERT-large-280k-Chinese” # 加载分词器 tokenizer AutoTokenizer.from_pretrained(model_name) # 让我们看看分词器如何处理一个句子 test_sentence “今天天气真好我们一起去公园吧。” encoded_input tokenizer(test_sentence, truncationTrue, padding‘max_length‘, max_length32) print(“输入句子”, test_sentence) print(“Tokenized IDs:”, encoded_input[‘input_ids‘]) print(“Attention Mask:”, encoded_input[‘attention_mask‘]) # 可以通过 decode 看回子词 print(“Tokens:”, tokenizer.convert_ids_to_tokens(encoded_input[‘input_ids‘]))关键参数解释truncationTrue如果句子超过max_length自动截断。padding‘max_length‘如果句子短于max_length用特定的[PAD]token 填充到该长度。max_length模型支持的最大序列长度。对于大型模型常见的是 512。你需要根据你的硬件和句子实际长度选择一个合适的值比如 128 或 256以平衡效果和效率。5. 第三步构建数据集与DataLoader现在我们需要将清洗和分词流程组织起来并打包成 PyTorch 的Dataset和DataLoader方便批量训练。假设我们处理的是句子对任务相似度判断数据格式是(sentence1, sentence2, label)。import torch from torch.utils.data import Dataset, DataLoader class SentencePairDataset(Dataset): def __init__(self, sentence1_list, sentence2_list, labels_list, tokenizer, max_length128): 初始化数据集。 :param sentence1_list: 句子1列表 :param sentence2_list: 句子2列表 :param labels_list: 标签列表例如0表示不相似1表示相似 :param tokenizer: 分词器 :param max_length: 最大序列长度 self.sentence1 sentence1_list self.sentence2 sentence2_list self.labels labels_list self.tokenizer tokenizer self.max_length max_length # 确保数据清洗在初始化时完成 self.sentence1 [comprehensive_text_cleaning(s) for s in self.sentence1] self.sentence2 [comprehensive_text_cleaning(s) for s in self.sentence2] def __len__(self): return len(self.labels) def __getitem__(self, idx): sent1 self.sentence1[idx] sent2 self.sentence2[idx] label self.labels[idx] # 使用分词器对句子对进行编码 encoded_pair self.tokenizer( sent1, sent2, truncationTrue, padding‘max_length‘, max_lengthself.max_length, return_tensors‘pt‘ # 直接返回PyTorch Tensor ) # 将 tensor 中第一维batch维度压缩掉因为 DataLoader 会自己添加 input_ids encoded_pair[‘input_ids‘].squeeze(0) attention_mask encoded_pair[‘attention_mask‘].squeeze(0) # 确保标签也是 tensor label torch.tensor(label, dtypetorch.float) return { ‘input_ids‘: input_ids, ‘attention_mask‘: attention_mask, ‘labels‘: label } # 假设我们有一些原始数据 raw_sent1 [“p我爱北京天安门/p”, “這是一個例子”] raw_sent2 [“天安门上太阳升”, “这是一个示例”] raw_labels [1, 0] # 假设第一对相似第二对不相似 # 创建数据集实例 dataset SentencePairDataset(raw_sent1, raw_sent2, raw_labels, tokenizer, max_length32) # 创建 DataLoader dataloader DataLoader(dataset, batch_size2, shuffleTrue) # 测试一个 batch for batch in dataloader: print(“Batch input_ids shape:“, batch[‘input_ids‘].shape) print(“Batch attention_mask shape:“, batch[‘attention_mask‘].shape) print(“Batch labels:“, batch[‘labels‘]) break这样我们就得到了一个可以直接用于模型训练或推理的DataLoader。每个 batch 都包含了整齐的input_ids,attention_mask和labels。6. 完整流程与实用技巧让我们把上面的所有步骤串起来形成一个完整的、可复用的数据处理脚本。同时分享几个实践中非常有用的小技巧。技巧一处理超长文本如果你的文本普遍很长直接截断到max_length可能会丢失重要信息。可以考虑以下策略滑动窗口将长文本切成重叠的片段分别输入模型再聚合结果如取最大相似度或平均相似度。抽取关键句先用其他方法如 TextRank抽取长文本的关键句子再用关键句子进行相似度计算。技巧二缓存处理结果预处理尤其是分词在大型数据集上可能比较耗时。你可以将处理好的Dataset对象保存到磁盘下次直接加载。import pickle # 保存 with open(‘processed_dataset.pkl‘, ‘wb‘) as f: pickle.dump(dataset, f) # 加载 with open(‘processed_dataset.pkl‘, ‘rb‘) as f: loaded_dataset pickle.load(f)技巧三监控数据质量在构建Dataset后建议快速检查一下数据分布比如句子长度的分布。import matplotlib.pyplot as plt # 计算所有句子1和句子2的长度token数 all_lengths [] for s1, s2 in zip(dataset.sentence1, dataset.sentence2): len1 len(tokenizer.encode(s1, add_special_tokensFalse)) len2 len(tokenizer.encode(s2, add_special_tokensFalse)) all_lengths.extend([len1, len2]) plt.hist(all_lengths, bins30) plt.xlabel(‘Sentence Length (tokens)‘) plt.ylabel(‘Frequency‘) plt.title(‘Distribution of Sentence Lengths‘) plt.show() # 根据分布情况调整你的 max_length以覆盖大多数句子同时不浪费计算资源。 max_reasonable_length int(np.percentile(all_lengths, 95)) # 例如覆盖95%的句子 print(f“建议的 max_length 可设置为 {max_reasonable_length}“)7. 总结走完这一整套流程你会发现把原始中文文本变成模型输入其实是一个需要细心和耐心的工程活儿。核心就是两步一是用我们写的清洗函数把文本弄干净特别是处理好繁简体、全半角这些中文特有的问题二是完全信任并利用好 Hugging Facetransformers提供的分词器让它来负责最核心的切分和编码工作。最后形成的SentencePairDataset和DataLoader把这个流程封装得很好无论是训练还是推理都能直接使用。记住高质量的数据预处理是模型取得好效果的基石多花点时间在这里后续的模型调优会事半功倍。如果你在处理自己的数据时遇到了奇怪的问题不妨回头检查一下清洗环节看看是不是有什么特殊的字符或格式漏掉了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
