基于LSTM的春联生成模型原理解析与本地复现尝试春节贴春联是咱们的传统习俗。你有没有想过机器能不能学会写春联今天我们不聊那些复杂的大模型就从最经典的循环神经网络RNN和它的“明星选手”LSTM入手看看怎么让电脑理解对联的韵律和意境并试着在本地复现一个简单的春联生成模型。这篇文章的目标很明确第一用大白话讲清楚LSTM这类模型处理文本生成比如写对联的基本原理第二对比一下它和现在更火的Transformer架构有什么不同第三也是最重要的给你一份能跑起来的简化版代码让你在自己的电脑上就能动手尝试真正理解模型是怎么“学会”创作的。1. 从零理解LSTM如何“记住”上下文来生成文本要理解机器怎么生成春联我们得先明白它面对的是什么问题。春联是典型的序列数据上联和下联各自是一串有顺序的字而且上下联之间在内容和形式上要相互呼应。处理这类问题循环神经网络RNN家族是早期的功臣而LSTM长短时记忆网络则是其中的关键突破。1.1 传统RNN的困境为什么记性不好你可以把最简单的RNN想象成一个有着短期记忆的人。它读一句话比如“爆竹声中一岁除”每读一个字就会更新一下自己的“记忆状态”然后用这个状态去理解下一个字。这听起来不错对吧但问题在于这个“记忆”非常短暂。当句子稍微长一点或者需要联系很久之前的信息时比如生成下联需要呼应上联开头的“爆竹”早期的RNN就力不从心了。信息在传递过程中会逐渐衰减或变形这被称为“梯度消失”或“梯度爆炸”问题。就好比让你复述一个很长的故事你很可能只记得最后几句开头讲了啥早就模糊了。1.2 LSTM的巧妙设计三道门的记忆管理LSTM就是为了解决这个“记性差”的问题而诞生的。它的核心思想是引入了一个“细胞状态”你可以把它看作是一条传送带贯穿整个网络。信息在这条传送带上可以相对顺畅地流动从而记住长期的依赖关系。那么如何控制什么信息该记住、什么该忘记呢LSTM设计了三个精妙的“门”遗忘门决定从细胞状态中丢弃哪些旧信息。它查看当前输入和上一时刻的隐藏状态输出一个0到1之间的数给细胞状态的每个部分。1代表“完全保留”0代表“彻底忘记”。输入门决定哪些新信息要存入细胞状态。它同样基于当前输入和上一状态来更新细胞状态。输出门基于当前的细胞状态决定输出什么样的隐藏状态这个隐藏状态将用于预测下一个字。用管理一个记事本来比喻遗忘门就像决定擦掉笔记本上哪些过时的记录输入门决定把哪些新的重要事项写上去而输出门则是根据笔记本当前的全部内容总结出一句你要对外说的话即预测的下一个字。正是这套“门控”机制让LSTM能够有选择地记住长期信息从而更好地处理像生成对联这样需要前后文呼应的序列任务。2. LSTM vs. Transformer生成模型的两种思路在动手之前我们稍微开阔一下视野。现在提到文本生成大家可能更常听到Transformer比如BERT、GPT系列。那么LSTM和它比优劣何在呢简单来说这是两种不同的“注意力”机制。LSTM的“注意力”是隐式的、顺序的。它通过隐藏状态和细胞状态像接力赛一样将信息一步一步向后传递。它的“注意力”集中在当前步骤所记忆的、经过筛选的历史信息上。优点是结构相对简单在小数据集上有时更容易训练。Transformer的“注意力”是显式的、并行的。它引入了“自注意力”机制可以让序列中的任何一个字直接关注到其他所有字包括很靠前或很靠后的字无论它们之间的距离多远。这就像在写对联时瞬间通览全文并找出所有相关的字词。这带来了强大的性能但模型也更复杂需要更多的数据来训练。对于我们今天的“本地复现”目标来说LSTM模型更轻量训练更快更适合作为理解序列生成原理的入门工具。理解了LSTM再去学习Transformer你会对模型如何捕捉上下文有更深刻的认识。3. 环境准备与数据预处理好了理论部分先聊到这里我们开始动手。首先确保你的电脑环境已经准备好。3.1 所需工具包我们将使用Python和PyTorch深度学习框架。如果你还没有安装可以通过以下命令安装建议先创建一个独立的Python虚拟环境pip install torch numpy pandas3.2 准备春联数据模型要学习首先得有“教材”也就是春联数据集。这里为了简化我们可以手动创建一个非常小的示例数据集或者从网上找一些公开的对联数据保存为文本文件例如couplets.txt每行一副对联上下联用逗号隔开。# 示例数据格式 (couplets.txt) 爆竹声中一岁除,春风送暖入屠苏 天增岁月人增寿,春满乾坤福满门 一帆风顺年年好,万事如意步步高接下来我们写一个脚本来加载和预处理这些数据。import numpy as np import torch # 1. 读取数据 def load_couplets(file_path): with open(file_path, r, encodingutf-8) as f: lines f.readlines() couplets [line.strip().split(,) for line in lines if , in line] # 简单示例我们只取上联作为输入下联作为目标来训练一个“续写”模型 # 更复杂的可以训练一个seq2seq模型这里为了简化我们先做“上联生成下联” inputs [c[0] for c in couplets] # 上联列表 targets [c[1] for c in couplets] # 下联列表 return inputs, targets # 2. 构建词汇表 def build_vocab(texts): # 将所有文本连接起来 all_text .join([.join(t) for t in texts]) # 获取所有唯一字符 chars sorted(list(set(all_text))) # 创建字符到索引和索引到字符的映射 char_to_idx {ch: i2 for i, ch in enumerate(chars)} # 索引从2开始预留0和1 char_to_idx[PAD] 0 # 填充符 char_to_idx[SOS] 1 # 序列开始符 idx_to_char {i: ch for ch, i in char_to_idx.items()} vocab_size len(char_to_idx) return char_to_idx, idx_to_char, vocab_size # 3. 将文本转换为数字索引序列 def text_to_sequence(text, char_to_idx, max_len): seq [char_to_idx.get(ch, 1) for ch in text] # 未登录词用SOS代替 # 填充或截断到固定长度 if len(seq) max_len: seq seq [0] * (max_len - len(seq)) # 用PAD填充 else: seq seq[:max_len] return seq # 主预处理流程 file_path couplets.txt # 你的数据文件路径 inputs, targets load_couplets(file_path) # 构建词汇表结合输入和目标 char_to_idx, idx_to_char, vocab_size build_vocab(inputs targets) print(f词汇表大小: {vocab_size}) print(f示例字符映射: 春 - {char_to_idx.get(春, 未找到)}) # 设置最大序列长度 max_len max(max(len(i) for i in inputs), max(len(t) for t in targets)) print(f最大序列长度: {max_len}) # 转换所有数据 input_seqs [text_to_sequence(i, char_to_idx, max_len) for i in inputs] target_seqs [text_to_sequence(t, char_to_idx, max_len) for t in targets] # 转换为PyTorch张量 input_tensor torch.tensor(input_seqs, dtypetorch.long) target_tensor torch.tensor(target_seqs, dtypetorch.long) print(f输入数据形状: {input_tensor.shape}) # (样本数, 序列长度)这段代码完成了数据的读取、词汇表构建和数字化。现在我们的春联文字已经变成了模型能理解的数字序列。4. 构建LSTM生成模型数据准备好了我们来搭建模型的核心。我们将构建一个简单的LSTM模型它接收上联的序列学习如何生成下联。import torch.nn as nn class CoupletLSTM(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, num_layers1): super(CoupletLSTM, self).__init__() self.hidden_dim hidden_dim self.num_layers num_layers # 嵌入层将字符索引转换为密集向量 self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) # LSTM层核心序列处理单元 self.lstm nn.LSTM(embed_dim, hidden_dim, num_layers, batch_firstTrue) # 全连接层将LSTM输出映射回词汇表空间用于预测下一个字符 self.fc nn.Linear(hidden_dim, vocab_size) def forward(self, x, hiddenNone): # x 形状: (batch_size, seq_len) batch_size x.size(0) # 1. 字符嵌入 embedded self.embedding(x) # 形状: (batch_size, seq_len, embed_dim) # 2. LSTM处理 lstm_out, hidden self.lstm(embedded, hidden) # lstm_out形状: (batch_size, seq_len, hidden_dim) # 3. 全连接层为序列中每个时间步预测下一个字符 # 我们这里使用一个简化任务用整个上联的最终状态来启动生成或者做序列到序列的映射。 # 为了简化教程我们先做“下一个字符预测”任务即输入是序列目标是偏移一位的相同序列。 output self.fc(lstm_out) # 形状: (batch_size, seq_len, vocab_size) return output, hidden def init_hidden(self, batch_size): # 初始化LSTM的隐藏状态和细胞状态 weight next(self.parameters()).data hidden (weight.new(self.num_layers, batch_size, self.hidden_dim).zero_(), weight.new(self.num_layers, batch_size, self.hidden_dim).zero_()) return hidden # 初始化模型参数 vocab_size len(char_to_idx) embed_dim 128 # 字符向量的维度 hidden_dim 256 # LSTM隐藏状态的维度 num_layers 2 # LSTM层数 model CoupletLSTM(vocab_size, embed_dim, hidden_dim, num_layers) print(model)这个模型结构清晰Embedding层负责将数字化的字符变成有意义的向量LSTM层是核心负责捕捉序列中的模式和长期依赖最后的Linear层则负责根据LSTM的理解预测下一个最可能出现的字符是哪个。5. 训练模型让机器学会“对联”模型搭好了接下来就是教它学习。我们需要定义损失函数和优化器然后循环往复地给模型看数据、计算误差、调整参数。import torch.optim as optim from torch.utils.data import DataLoader, TensorDataset # 1. 准备数据加载器 # 注意为了简化我们这里将input_tensor同时作为输入和目标做下一个字符预测任务。 # 更严谨的seq2seq训练需要构建编码器-解码器结构和注意力机制这超出了入门教程的范围。 # 这里我们旨在演示LSTM的训练流程。 dataset TensorDataset(input_tensor, input_tensor) # 输入和目标相同自回归任务 dataloader DataLoader(dataset, batch_size32, shuffleTrue) # 2. 定义损失函数和优化器 criterion nn.CrossEntropyLoss(ignore_index0) # 忽略填充符PAD的损失 optimizer optim.Adam(model.parameters(), lr0.001) # 3. 训练循环 num_epochs 50 # 训练轮数根据数据量调整 model.train() for epoch in range(num_epochs): total_loss 0 for batch_inputs, batch_targets in dataloader: optimizer.zero_grad() # 清空梯度 # 前向传播 outputs, _ model(batch_inputs) # 计算损失。我们需要将输出和目标的形状调整一下。 # outputs: (batch, seq_len, vocab_size) - 需要变成 (batch*seq_len, vocab_size) # targets: (batch, seq_len) - 需要变成 (batch*seq_len) loss criterion(outputs.view(-1, vocab_size), batch_targets.view(-1)) # 反向传播和优化 loss.backward() optimizer.step() total_loss loss.item() avg_loss total_loss / len(dataloader) if (epoch 1) % 10 0: print(fEpoch [{epoch1}/{num_epochs}], Loss: {avg_loss:.4f}) print(训练完成)训练过程就是模型不断“试错”和“修正”的过程。损失值Loss在不断下降说明模型正在逐渐学习到春联文本中的规律。6. 生成你的第一副AI春联最激动人心的时刻来了我们用训练好的模型来生成下联。这里我们使用一种简单的“贪婪搜索”策略每一步都选择概率最高的那个字作为下一个字。def generate_couplet(model, start_text, char_to_idx, idx_to_char, max_gen_len20, temperature1.0): 根据给定的上联或起始文本生成下联。 start_text: 起始字符串例如上联。 temperature: 控制生成的随机性值越大越随机值越小越确定。 model.eval() # 切换到评估模式 with torch.no_grad(): # 不计算梯度加快速度 # 将起始文本转换为索引序列 input_indices [char_to_idx.get(ch, 1) for ch in start_text] # 未登录词用SOS input_tensor torch.tensor([input_indices], dtypetorch.long) generated list(start_text) # 初始化隐藏状态 hidden model.init_hidden(1) # 我们可以选择先让模型“读入”整个上联然后用最后的隐藏状态开始生成。 # 这里为了演示我们采用逐字生成的方式并将生成的字作为下一步的输入。 for _ in range(max_gen_len): output, hidden model(input_tensor, hidden) # output形状: (1, current_seq_len, vocab_size) # 取最后一个时间步的输出 last_output output[:, -1, :] # (1, vocab_size) # 应用温度参数并采样 scaled_logits last_output / temperature probabilities torch.softmax(scaled_logits, dim-1) predicted_idx torch.multinomial(probabilities, 1).item() # 如果生成了结束符或填充符可以停止这里我们没有显式定义结束符所以简单判断长度 if predicted_idx 0 or predicted_idx 1: # PAD or SOS break predicted_char idx_to_char.get(predicted_idx, ?) generated.append(predicted_char) # 将预测的字作为下一个输入 input_tensor torch.tensor([[predicted_idx]], dtypetorch.long) return .join(generated) # 尝试生成 test_start_text 春风送暖 generated_line generate_couplet(model, test_start_text, char_to_idx, idx_to_char, max_gen_len10, temperature0.8) print(f输入: {test_start_text}) print(f生成: {generated_line})第一次运行生成的结果可能不太通顺甚至有些滑稽。这完全正常因为我们用的训练数据量极小模型还处于“牙牙学语”的阶段。但这已经完整地展示了从数据到模型再到生成的整个流程。7. 总结与下一步尝试走完这一遍你应该对LSTM如何处理序列生成任务有了直观的感受。它通过门控机制管理记忆一步步地处理输入并预测输出。虽然相比Transformer它在处理超长依赖和并行计算上有所不足但其结构清晰是理解序列建模的绝佳起点。本地复现的这个小模型效果受限于数据量和模型复杂度。如果你想得到更通顺、更有意境的春联可以尝试以下几个方向寻找更大规模、高质量的对联数据集。数据是模型学习的源泉更多样、更规范的数据能显著提升效果。尝试更复杂的模型结构。例如实现一个真正的编码器-解码器Seq2Seq架构让一个LSTM编码上联另一个LSTM基于编码信息生成下联。还可以加入注意力机制让生成下联的每个字时都能“回顾”上联最相关的部分。使用预训练词向量。用大规模语料训练好的字或词向量来初始化嵌入层能为模型提供更好的语义起点。改进生成策略。用“束搜索Beam Search”代替“贪婪搜索”同时考虑多种可能路径往往能得到更好的结果。理解了这个简单的LSTM版本你再去看那些复杂的现代生成模型就会觉得它们都是在解决“如何更好地理解和生成序列”这个核心问题上所做的不同层面的优化和升级。动手实践一遍远比读十篇理论文章来得深刻。希望这份教程和代码能成为你探索AI文本生成世界的一块有用的敲门砖。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
基于LSTM的春联生成模型原理解析与本地复现尝试
基于LSTM的春联生成模型原理解析与本地复现尝试春节贴春联是咱们的传统习俗。你有没有想过机器能不能学会写春联今天我们不聊那些复杂的大模型就从最经典的循环神经网络RNN和它的“明星选手”LSTM入手看看怎么让电脑理解对联的韵律和意境并试着在本地复现一个简单的春联生成模型。这篇文章的目标很明确第一用大白话讲清楚LSTM这类模型处理文本生成比如写对联的基本原理第二对比一下它和现在更火的Transformer架构有什么不同第三也是最重要的给你一份能跑起来的简化版代码让你在自己的电脑上就能动手尝试真正理解模型是怎么“学会”创作的。1. 从零理解LSTM如何“记住”上下文来生成文本要理解机器怎么生成春联我们得先明白它面对的是什么问题。春联是典型的序列数据上联和下联各自是一串有顺序的字而且上下联之间在内容和形式上要相互呼应。处理这类问题循环神经网络RNN家族是早期的功臣而LSTM长短时记忆网络则是其中的关键突破。1.1 传统RNN的困境为什么记性不好你可以把最简单的RNN想象成一个有着短期记忆的人。它读一句话比如“爆竹声中一岁除”每读一个字就会更新一下自己的“记忆状态”然后用这个状态去理解下一个字。这听起来不错对吧但问题在于这个“记忆”非常短暂。当句子稍微长一点或者需要联系很久之前的信息时比如生成下联需要呼应上联开头的“爆竹”早期的RNN就力不从心了。信息在传递过程中会逐渐衰减或变形这被称为“梯度消失”或“梯度爆炸”问题。就好比让你复述一个很长的故事你很可能只记得最后几句开头讲了啥早就模糊了。1.2 LSTM的巧妙设计三道门的记忆管理LSTM就是为了解决这个“记性差”的问题而诞生的。它的核心思想是引入了一个“细胞状态”你可以把它看作是一条传送带贯穿整个网络。信息在这条传送带上可以相对顺畅地流动从而记住长期的依赖关系。那么如何控制什么信息该记住、什么该忘记呢LSTM设计了三个精妙的“门”遗忘门决定从细胞状态中丢弃哪些旧信息。它查看当前输入和上一时刻的隐藏状态输出一个0到1之间的数给细胞状态的每个部分。1代表“完全保留”0代表“彻底忘记”。输入门决定哪些新信息要存入细胞状态。它同样基于当前输入和上一状态来更新细胞状态。输出门基于当前的细胞状态决定输出什么样的隐藏状态这个隐藏状态将用于预测下一个字。用管理一个记事本来比喻遗忘门就像决定擦掉笔记本上哪些过时的记录输入门决定把哪些新的重要事项写上去而输出门则是根据笔记本当前的全部内容总结出一句你要对外说的话即预测的下一个字。正是这套“门控”机制让LSTM能够有选择地记住长期信息从而更好地处理像生成对联这样需要前后文呼应的序列任务。2. LSTM vs. Transformer生成模型的两种思路在动手之前我们稍微开阔一下视野。现在提到文本生成大家可能更常听到Transformer比如BERT、GPT系列。那么LSTM和它比优劣何在呢简单来说这是两种不同的“注意力”机制。LSTM的“注意力”是隐式的、顺序的。它通过隐藏状态和细胞状态像接力赛一样将信息一步一步向后传递。它的“注意力”集中在当前步骤所记忆的、经过筛选的历史信息上。优点是结构相对简单在小数据集上有时更容易训练。Transformer的“注意力”是显式的、并行的。它引入了“自注意力”机制可以让序列中的任何一个字直接关注到其他所有字包括很靠前或很靠后的字无论它们之间的距离多远。这就像在写对联时瞬间通览全文并找出所有相关的字词。这带来了强大的性能但模型也更复杂需要更多的数据来训练。对于我们今天的“本地复现”目标来说LSTM模型更轻量训练更快更适合作为理解序列生成原理的入门工具。理解了LSTM再去学习Transformer你会对模型如何捕捉上下文有更深刻的认识。3. 环境准备与数据预处理好了理论部分先聊到这里我们开始动手。首先确保你的电脑环境已经准备好。3.1 所需工具包我们将使用Python和PyTorch深度学习框架。如果你还没有安装可以通过以下命令安装建议先创建一个独立的Python虚拟环境pip install torch numpy pandas3.2 准备春联数据模型要学习首先得有“教材”也就是春联数据集。这里为了简化我们可以手动创建一个非常小的示例数据集或者从网上找一些公开的对联数据保存为文本文件例如couplets.txt每行一副对联上下联用逗号隔开。# 示例数据格式 (couplets.txt) 爆竹声中一岁除,春风送暖入屠苏 天增岁月人增寿,春满乾坤福满门 一帆风顺年年好,万事如意步步高接下来我们写一个脚本来加载和预处理这些数据。import numpy as np import torch # 1. 读取数据 def load_couplets(file_path): with open(file_path, r, encodingutf-8) as f: lines f.readlines() couplets [line.strip().split(,) for line in lines if , in line] # 简单示例我们只取上联作为输入下联作为目标来训练一个“续写”模型 # 更复杂的可以训练一个seq2seq模型这里为了简化我们先做“上联生成下联” inputs [c[0] for c in couplets] # 上联列表 targets [c[1] for c in couplets] # 下联列表 return inputs, targets # 2. 构建词汇表 def build_vocab(texts): # 将所有文本连接起来 all_text .join([.join(t) for t in texts]) # 获取所有唯一字符 chars sorted(list(set(all_text))) # 创建字符到索引和索引到字符的映射 char_to_idx {ch: i2 for i, ch in enumerate(chars)} # 索引从2开始预留0和1 char_to_idx[PAD] 0 # 填充符 char_to_idx[SOS] 1 # 序列开始符 idx_to_char {i: ch for ch, i in char_to_idx.items()} vocab_size len(char_to_idx) return char_to_idx, idx_to_char, vocab_size # 3. 将文本转换为数字索引序列 def text_to_sequence(text, char_to_idx, max_len): seq [char_to_idx.get(ch, 1) for ch in text] # 未登录词用SOS代替 # 填充或截断到固定长度 if len(seq) max_len: seq seq [0] * (max_len - len(seq)) # 用PAD填充 else: seq seq[:max_len] return seq # 主预处理流程 file_path couplets.txt # 你的数据文件路径 inputs, targets load_couplets(file_path) # 构建词汇表结合输入和目标 char_to_idx, idx_to_char, vocab_size build_vocab(inputs targets) print(f词汇表大小: {vocab_size}) print(f示例字符映射: 春 - {char_to_idx.get(春, 未找到)}) # 设置最大序列长度 max_len max(max(len(i) for i in inputs), max(len(t) for t in targets)) print(f最大序列长度: {max_len}) # 转换所有数据 input_seqs [text_to_sequence(i, char_to_idx, max_len) for i in inputs] target_seqs [text_to_sequence(t, char_to_idx, max_len) for t in targets] # 转换为PyTorch张量 input_tensor torch.tensor(input_seqs, dtypetorch.long) target_tensor torch.tensor(target_seqs, dtypetorch.long) print(f输入数据形状: {input_tensor.shape}) # (样本数, 序列长度)这段代码完成了数据的读取、词汇表构建和数字化。现在我们的春联文字已经变成了模型能理解的数字序列。4. 构建LSTM生成模型数据准备好了我们来搭建模型的核心。我们将构建一个简单的LSTM模型它接收上联的序列学习如何生成下联。import torch.nn as nn class CoupletLSTM(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, num_layers1): super(CoupletLSTM, self).__init__() self.hidden_dim hidden_dim self.num_layers num_layers # 嵌入层将字符索引转换为密集向量 self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) # LSTM层核心序列处理单元 self.lstm nn.LSTM(embed_dim, hidden_dim, num_layers, batch_firstTrue) # 全连接层将LSTM输出映射回词汇表空间用于预测下一个字符 self.fc nn.Linear(hidden_dim, vocab_size) def forward(self, x, hiddenNone): # x 形状: (batch_size, seq_len) batch_size x.size(0) # 1. 字符嵌入 embedded self.embedding(x) # 形状: (batch_size, seq_len, embed_dim) # 2. LSTM处理 lstm_out, hidden self.lstm(embedded, hidden) # lstm_out形状: (batch_size, seq_len, hidden_dim) # 3. 全连接层为序列中每个时间步预测下一个字符 # 我们这里使用一个简化任务用整个上联的最终状态来启动生成或者做序列到序列的映射。 # 为了简化教程我们先做“下一个字符预测”任务即输入是序列目标是偏移一位的相同序列。 output self.fc(lstm_out) # 形状: (batch_size, seq_len, vocab_size) return output, hidden def init_hidden(self, batch_size): # 初始化LSTM的隐藏状态和细胞状态 weight next(self.parameters()).data hidden (weight.new(self.num_layers, batch_size, self.hidden_dim).zero_(), weight.new(self.num_layers, batch_size, self.hidden_dim).zero_()) return hidden # 初始化模型参数 vocab_size len(char_to_idx) embed_dim 128 # 字符向量的维度 hidden_dim 256 # LSTM隐藏状态的维度 num_layers 2 # LSTM层数 model CoupletLSTM(vocab_size, embed_dim, hidden_dim, num_layers) print(model)这个模型结构清晰Embedding层负责将数字化的字符变成有意义的向量LSTM层是核心负责捕捉序列中的模式和长期依赖最后的Linear层则负责根据LSTM的理解预测下一个最可能出现的字符是哪个。5. 训练模型让机器学会“对联”模型搭好了接下来就是教它学习。我们需要定义损失函数和优化器然后循环往复地给模型看数据、计算误差、调整参数。import torch.optim as optim from torch.utils.data import DataLoader, TensorDataset # 1. 准备数据加载器 # 注意为了简化我们这里将input_tensor同时作为输入和目标做下一个字符预测任务。 # 更严谨的seq2seq训练需要构建编码器-解码器结构和注意力机制这超出了入门教程的范围。 # 这里我们旨在演示LSTM的训练流程。 dataset TensorDataset(input_tensor, input_tensor) # 输入和目标相同自回归任务 dataloader DataLoader(dataset, batch_size32, shuffleTrue) # 2. 定义损失函数和优化器 criterion nn.CrossEntropyLoss(ignore_index0) # 忽略填充符PAD的损失 optimizer optim.Adam(model.parameters(), lr0.001) # 3. 训练循环 num_epochs 50 # 训练轮数根据数据量调整 model.train() for epoch in range(num_epochs): total_loss 0 for batch_inputs, batch_targets in dataloader: optimizer.zero_grad() # 清空梯度 # 前向传播 outputs, _ model(batch_inputs) # 计算损失。我们需要将输出和目标的形状调整一下。 # outputs: (batch, seq_len, vocab_size) - 需要变成 (batch*seq_len, vocab_size) # targets: (batch, seq_len) - 需要变成 (batch*seq_len) loss criterion(outputs.view(-1, vocab_size), batch_targets.view(-1)) # 反向传播和优化 loss.backward() optimizer.step() total_loss loss.item() avg_loss total_loss / len(dataloader) if (epoch 1) % 10 0: print(fEpoch [{epoch1}/{num_epochs}], Loss: {avg_loss:.4f}) print(训练完成)训练过程就是模型不断“试错”和“修正”的过程。损失值Loss在不断下降说明模型正在逐渐学习到春联文本中的规律。6. 生成你的第一副AI春联最激动人心的时刻来了我们用训练好的模型来生成下联。这里我们使用一种简单的“贪婪搜索”策略每一步都选择概率最高的那个字作为下一个字。def generate_couplet(model, start_text, char_to_idx, idx_to_char, max_gen_len20, temperature1.0): 根据给定的上联或起始文本生成下联。 start_text: 起始字符串例如上联。 temperature: 控制生成的随机性值越大越随机值越小越确定。 model.eval() # 切换到评估模式 with torch.no_grad(): # 不计算梯度加快速度 # 将起始文本转换为索引序列 input_indices [char_to_idx.get(ch, 1) for ch in start_text] # 未登录词用SOS input_tensor torch.tensor([input_indices], dtypetorch.long) generated list(start_text) # 初始化隐藏状态 hidden model.init_hidden(1) # 我们可以选择先让模型“读入”整个上联然后用最后的隐藏状态开始生成。 # 这里为了演示我们采用逐字生成的方式并将生成的字作为下一步的输入。 for _ in range(max_gen_len): output, hidden model(input_tensor, hidden) # output形状: (1, current_seq_len, vocab_size) # 取最后一个时间步的输出 last_output output[:, -1, :] # (1, vocab_size) # 应用温度参数并采样 scaled_logits last_output / temperature probabilities torch.softmax(scaled_logits, dim-1) predicted_idx torch.multinomial(probabilities, 1).item() # 如果生成了结束符或填充符可以停止这里我们没有显式定义结束符所以简单判断长度 if predicted_idx 0 or predicted_idx 1: # PAD or SOS break predicted_char idx_to_char.get(predicted_idx, ?) generated.append(predicted_char) # 将预测的字作为下一个输入 input_tensor torch.tensor([[predicted_idx]], dtypetorch.long) return .join(generated) # 尝试生成 test_start_text 春风送暖 generated_line generate_couplet(model, test_start_text, char_to_idx, idx_to_char, max_gen_len10, temperature0.8) print(f输入: {test_start_text}) print(f生成: {generated_line})第一次运行生成的结果可能不太通顺甚至有些滑稽。这完全正常因为我们用的训练数据量极小模型还处于“牙牙学语”的阶段。但这已经完整地展示了从数据到模型再到生成的整个流程。7. 总结与下一步尝试走完这一遍你应该对LSTM如何处理序列生成任务有了直观的感受。它通过门控机制管理记忆一步步地处理输入并预测输出。虽然相比Transformer它在处理超长依赖和并行计算上有所不足但其结构清晰是理解序列建模的绝佳起点。本地复现的这个小模型效果受限于数据量和模型复杂度。如果你想得到更通顺、更有意境的春联可以尝试以下几个方向寻找更大规模、高质量的对联数据集。数据是模型学习的源泉更多样、更规范的数据能显著提升效果。尝试更复杂的模型结构。例如实现一个真正的编码器-解码器Seq2Seq架构让一个LSTM编码上联另一个LSTM基于编码信息生成下联。还可以加入注意力机制让生成下联的每个字时都能“回顾”上联最相关的部分。使用预训练词向量。用大规模语料训练好的字或词向量来初始化嵌入层能为模型提供更好的语义起点。改进生成策略。用“束搜索Beam Search”代替“贪婪搜索”同时考虑多种可能路径往往能得到更好的结果。理解了这个简单的LSTM版本你再去看那些复杂的现代生成模型就会觉得它们都是在解决“如何更好地理解和生成序列”这个核心问题上所做的不同层面的优化和升级。动手实践一遍远比读十篇理论文章来得深刻。希望这份教程和代码能成为你探索AI文本生成世界的一块有用的敲门砖。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
