中文摘要库 snownlpsnownlp专门做中文的文本处理内置自动摘要功能体积小且速度快。在编写Python代码前要先在命令行执行下面的pip安装命令pip install snownlp然后编写下面的Python摘要测试代码from snownlp import SnowNLP def summarize_text(text, limit2): 自动生成摘要 :param text: 原文 :param limit: 提取几条摘要默认2条 :return: 摘要句子列表 s SnowNLP(text) return s.summary(limit) # 自动提取关键句 # 测试 if __name__ __main__: text 火山方舟是火山引擎推出的大模型平台提供模型训练、推理、评测、精调等全方位功能与服务。 平台支持多种主流大模型接入具有稳定可靠、安全互信的特点。 企业可以通过火山方舟快速构建自己的AI应用降低开发成本与技术门槛。 summary summarize_text(text, limit2) print(自动摘要) for s in summary: print(-, s)运行上面的Python代码输出日志结果如下自动摘要 - 火山方舟是火山引擎推出的大模型平台 - 企业可以通过火山方舟快速构建自己的AI应用可见snownlp库把原始的三个长句摘要为两个短句同时保留了原文的主要意思。三、通用摘要库 sumysumy库的功能更强它支持 TF-IDF、LSA、LexRank、Luhn 等多种摘要算法。在编写Python代码前要先在命令行执行下面的pip安装命令pip install sumy然后编写下面的Python摘要测试代码from sumy.parsers.plaintext import PlaintextParser from sumy.nlp.tokenizers import Tokenizer from sumy.summarizers.lex_rank import LexRankSummarizer def sumy_summary(text, sentences2): parser PlaintextParser.from_string(text, Tokenizer(chinese)) summarizer LexRankSummarizer() summary summarizer(parser.document, sentences) return [str(s) for s in summary] # 测试 if __name__ __main__: text 火山方舟是火山引擎推出的大模型平台提供模型训练、推理、评测、精调等全方位功能与服务。 平台支持多种主流大模型接入具有稳定可靠、安全互信的特点。 企业可以通过火山方舟快速构建自己的AI应用降低开发成本与技术门槛。 summary sumy_summary(text, sentences2) print(自动摘要) for s in summary: print(-, s)运行上面的Python代码输出日志结果如下自动摘要 - 火山方舟是火山引擎推出的大模型平台提供模型训练、推理、评测、精调等全方位功能与服务。 - 平台支持多种主流大模型接入具有稳定可靠、安全互信的特点。可见sumy库直接输出原始文字的两个长句摘要效果不如snownlp库。四、使用在线大模型输出摘要如果开发者预算充足的话也可调用国产大模型在线输出对话内容的摘要文字。比如登录火山引擎的控制台页面 https://console.volcengine.com/ark 开通文本模型 Doubao-1-5-lite-32k 的推理服务会赠送50万Token的免费额度足够初学者的入门使用。在编写火山引擎的Python调用代码前要先在命令行执行下面的pip安装命令pip install --upgrade volcengine-python-sdk[ark]然后编写下面的Python摘要在线生成代码from volcenginesdkarkruntime import Ark client Ark( # 此为默认路径您可根据业务所在地域进行配置 base_urlhttps://ark.cn-beijing.volces.com/api/v3, # 此处请输入您在火山引擎上申请的 API KEY api_key**********, ) text 火山方舟是火山引擎推出的大模型平台提供模型训练、推理、评测、精调等全方位功能与服务。 平台支持多种主流大模型接入具有稳定可靠、安全互信的特点。 企业可以通过火山方舟快速构建自己的AI应用降低开发成本与技术门槛。 completion client.chat.completions.create( # 此处请输入您创建的方舟推理接入点 ID modeldoubao-1-5-lite-32k-******, messages[ {role: system, content: 请对用户输入的内容做精简摘要摘要文字压缩在50字以内}, {role: user, content: text}, ], ) print(自动摘要) print(-, completion.choices[0].message.content)运行上面的Python代码输出日志结果如下
为什么要对原始记录做摘要
中文摘要库 snownlpsnownlp专门做中文的文本处理内置自动摘要功能体积小且速度快。在编写Python代码前要先在命令行执行下面的pip安装命令pip install snownlp然后编写下面的Python摘要测试代码from snownlp import SnowNLP def summarize_text(text, limit2): 自动生成摘要 :param text: 原文 :param limit: 提取几条摘要默认2条 :return: 摘要句子列表 s SnowNLP(text) return s.summary(limit) # 自动提取关键句 # 测试 if __name__ __main__: text 火山方舟是火山引擎推出的大模型平台提供模型训练、推理、评测、精调等全方位功能与服务。 平台支持多种主流大模型接入具有稳定可靠、安全互信的特点。 企业可以通过火山方舟快速构建自己的AI应用降低开发成本与技术门槛。 summary summarize_text(text, limit2) print(自动摘要) for s in summary: print(-, s)运行上面的Python代码输出日志结果如下自动摘要 - 火山方舟是火山引擎推出的大模型平台 - 企业可以通过火山方舟快速构建自己的AI应用可见snownlp库把原始的三个长句摘要为两个短句同时保留了原文的主要意思。三、通用摘要库 sumysumy库的功能更强它支持 TF-IDF、LSA、LexRank、Luhn 等多种摘要算法。在编写Python代码前要先在命令行执行下面的pip安装命令pip install sumy然后编写下面的Python摘要测试代码from sumy.parsers.plaintext import PlaintextParser from sumy.nlp.tokenizers import Tokenizer from sumy.summarizers.lex_rank import LexRankSummarizer def sumy_summary(text, sentences2): parser PlaintextParser.from_string(text, Tokenizer(chinese)) summarizer LexRankSummarizer() summary summarizer(parser.document, sentences) return [str(s) for s in summary] # 测试 if __name__ __main__: text 火山方舟是火山引擎推出的大模型平台提供模型训练、推理、评测、精调等全方位功能与服务。 平台支持多种主流大模型接入具有稳定可靠、安全互信的特点。 企业可以通过火山方舟快速构建自己的AI应用降低开发成本与技术门槛。 summary sumy_summary(text, sentences2) print(自动摘要) for s in summary: print(-, s)运行上面的Python代码输出日志结果如下自动摘要 - 火山方舟是火山引擎推出的大模型平台提供模型训练、推理、评测、精调等全方位功能与服务。 - 平台支持多种主流大模型接入具有稳定可靠、安全互信的特点。可见sumy库直接输出原始文字的两个长句摘要效果不如snownlp库。四、使用在线大模型输出摘要如果开发者预算充足的话也可调用国产大模型在线输出对话内容的摘要文字。比如登录火山引擎的控制台页面 https://console.volcengine.com/ark 开通文本模型 Doubao-1-5-lite-32k 的推理服务会赠送50万Token的免费额度足够初学者的入门使用。在编写火山引擎的Python调用代码前要先在命令行执行下面的pip安装命令pip install --upgrade volcengine-python-sdk[ark]然后编写下面的Python摘要在线生成代码from volcenginesdkarkruntime import Ark client Ark( # 此为默认路径您可根据业务所在地域进行配置 base_urlhttps://ark.cn-beijing.volces.com/api/v3, # 此处请输入您在火山引擎上申请的 API KEY api_key**********, ) text 火山方舟是火山引擎推出的大模型平台提供模型训练、推理、评测、精调等全方位功能与服务。 平台支持多种主流大模型接入具有稳定可靠、安全互信的特点。 企业可以通过火山方舟快速构建自己的AI应用降低开发成本与技术门槛。 completion client.chat.completions.create( # 此处请输入您创建的方舟推理接入点 ID modeldoubao-1-5-lite-32k-******, messages[ {role: system, content: 请对用户输入的内容做精简摘要摘要文字压缩在50字以内}, {role: user, content: text}, ], ) print(自动摘要) print(-, completion.choices[0].message.content)运行上面的Python代码输出日志结果如下
