Ollama中玩转LFM2.5-1.2B-Thinking手把手教你启用Token计数监控1. 开篇为什么你需要关注Token计数你可能已经体验过LFM2.5-1.2B-Thinking这个模型了它小巧、快速在普通电脑上就能流畅运行。但当你真正用它来生成长文档、处理复杂对话时有没有好奇过它到底生成了多少内容速度有多快资源消耗如何这就是Token计数监控的价值所在。简单来说Token是AI模型处理文本的基本单位就像盖房子的砖块。监控Token就是监控AI“盖房子”的过程——用了多少砖、盖了多久、效率如何。对于LFM2.5-1.2B-Thinking这样专为设备端设计的模型了解它的Token生成情况尤为重要。它能帮你评估生成成本特别是在API调用场景优化提问方式提升效率监控模型性能确保稳定运行为不同任务选择合适的生成参数今天我就带你一步步在Ollama中启用Token计数监控让你对这个强大的小模型了如指掌。2. 快速回顾LFM2.5-1.2B-Thinking是什么在深入技术细节前我们先简单了解一下这个模型。LFM2.5-1.2B-Thinking是LFM2.5系列中的一个成员专门为在普通设备上运行而优化。它的几个关键特点小巧但强大只有12亿参数却能完成很多复杂的文本生成任务运行速度快在AMD CPU上每秒能生成239个token在手机NPU上也能达到82 tok/s内存占用低运行时内存需求低于1GB对硬件要求很友好训练充分使用了28万亿token的数据进行预训练并通过多阶段强化学习优化简单说这是一个“小而美”的模型特别适合个人开发者、研究者或者想在本地运行AI应用的用户。3. 环境准备确保一切就绪3.1 检查Ollama安装首先确认你的Ollama已经正确安装并运行。打开终端或命令提示符输入ollama --version如果看到版本号比如ollama version 0.5.0说明安装成功。如果没有需要先安装Ollama# Linux/macOS安装命令 curl -fsSL https://ollama.ai/install.sh | sh # Windows用户 # 从官网下载安装包https://ollama.ai/download # 双击运行安装程序即可3.2 拉取并验证模型确保LFM2.5-1.2B-Thinking模型已经下载到本地# 拉取模型如果还没下载 ollama pull lfm2.5-thinking:1.2b # 查看已安装的模型列表 ollama list在列表中应该能看到lfm2.5-thinking:1.2b。如果看不到说明模型还没下载完成需要等待下载。3.3 启动Ollama服务Token计数监控需要通过Ollama的API来获取所以需要确保服务正在运行# 启动Ollama服务如果还没启动 ollama serve服务启动后默认会在http://localhost:11434监听请求。你可以在浏览器中打开这个地址看到Ollama的Web界面。4. 基础使用先和模型聊聊天在开始监控之前我们先确保模型能正常工作。最简单的方式是通过Ollama的Web界面打开浏览器访问http://localhost:11434在页面顶部的模型选择下拉框中选择lfm2.5-thinking:1.2b在下方输入框中提问比如“用三句话介绍你自己”查看模型的回答如果一切正常你会看到模型流畅地生成回答。这是最基本的交互方式但我们要的不止于此——我们想知道这个回答是怎么生成的用了多少资源。5. 核心实战启用Token计数监控5.1 理解API返回的数据Ollama提供了丰富的API接口当我们通过API调用模型时它会返回很多有用的信息包括Token相关的统计数据。关键字段包括eval_count模型生成的Token数量eval_duration生成这些Token所用的时间纳秒total_duration整个请求处理的总时间load_duration加载模型到内存的时间有了这些数据我们就能计算出生成速度每秒生成多少Token响应时间从提问到获得回答的总时间资源效率每个Token的生成成本5.2 最简单的Token计数示例让我们从一个最简单的Python脚本开始。首先确保安装了requests库pip install requests然后创建第一个监控脚本import requests import json def simple_chat_with_stats(prompt): 基础聊天函数附带Token统计 url http://localhost:11434/api/generate # 准备请求数据 payload { model: lfm2.5-thinking:1.2b, prompt: prompt, stream: False # 先关闭流式一次性获取完整结果 } # 发送请求 response requests.post(url, jsonpayload) if response.status_code 200: data response.json() # 提取生成的内容 answer data.get(response, ) # 提取Token统计信息 eval_count data.get(eval_count, 0) # 生成的Token数 eval_duration_ns data.get(eval_duration, 1) # 生成耗时纳秒 total_duration_ns data.get(total_duration, 1) # 总耗时纳秒 # 转换时间单位纳秒转秒 eval_duration_sec eval_duration_ns / 1_000_000_000 total_duration_sec total_duration_ns / 1_000_000_000 # 计算生成速度 if eval_duration_sec 0: speed eval_count / eval_duration_sec else: speed 0 # 打印结果 print( * 50) print(模型回答) print(answer) print(\n * 50) print(Token统计信息) print(f生成的Token数量{eval_count}) print(f生成耗时{eval_duration_sec:.3f}秒) print(f总处理时间{total_duration_sec:.3f}秒) print(f生成速度{speed:.1f} tokens/秒) print( * 50) return answer, eval_count, speed else: print(f请求失败状态码{response.status_code}) return None, 0, 0 # 测试一下 if __name__ __main__: prompt 请用200字左右介绍人工智能的发展历程 answer, token_count, speed simple_chat_with_stats(prompt)运行这个脚本你会看到类似这样的输出 模型回答 人工智能的发展经历了几个关键阶段。20世纪50年代图灵提出“机器能思考吗”的问题标志着AI研究的开端。随后出现了基于规则的专家系统但能力有限。21世纪初随着大数据和计算能力的提升深度学习技术取得突破特别是在图像识别和自然语言处理领域。近年来大语言模型的出现让AI在理解和生成人类语言方面达到新高度正在深刻改变各行各业。 Token统计信息 生成的Token数量127 生成耗时1.423秒 总处理时间1.856秒 生成速度89.2 tokens/秒 看现在你不仅得到了回答还知道了这个回答用了127个Token生成速度是每秒89.2个Token。这就是最基本的Token监控5.3 流式响应中的实时监控上面的例子是一次性获取完整结果但很多时候我们想要实时看到生成过程这就是流式响应Streaming。在流式模式下我们也能实时监控Token生成情况。import requests import json import time def streaming_chat_with_realtime_stats(prompt): 流式聊天实时显示生成内容和统计 url http://localhost:11434/api/generate payload { model: lfm2.5-thinking:1.2b, prompt: prompt, stream: True # 启用流式响应 } print(开始生成...) print(- * 40) start_time time.time() total_tokens 0 generated_text # 发送流式请求 response requests.post(url, jsonpayload, streamTrue) try: for line in response.iter_lines(): if line: # 解析每一块数据 data json.loads(line.decode(utf-8)) # 检查是否生成完成 if data.get(done, False): # 生成完成显示最终统计 end_time time.time() total_time end_time - start_time eval_count data.get(eval_count, 0) eval_duration_ns data.get(eval_duration, 1) eval_duration_sec eval_duration_ns / 1_000_000_000 print(\n * 40) print(生成完成) print( * 40) print(f最终统计) print(f总生成时间{total_time:.2f}秒) print(f模型生成耗时{eval_duration_sec:.3f}秒) print(f总Token数量{eval_count}) if eval_duration_sec 0: speed eval_count / eval_duration_sec print(f生成速度{speed:.1f} tokens/秒) print(f完整回答\n{generated_text}) else: # 还在生成中显示当前内容 chunk data.get(response, ) if chunk: print(chunk, end, flushTrue) generated_text chunk total_tokens 1 # 简单计数实际应该根据模型分词器计算 except Exception as e: print(f\n发生错误{e}) # 测试流式生成 if __name__ __main__: prompt 写一个关于程序员和咖啡的幽默小故事 streaming_chat_with_realtime_stats(prompt)运行这个脚本你会看到文字一个一个地出现就像有人在实时打字。生成完成后会显示详细的统计信息。6. 进阶技巧构建完整的监控面板6.1 记录历史会话的Token使用在实际使用中我们可能想要记录多次对话的Token使用情况分析使用模式。下面是一个简单的会话记录器import requests import json import time from datetime import datetime class ConversationMonitor: 对话监控器记录每次对话的Token使用 def __init__(self, model_namelfm2.5-thinking:1.2b): self.model_name model_name self.api_url http://localhost:11434/api/generate self.conversation_history [] def chat(self, prompt, streamFalse): 发送消息并记录统计 start_time time.time() payload { model: self.model_name, prompt: prompt, stream: stream } response requests.post(self.api_url, jsonpayload, streamstream) if stream: # 流式处理 full_response for line in response.iter_lines(): if line: data json.loads(line.decode(utf-8)) if not data.get(done, False): chunk data.get(response, ) print(chunk, end, flushTrue) full_response chunk else: # 获取最终统计 end_time time.time() stats { timestamp: datetime.now().isoformat(), prompt: prompt, response: full_response, total_time: end_time - start_time, eval_count: data.get(eval_count, 0), eval_duration: data.get(eval_duration, 0) / 1_000_000_000, total_duration: data.get(total_duration, 0) / 1_000_000_000 } self.conversation_history.append(stats) print(f\n\n[本次生成统计]) self._print_stats(stats) return full_response else: # 非流式处理 data response.json() end_time time.time() stats { timestamp: datetime.now().isoformat(), prompt: prompt, response: data.get(response, ), total_time: end_time - start_time, eval_count: data.get(eval_count, 0), eval_duration: data.get(eval_duration, 0) / 1_000_000_000, total_duration: data.get(total_duration, 0) / 1_000_000_000 } self.conversation_history.append(stats) print(data.get(response, )) print(f\n[本次生成统计]) self._print_stats(stats) return data.get(response, ) def _print_stats(self, stats): 打印统计信息 print(f 生成时间{stats[total_time]:.2f}秒) print(f 生成Token数{stats[eval_count]}) print(f 生成速度{stats[eval_count]/stats[eval_duration]:.1f} tokens/秒 if stats[eval_duration] 0 else 生成速度N/A) def show_summary(self): 显示会话摘要 if not self.conversation_history: print(还没有对话记录) return print(\n *50) print(会话摘要) print(*50) total_tokens sum([s[eval_count] for s in self.conversation_history]) total_time sum([s[total_time] for s in self.conversation_history]) avg_speed total_tokens / sum([s[eval_duration] for s in self.conversation_history if s[eval_duration] 0]) print(f总对话次数{len(self.conversation_history)}) print(f总生成Token数{total_tokens}) print(f总耗时{total_time:.2f}秒) print(f平均生成速度{avg_speed:.1f} tokens/秒) print(\n详细记录) for i, stats in enumerate(self.conversation_history, 1): print(f{i}. [{stats[timestamp][11:19]}] fTokens: {stats[eval_count]}, f耗时: {stats[total_time]:.2f}s) # 使用示例 if __name__ __main__: monitor ConversationMonitor() # 第一次对话 print(对话1) monitor.chat(什么是机器学习, streamTrue) # 第二次对话 print(\n\n对话2) monitor.chat(用简单例子解释监督学习, streamFalse) # 第三次对话 print(\n\n对话3) monitor.chat(机器学习有哪些应用场景, streamTrue) # 显示摘要 monitor.show_summary()这个监控器会记录每次对话的详细信息并提供一个汇总报告帮助你了解模型的使用情况。6.2 可视化Token生成速度如果你想要更直观地看到生成速度的变化可以创建一个简单的速度图表import matplotlib.pyplot as plt import numpy as np def visualize_token_speed(conversation_history): 可视化Token生成速度 if not conversation_history: print(没有数据可可视化) return # 提取数据 speeds [] token_counts [] timestamps [] for i, stats in enumerate(conversation_history): if stats[eval_duration] 0: speed stats[eval_count] / stats[eval_duration] speeds.append(speed) token_counts.append(stats[eval_count]) timestamps.append(i1) if not speeds: print(没有有效的速度数据) return # 创建图表 fig, (ax1, ax2) plt.subplots(2, 1, figsize(10, 8)) # 速度图表 ax1.plot(timestamps, speeds, bo-, linewidth2, markersize8) ax1.set_xlabel(对话序号) ax1.set_ylabel(生成速度 (tokens/秒)) ax1.set_title(LFM2.5-1.2B-Thinking Token生成速度) ax1.grid(True, alpha0.3) # 添加平均线 avg_speed np.mean(speeds) ax1.axhline(yavg_speed, colorr, linestyle--, alpha0.7, labelf平均速度: {avg_speed:.1f} tokens/秒) ax1.legend() # Token数量图表 ax2.bar(timestamps, token_counts, colorskyblue, alpha0.7) ax2.set_xlabel(对话序号) ax2.set_ylabel(Token数量) ax2.set_title(每次对话生成的Token数量) ax2.grid(True, alpha0.3, axisy) plt.tight_layout() plt.show() # 打印统计信息 print(f速度统计) print(f 最高速度{max(speeds):.1f} tokens/秒) print(f 最低速度{min(speeds):.1f} tokens/秒) print(f 平均速度{avg_speed:.1f} tokens/秒) print(f 速度标准差{np.std(speeds):.1f} tokens/秒) # 使用示例需要先运行ConversationMonitor收集数据 # visualize_token_speed(monitor.conversation_history)这个可视化工具能帮你直观地看到每次对话的生成速度变化每次生成的Token数量速度的稳定性如何7. 实用技巧与最佳实践7.1 优化提问以获得更好的Token效率不同的提问方式会影响Token使用效率。以下是一些技巧高效提问示例# 低效过于宽泛 prompt1 告诉我关于人工智能的一切 # 高效具体明确 prompt2 请用三点总结人工智能的主要应用领域 1. 医疗健康 2. 金融服务 3. 教育培训 每点用一句话说明。 # 测试两种提问方式的Token效率 monitor ConversationMonitor() print(测试提问方式对Token效率的影响) print(- * 50) print(\n提问1宽泛) response1, tokens1, _ monitor.chat(prompt1, streamFalse) print(\n\n提问2具体) response2, tokens2, _ monitor.chat(prompt2, streamFalse) print(f\n{*50}) print(f提问1生成Token数{tokens1}) print(f提问2生成Token数{tokens2}) print(f效率提升{(tokens1-tokens2)/tokens1*100:.1f}%)具体明确的提问通常能获得更精准、更高效的响应减少不必要的Token生成。7.2 调整参数优化性能Ollama允许你调整一些参数来优化生成性能def chat_with_custom_params(prompt, temperature0.7, top_p0.9, max_tokens500): 使用自定义参数调用模型 url http://localhost:11434/api/generate payload { model: lfm2.5-thinking:1.2b, prompt: prompt, stream: False, options: { temperature: temperature, # 控制随机性0.0-1.0值越小越确定 top_p: top_p, # 核采样0.0-1.0控制多样性 num_predict: max_tokens # 最大生成Token数 } } response requests.post(url, jsonpayload) data response.json() # 统计信息 tokens data.get(eval_count, 0) duration data.get(eval_duration, 0) / 1_000_000_000 print(f参数temperature{temperature}, top_p{top_p}) print(f生成Token数{tokens}) print(f生成时间{duration:.3f}秒) if duration 0: print(f生成速度{tokens/duration:.1f} tokens/秒) return data.get(response, ) # 测试不同参数 prompt 写一首关于秋天的五言诗 print(测试不同参数对生成的影响) print( * 50) # 低随机性更确定 print(\n1. 低随机性 (temperature0.3)) response1 chat_with_custom_params(prompt, temperature0.3) # 高随机性更有创意 print(\n2. 高随机性 (temperature0.9)) response2 chat_with_custom_params(prompt, temperature0.9) # 限制最大Token数 print(\n3. 限制长度 (max_tokens50)) response3 chat_with_custom_params(prompt, max_tokens50)通过调整这些参数你可以在生成质量、速度和Token使用之间找到最佳平衡。7.3 监控系统资源使用除了监控Token你还可以监控系统的资源使用情况import psutil import time def monitor_system_resources(duration_sec10): 监控系统资源使用情况 print(f开始监控系统资源持续{duration_sec}秒...) print(按CtrlC停止监控) cpu_percentages [] memory_usages [] try: for i in range(duration_sec): # 获取CPU使用率 cpu_percent psutil.cpu_percent(interval1) cpu_percentages.append(cpu_percent) # 获取内存使用 memory psutil.virtual_memory() memory_usages.append(memory.percent) print(f时间 {i1}s: CPU使用率: {cpu_percent:.1f}%, f内存使用: {memory.percent:.1f}%) time.sleep(1) except KeyboardInterrupt: print(\n监控被用户中断) # 计算平均值 if cpu_percentages: avg_cpu sum(cpu_percentages) / len(cpu_percentages) avg_memory sum(memory_usages) / len(memory_usages) print(f\n监控结果) print(f平均CPU使用率{avg_cpu:.1f}%) print(f平均内存使用率{avg_memory:.1f}%) # 简单评估 if avg_cpu 80: print(警告CPU使用率较高可能影响生成速度) if avg_memory 80: print(警告内存使用率较高可能影响模型运行) return cpu_percentages, memory_usages # 在生成过程中监控资源 def chat_with_resource_monitor(prompt): 带资源监控的聊天 import threading # 启动资源监控线程 monitor_thread threading.Thread(targetmonitor_system_resources, args(10,)) monitor_thread.start() # 进行模型调用 response simple_chat_with_stats(prompt) # 等待监控线程结束 monitor_thread.join() return response这个资源监控能帮你了解模型运行时对系统的影响特别是在长时间或高频率使用时。8. 总结掌握Token计数优化AI使用体验通过今天的学习你应该已经掌握了在Ollama中监控LFM2.5-1.2B-Thinking模型Token使用的方法。让我们回顾一下关键要点核心收获Token计数的重要性不只是看模型生成了什么还要了解它是如何生成的用了多少资源基础监控实现通过Ollama API获取eval_count、eval_duration等关键数据流式响应监控在实时生成过程中跟踪Token使用情况历史记录与分析记录多次对话分析使用模式和效率参数优化通过调整temperature、top_p等参数平衡质量与效率实用建议对于常规使用基础监控就足够了如果需要优化生成效率关注Token生成速度和质量平衡在开发应用时考虑实现完整的监控系统定期检查系统资源确保模型稳定运行下一步探索方向尝试将监控数据保存到数据库进行长期分析开发Web界面实时可视化Token使用情况结合其他指标如响应时间、错误率进行综合监控根据监控数据自动调整生成参数记住好的工具使用不仅要知道它能做什么还要知道它是怎么做的。Token计数监控就是这样一个窗口让你更深入地理解AI模型的运行机制从而更高效地使用它。现在你已经具备了监控和优化LFM2.5-1.2B-Thinking模型使用的能力。开始实践吧看看在不同的使用场景下这个强大的小模型能带给你什么样的惊喜获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Ollama中玩转LFM2.5-1.2B-Thinking：手把手教你启用Token计数监控
Ollama中玩转LFM2.5-1.2B-Thinking手把手教你启用Token计数监控1. 开篇为什么你需要关注Token计数你可能已经体验过LFM2.5-1.2B-Thinking这个模型了它小巧、快速在普通电脑上就能流畅运行。但当你真正用它来生成长文档、处理复杂对话时有没有好奇过它到底生成了多少内容速度有多快资源消耗如何这就是Token计数监控的价值所在。简单来说Token是AI模型处理文本的基本单位就像盖房子的砖块。监控Token就是监控AI“盖房子”的过程——用了多少砖、盖了多久、效率如何。对于LFM2.5-1.2B-Thinking这样专为设备端设计的模型了解它的Token生成情况尤为重要。它能帮你评估生成成本特别是在API调用场景优化提问方式提升效率监控模型性能确保稳定运行为不同任务选择合适的生成参数今天我就带你一步步在Ollama中启用Token计数监控让你对这个强大的小模型了如指掌。2. 快速回顾LFM2.5-1.2B-Thinking是什么在深入技术细节前我们先简单了解一下这个模型。LFM2.5-1.2B-Thinking是LFM2.5系列中的一个成员专门为在普通设备上运行而优化。它的几个关键特点小巧但强大只有12亿参数却能完成很多复杂的文本生成任务运行速度快在AMD CPU上每秒能生成239个token在手机NPU上也能达到82 tok/s内存占用低运行时内存需求低于1GB对硬件要求很友好训练充分使用了28万亿token的数据进行预训练并通过多阶段强化学习优化简单说这是一个“小而美”的模型特别适合个人开发者、研究者或者想在本地运行AI应用的用户。3. 环境准备确保一切就绪3.1 检查Ollama安装首先确认你的Ollama已经正确安装并运行。打开终端或命令提示符输入ollama --version如果看到版本号比如ollama version 0.5.0说明安装成功。如果没有需要先安装Ollama# Linux/macOS安装命令 curl -fsSL https://ollama.ai/install.sh | sh # Windows用户 # 从官网下载安装包https://ollama.ai/download # 双击运行安装程序即可3.2 拉取并验证模型确保LFM2.5-1.2B-Thinking模型已经下载到本地# 拉取模型如果还没下载 ollama pull lfm2.5-thinking:1.2b # 查看已安装的模型列表 ollama list在列表中应该能看到lfm2.5-thinking:1.2b。如果看不到说明模型还没下载完成需要等待下载。3.3 启动Ollama服务Token计数监控需要通过Ollama的API来获取所以需要确保服务正在运行# 启动Ollama服务如果还没启动 ollama serve服务启动后默认会在http://localhost:11434监听请求。你可以在浏览器中打开这个地址看到Ollama的Web界面。4. 基础使用先和模型聊聊天在开始监控之前我们先确保模型能正常工作。最简单的方式是通过Ollama的Web界面打开浏览器访问http://localhost:11434在页面顶部的模型选择下拉框中选择lfm2.5-thinking:1.2b在下方输入框中提问比如“用三句话介绍你自己”查看模型的回答如果一切正常你会看到模型流畅地生成回答。这是最基本的交互方式但我们要的不止于此——我们想知道这个回答是怎么生成的用了多少资源。5. 核心实战启用Token计数监控5.1 理解API返回的数据Ollama提供了丰富的API接口当我们通过API调用模型时它会返回很多有用的信息包括Token相关的统计数据。关键字段包括eval_count模型生成的Token数量eval_duration生成这些Token所用的时间纳秒total_duration整个请求处理的总时间load_duration加载模型到内存的时间有了这些数据我们就能计算出生成速度每秒生成多少Token响应时间从提问到获得回答的总时间资源效率每个Token的生成成本5.2 最简单的Token计数示例让我们从一个最简单的Python脚本开始。首先确保安装了requests库pip install requests然后创建第一个监控脚本import requests import json def simple_chat_with_stats(prompt): 基础聊天函数附带Token统计 url http://localhost:11434/api/generate # 准备请求数据 payload { model: lfm2.5-thinking:1.2b, prompt: prompt, stream: False # 先关闭流式一次性获取完整结果 } # 发送请求 response requests.post(url, jsonpayload) if response.status_code 200: data response.json() # 提取生成的内容 answer data.get(response, ) # 提取Token统计信息 eval_count data.get(eval_count, 0) # 生成的Token数 eval_duration_ns data.get(eval_duration, 1) # 生成耗时纳秒 total_duration_ns data.get(total_duration, 1) # 总耗时纳秒 # 转换时间单位纳秒转秒 eval_duration_sec eval_duration_ns / 1_000_000_000 total_duration_sec total_duration_ns / 1_000_000_000 # 计算生成速度 if eval_duration_sec 0: speed eval_count / eval_duration_sec else: speed 0 # 打印结果 print( * 50) print(模型回答) print(answer) print(\n * 50) print(Token统计信息) print(f生成的Token数量{eval_count}) print(f生成耗时{eval_duration_sec:.3f}秒) print(f总处理时间{total_duration_sec:.3f}秒) print(f生成速度{speed:.1f} tokens/秒) print( * 50) return answer, eval_count, speed else: print(f请求失败状态码{response.status_code}) return None, 0, 0 # 测试一下 if __name__ __main__: prompt 请用200字左右介绍人工智能的发展历程 answer, token_count, speed simple_chat_with_stats(prompt)运行这个脚本你会看到类似这样的输出 模型回答 人工智能的发展经历了几个关键阶段。20世纪50年代图灵提出“机器能思考吗”的问题标志着AI研究的开端。随后出现了基于规则的专家系统但能力有限。21世纪初随着大数据和计算能力的提升深度学习技术取得突破特别是在图像识别和自然语言处理领域。近年来大语言模型的出现让AI在理解和生成人类语言方面达到新高度正在深刻改变各行各业。 Token统计信息 生成的Token数量127 生成耗时1.423秒 总处理时间1.856秒 生成速度89.2 tokens/秒 看现在你不仅得到了回答还知道了这个回答用了127个Token生成速度是每秒89.2个Token。这就是最基本的Token监控5.3 流式响应中的实时监控上面的例子是一次性获取完整结果但很多时候我们想要实时看到生成过程这就是流式响应Streaming。在流式模式下我们也能实时监控Token生成情况。import requests import json import time def streaming_chat_with_realtime_stats(prompt): 流式聊天实时显示生成内容和统计 url http://localhost:11434/api/generate payload { model: lfm2.5-thinking:1.2b, prompt: prompt, stream: True # 启用流式响应 } print(开始生成...) print(- * 40) start_time time.time() total_tokens 0 generated_text # 发送流式请求 response requests.post(url, jsonpayload, streamTrue) try: for line in response.iter_lines(): if line: # 解析每一块数据 data json.loads(line.decode(utf-8)) # 检查是否生成完成 if data.get(done, False): # 生成完成显示最终统计 end_time time.time() total_time end_time - start_time eval_count data.get(eval_count, 0) eval_duration_ns data.get(eval_duration, 1) eval_duration_sec eval_duration_ns / 1_000_000_000 print(\n * 40) print(生成完成) print( * 40) print(f最终统计) print(f总生成时间{total_time:.2f}秒) print(f模型生成耗时{eval_duration_sec:.3f}秒) print(f总Token数量{eval_count}) if eval_duration_sec 0: speed eval_count / eval_duration_sec print(f生成速度{speed:.1f} tokens/秒) print(f完整回答\n{generated_text}) else: # 还在生成中显示当前内容 chunk data.get(response, ) if chunk: print(chunk, end, flushTrue) generated_text chunk total_tokens 1 # 简单计数实际应该根据模型分词器计算 except Exception as e: print(f\n发生错误{e}) # 测试流式生成 if __name__ __main__: prompt 写一个关于程序员和咖啡的幽默小故事 streaming_chat_with_realtime_stats(prompt)运行这个脚本你会看到文字一个一个地出现就像有人在实时打字。生成完成后会显示详细的统计信息。6. 进阶技巧构建完整的监控面板6.1 记录历史会话的Token使用在实际使用中我们可能想要记录多次对话的Token使用情况分析使用模式。下面是一个简单的会话记录器import requests import json import time from datetime import datetime class ConversationMonitor: 对话监控器记录每次对话的Token使用 def __init__(self, model_namelfm2.5-thinking:1.2b): self.model_name model_name self.api_url http://localhost:11434/api/generate self.conversation_history [] def chat(self, prompt, streamFalse): 发送消息并记录统计 start_time time.time() payload { model: self.model_name, prompt: prompt, stream: stream } response requests.post(self.api_url, jsonpayload, streamstream) if stream: # 流式处理 full_response for line in response.iter_lines(): if line: data json.loads(line.decode(utf-8)) if not data.get(done, False): chunk data.get(response, ) print(chunk, end, flushTrue) full_response chunk else: # 获取最终统计 end_time time.time() stats { timestamp: datetime.now().isoformat(), prompt: prompt, response: full_response, total_time: end_time - start_time, eval_count: data.get(eval_count, 0), eval_duration: data.get(eval_duration, 0) / 1_000_000_000, total_duration: data.get(total_duration, 0) / 1_000_000_000 } self.conversation_history.append(stats) print(f\n\n[本次生成统计]) self._print_stats(stats) return full_response else: # 非流式处理 data response.json() end_time time.time() stats { timestamp: datetime.now().isoformat(), prompt: prompt, response: data.get(response, ), total_time: end_time - start_time, eval_count: data.get(eval_count, 0), eval_duration: data.get(eval_duration, 0) / 1_000_000_000, total_duration: data.get(total_duration, 0) / 1_000_000_000 } self.conversation_history.append(stats) print(data.get(response, )) print(f\n[本次生成统计]) self._print_stats(stats) return data.get(response, ) def _print_stats(self, stats): 打印统计信息 print(f 生成时间{stats[total_time]:.2f}秒) print(f 生成Token数{stats[eval_count]}) print(f 生成速度{stats[eval_count]/stats[eval_duration]:.1f} tokens/秒 if stats[eval_duration] 0 else 生成速度N/A) def show_summary(self): 显示会话摘要 if not self.conversation_history: print(还没有对话记录) return print(\n *50) print(会话摘要) print(*50) total_tokens sum([s[eval_count] for s in self.conversation_history]) total_time sum([s[total_time] for s in self.conversation_history]) avg_speed total_tokens / sum([s[eval_duration] for s in self.conversation_history if s[eval_duration] 0]) print(f总对话次数{len(self.conversation_history)}) print(f总生成Token数{total_tokens}) print(f总耗时{total_time:.2f}秒) print(f平均生成速度{avg_speed:.1f} tokens/秒) print(\n详细记录) for i, stats in enumerate(self.conversation_history, 1): print(f{i}. [{stats[timestamp][11:19]}] fTokens: {stats[eval_count]}, f耗时: {stats[total_time]:.2f}s) # 使用示例 if __name__ __main__: monitor ConversationMonitor() # 第一次对话 print(对话1) monitor.chat(什么是机器学习, streamTrue) # 第二次对话 print(\n\n对话2) monitor.chat(用简单例子解释监督学习, streamFalse) # 第三次对话 print(\n\n对话3) monitor.chat(机器学习有哪些应用场景, streamTrue) # 显示摘要 monitor.show_summary()这个监控器会记录每次对话的详细信息并提供一个汇总报告帮助你了解模型的使用情况。6.2 可视化Token生成速度如果你想要更直观地看到生成速度的变化可以创建一个简单的速度图表import matplotlib.pyplot as plt import numpy as np def visualize_token_speed(conversation_history): 可视化Token生成速度 if not conversation_history: print(没有数据可可视化) return # 提取数据 speeds [] token_counts [] timestamps [] for i, stats in enumerate(conversation_history): if stats[eval_duration] 0: speed stats[eval_count] / stats[eval_duration] speeds.append(speed) token_counts.append(stats[eval_count]) timestamps.append(i1) if not speeds: print(没有有效的速度数据) return # 创建图表 fig, (ax1, ax2) plt.subplots(2, 1, figsize(10, 8)) # 速度图表 ax1.plot(timestamps, speeds, bo-, linewidth2, markersize8) ax1.set_xlabel(对话序号) ax1.set_ylabel(生成速度 (tokens/秒)) ax1.set_title(LFM2.5-1.2B-Thinking Token生成速度) ax1.grid(True, alpha0.3) # 添加平均线 avg_speed np.mean(speeds) ax1.axhline(yavg_speed, colorr, linestyle--, alpha0.7, labelf平均速度: {avg_speed:.1f} tokens/秒) ax1.legend() # Token数量图表 ax2.bar(timestamps, token_counts, colorskyblue, alpha0.7) ax2.set_xlabel(对话序号) ax2.set_ylabel(Token数量) ax2.set_title(每次对话生成的Token数量) ax2.grid(True, alpha0.3, axisy) plt.tight_layout() plt.show() # 打印统计信息 print(f速度统计) print(f 最高速度{max(speeds):.1f} tokens/秒) print(f 最低速度{min(speeds):.1f} tokens/秒) print(f 平均速度{avg_speed:.1f} tokens/秒) print(f 速度标准差{np.std(speeds):.1f} tokens/秒) # 使用示例需要先运行ConversationMonitor收集数据 # visualize_token_speed(monitor.conversation_history)这个可视化工具能帮你直观地看到每次对话的生成速度变化每次生成的Token数量速度的稳定性如何7. 实用技巧与最佳实践7.1 优化提问以获得更好的Token效率不同的提问方式会影响Token使用效率。以下是一些技巧高效提问示例# 低效过于宽泛 prompt1 告诉我关于人工智能的一切 # 高效具体明确 prompt2 请用三点总结人工智能的主要应用领域 1. 医疗健康 2. 金融服务 3. 教育培训 每点用一句话说明。 # 测试两种提问方式的Token效率 monitor ConversationMonitor() print(测试提问方式对Token效率的影响) print(- * 50) print(\n提问1宽泛) response1, tokens1, _ monitor.chat(prompt1, streamFalse) print(\n\n提问2具体) response2, tokens2, _ monitor.chat(prompt2, streamFalse) print(f\n{*50}) print(f提问1生成Token数{tokens1}) print(f提问2生成Token数{tokens2}) print(f效率提升{(tokens1-tokens2)/tokens1*100:.1f}%)具体明确的提问通常能获得更精准、更高效的响应减少不必要的Token生成。7.2 调整参数优化性能Ollama允许你调整一些参数来优化生成性能def chat_with_custom_params(prompt, temperature0.7, top_p0.9, max_tokens500): 使用自定义参数调用模型 url http://localhost:11434/api/generate payload { model: lfm2.5-thinking:1.2b, prompt: prompt, stream: False, options: { temperature: temperature, # 控制随机性0.0-1.0值越小越确定 top_p: top_p, # 核采样0.0-1.0控制多样性 num_predict: max_tokens # 最大生成Token数 } } response requests.post(url, jsonpayload) data response.json() # 统计信息 tokens data.get(eval_count, 0) duration data.get(eval_duration, 0) / 1_000_000_000 print(f参数temperature{temperature}, top_p{top_p}) print(f生成Token数{tokens}) print(f生成时间{duration:.3f}秒) if duration 0: print(f生成速度{tokens/duration:.1f} tokens/秒) return data.get(response, ) # 测试不同参数 prompt 写一首关于秋天的五言诗 print(测试不同参数对生成的影响) print( * 50) # 低随机性更确定 print(\n1. 低随机性 (temperature0.3)) response1 chat_with_custom_params(prompt, temperature0.3) # 高随机性更有创意 print(\n2. 高随机性 (temperature0.9)) response2 chat_with_custom_params(prompt, temperature0.9) # 限制最大Token数 print(\n3. 限制长度 (max_tokens50)) response3 chat_with_custom_params(prompt, max_tokens50)通过调整这些参数你可以在生成质量、速度和Token使用之间找到最佳平衡。7.3 监控系统资源使用除了监控Token你还可以监控系统的资源使用情况import psutil import time def monitor_system_resources(duration_sec10): 监控系统资源使用情况 print(f开始监控系统资源持续{duration_sec}秒...) print(按CtrlC停止监控) cpu_percentages [] memory_usages [] try: for i in range(duration_sec): # 获取CPU使用率 cpu_percent psutil.cpu_percent(interval1) cpu_percentages.append(cpu_percent) # 获取内存使用 memory psutil.virtual_memory() memory_usages.append(memory.percent) print(f时间 {i1}s: CPU使用率: {cpu_percent:.1f}%, f内存使用: {memory.percent:.1f}%) time.sleep(1) except KeyboardInterrupt: print(\n监控被用户中断) # 计算平均值 if cpu_percentages: avg_cpu sum(cpu_percentages) / len(cpu_percentages) avg_memory sum(memory_usages) / len(memory_usages) print(f\n监控结果) print(f平均CPU使用率{avg_cpu:.1f}%) print(f平均内存使用率{avg_memory:.1f}%) # 简单评估 if avg_cpu 80: print(警告CPU使用率较高可能影响生成速度) if avg_memory 80: print(警告内存使用率较高可能影响模型运行) return cpu_percentages, memory_usages # 在生成过程中监控资源 def chat_with_resource_monitor(prompt): 带资源监控的聊天 import threading # 启动资源监控线程 monitor_thread threading.Thread(targetmonitor_system_resources, args(10,)) monitor_thread.start() # 进行模型调用 response simple_chat_with_stats(prompt) # 等待监控线程结束 monitor_thread.join() return response这个资源监控能帮你了解模型运行时对系统的影响特别是在长时间或高频率使用时。8. 总结掌握Token计数优化AI使用体验通过今天的学习你应该已经掌握了在Ollama中监控LFM2.5-1.2B-Thinking模型Token使用的方法。让我们回顾一下关键要点核心收获Token计数的重要性不只是看模型生成了什么还要了解它是如何生成的用了多少资源基础监控实现通过Ollama API获取eval_count、eval_duration等关键数据流式响应监控在实时生成过程中跟踪Token使用情况历史记录与分析记录多次对话分析使用模式和效率参数优化通过调整temperature、top_p等参数平衡质量与效率实用建议对于常规使用基础监控就足够了如果需要优化生成效率关注Token生成速度和质量平衡在开发应用时考虑实现完整的监控系统定期检查系统资源确保模型稳定运行下一步探索方向尝试将监控数据保存到数据库进行长期分析开发Web界面实时可视化Token使用情况结合其他指标如响应时间、错误率进行综合监控根据监控数据自动调整生成参数记住好的工具使用不仅要知道它能做什么还要知道它是怎么做的。Token计数监控就是这样一个窗口让你更深入地理解AI模型的运行机制从而更高效地使用它。现在你已经具备了监控和优化LFM2.5-1.2B-Thinking模型使用的能力。开始实践吧看看在不同的使用场景下这个强大的小模型能带给你什么样的惊喜获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
