Qwen2.5-VL-7B-Instruct企业实操与OA系统集成实现会议纪要图文自动归档想象一下这个场景公司每周的例会刚结束行政同事小张就收到了一堆任务——整理会议照片、誊写白板上的手写要点、把讨论的图表归档到系统里。她需要花上大半天时间手动整理、分类、录入不仅效率低下还容易出错。如果有一个智能助手能自动“看懂”会议现场的照片、白板内容、PPT截图并生成结构化的会议纪要直接存入公司的OA系统那该多好今天我们就来把这个想象变成现实。借助Qwen2.5-VL-7B-Instruct这个强大的多模态视觉-语言模型我们可以构建一个智能化的会议纪要归档系统。它不仅能理解文字更能“看懂”图片实现图文信息的自动提取与归档。本文将手把手带你完成从模型部署到与企业OA系统集成的全流程实战。1. 项目蓝图我们要解决什么问题在深入代码之前我们先明确目标和价值。传统的会议纪要归档流程存在几个痛点信息割裂会议讨论的实体白板草图、投影PPT、现场照片与最终的电子纪要分离查阅不便。效率低下人工整理、转录、录入耗时耗力占用大量行政或助理的工作时间。易出错漏人工处理容易遗漏图片中的关键信息或转录时产生偏差。检索困难归档后基于图片内容的检索几乎无法实现知识资产利用率低。我们的解决方案是构建一个自动化流水线信息采集会议结束后收集相关的图片素材白板照片、PPT截图、现场图等。智能解析使用Qwen2.5-VL-7B-Instruct模型自动分析图片内容提取关键信息议题、结论、待办事项、图表数据等。结构化生成将提取的信息整理成标准格式的会议纪要文本。系统集成通过API将生成的纪要自动推送至企业OA系统如钉钉、飞书、企业微信的审批流或知识库进行归档。这个方案的核心优势在于它利用多模态模型的“视觉理解”能力打通了物理世界会议现场与数字世界OA系统的信息壁垒。2. 环境搭建快速部署Qwen2.5-VL-7B-Instruct工欲善其事必先利其器。首先我们需要在服务器上把模型跑起来。Qwen2.5-VL-7B-Instruct是一个约16GBBF16精度的模型建议使用显存不小于16GB的GPU以获得流畅体验。2.1 一键启动最简方式如果你使用的是预配置的环境例如一些云平台提供的镜像通常已经准备好了启动脚本。这是最快捷的方式# 进入项目目录 cd /root/Qwen2.5-VL-7B-Instruct-GPTQ # 执行启动脚本 ./start.sh执行后脚本会自动处理环境激活、依赖检查、模型加载等步骤。当你在终端看到类似“Running on local URL: http://0.0.0.0:7860”的提示时说明服务已经启动成功。2.2 手动启动深入了解过程如果你想更清晰地了解启动流程或者需要自定义配置可以手动执行以下步骤# 1. 激活预先配置好的Python环境环境名称可能因镜像而异 conda activate torch29 # 2. 进入项目目录 cd /root/Qwen2.5-VL-7B-Instruct-GPTQ # 3. 启动Gradio交互式Web应用 python /root/Qwen2.5-VL-7B-Instruct-GPTQ/app.py无论哪种方式启动成功后打开你的浏览器访问http://你的服务器IP地址:7860就能看到一个简洁的Web界面。你可以在这里上传图片并用自然语言向模型提问进行初步的测试和体验。3. 核心实战构建会议纪要自动解析引擎模型服务化之后我们需要编写一个Python客户端以编程方式调用它这是系统集成的关键。我们将创建一个MeetingMinutesParser类。3.1 基础调用让模型“看懂”会议图片首先实现最基本的图片解析功能。我们准备一张会议白板的照片让模型描述其中的内容。import requests import base64 from PIL import Image import io import json class MeetingMinutesParser: def __init__(self, base_urlhttp://localhost:7860): 初始化解析器 :param base_url: Qwen2.5-VL模型服务的地址 self.base_url base_url self.api_url f{base_url}/api/chat # 假设Gradio应用暴露了此API端点 def _encode_image_to_base64(self, image_path): 将图片文件编码为Base64字符串 with open(image_path, rb) as image_file: return base64.b64encode(image_file.read()).decode(utf-8) def parse_image_content(self, image_path, prompt请详细描述这张图片中的内容。): 向模型发送图片和提示获取解析结果 :param image_path: 图片文件路径 :param prompt: 给模型的指令 :return: 模型返回的文本结果 # 准备请求数据 image_base64 self._encode_image_to_base64(image_path) # 构建符合模型预期的消息格式 # 注意实际格式需根据你部署的Gradio app的API接口调整 messages [ { role: user, content: [ {type: text, text: prompt}, {type: image_url, image_url: {url: fdata:image/jpeg;base64,{image_base64}}} ] } ] payload { model: Qwen2.5-VL-7B-Instruct, messages: messages, max_tokens: 1024 } try: response requests.post(self.api_url, jsonpayload, timeout60) response.raise_for_status() result response.json() # 解析返回内容这里需要根据实际API响应结构调整 # 例如可能是 result[choices][0][message][content] return result.get(content, str(result)) except requests.exceptions.RequestException as e: return fAPI请求失败: {e} except KeyError as e: return f解析响应数据失败: {e}原始响应: {result} # 使用示例 if __name__ __main__: parser MeetingMinutesParser() # 假设有一张名为 whiteboard_meeting.jpg 的白板会议照片 description parser.parse_image_content(whiteboard_meeting.jpg) print(模型对图片的描述) print(description)运行这段代码模型会返回对白板内容的详细描述比如“图片显示了一个白板上面用黑色马克笔写着‘Q3产品规划’下面列出了三个要点1. 优化用户登录流程王伟负责9月30日前完成2. 开发数据看板新功能李娜负责10月15日前3. 调研AI助手集成可行性全体10月前反馈。右下角有一个手绘的简易时间轴。”3.2 进阶解析提取结构化会议纪要简单的描述还不够我们需要结构化的数据。通过设计更精准的提示词Prompt引导模型输出JSON格式的会议纪要。def extract_structured_minutes(self, image_path_list): 解析多张会议图片生成结构化的会议纪要JSON。 :param image_path_list: 会议相关图片路径列表 :return: 结构化的会议纪要字典 structured_prompt 你是一个专业的会议秘书。请根据提供的会议现场图片提取并生成一份结构化的会议纪要。 请严格按照以下JSON格式输出不要输出任何其他解释性文字 { meeting_topic: 会议主题, date: 会议日期如果图片中有, attendees: [参会人1, 参会人2, ...], // 从图片中识别或推断 key_points: [ { topic: 讨论要点标题, description: 要点详细描述, action_item: 待办事项, owner: 负责人, deadline: 截止时间 } ], decisions_made: [决定1, 决定2, ...], next_steps: [下一步行动1, 下一步行动2, ...] } 如果某些信息在图片中无法确定请将对应字段值设为 null。 现在开始分析图片。 # 在实际调用中可能需要将多张图片和提示词一起发送给模型 # 这里简化处理假设我们主要分析白板图其他图为辅助 primary_image_path image_path_list[0] analysis_result self.parse_image_content(primary_image_path, structured_prompt) # 尝试从返回文本中解析JSON import re json_match re.search(r\{.*\}, analysis_result, re.DOTALL) if json_match: try: minutes_json json.loads(json_match.group()) return minutes_json except json.JSONDecodeError: print(模型返回了非标准JSON尝试清理后解析...) # 简易清理模型可能在JSON前后添加了markdown代码块标记或额外文字 cleaned_text analysis_result.strip().replace(json, ).replace(, ) try: minutes_json json.loads(cleaned_text) return minutes_json except: return {error: 无法解析模型返回的结构化数据, raw_output: analysis_result} else: return {error: 未在返回中找到JSON结构, raw_output: analysis_result} # 使用示例 if __name__ __main__: parser MeetingMinutesParser() image_list [whiteboard_meeting.jpg, ppt_slide1.png] # 白板图和一张PPT截图 minutes parser.extract_structured_minutes(image_list) print(提取的结构化会议纪要) print(json.dumps(minutes, indent2, ensure_asciiFalse))通过这个精心设计的提示词模型会努力从图片中识别并填充JSON的各个字段输出一个可以直接被其他系统处理的标准化会议纪要对象。4. 系统集成连接企业OA自动化归档有了结构化的会议纪要数据最后一步就是将其送入企业的OA系统。这里以国内常用的钉钉审批流程为例展示如何通过OA平台提供的开放API进行集成。4.1 封装OA系统API客户端我们需要根据目标OA系统的API文档编写一个客户端。以下是一个模拟钉钉创建审批实例的示例import time import hmac import hashlib import base64 import urllib.parse class DingTalkOAIntegrator: def __init__(self, app_key, app_secret, agent_id): self.app_key app_key self.app_secret app_secret self.agent_id agent_id self.access_token None self.token_expire_time 0 def _get_access_token(self): 获取钉钉API访问令牌 if time.time() self.token_expire_time - 60 and self.access_token: return self.access_token url https://oapi.dingtalk.com/gettoken params {appkey: self.app_key, appsecret: self.app_secret} resp requests.get(url, paramsparams) result resp.json() if result.get(errcode) 0: self.access_token result[access_token] self.token_expire_time time.time() result[expires_in] return self.access_token else: raise Exception(f获取AccessToken失败: {result}) def create_approval_instance(self, process_code, originator_user_id, form_component_values, minutes_summary): 在钉钉创建一个审批实例用于归档会议纪要 :param process_code: 审批流程模板CODE :param originator_user_id: 发起人工号 :param form_component_values: 审批单表单内容 :param minutes_summary: 会议纪要摘要用于审批单标题或备注 :return: 审批实例ID token self._get_access_token() url fhttps://oapi.dingtalk.com/topapi/processinstance/create?access_token{token} # 构建请求体将会议纪要内容填入审批单的对应字段 payload { process_code: process_code, originator_user_id: originator_user_id, dept_id: -1, # 根据实际情况填写 approvers: manager_user_id1,manager_user_id2, # 审批人 form_component_values: form_component_values [ { name: 会议纪要内容, value: json.dumps(minutes_summary, ensure_asciiFalse) # 将整个JSON作为内容存入 }, { name: 纪要摘要, value: f【自动生成】{minutes_summary.get(meeting_topic, 会议)}纪要 } ] } resp requests.post(url, jsonpayload) result resp.json() if result.get(errcode) 0: print(f会议纪要审批单创建成功实例ID: {result.get(process_instance_id)}) return result.get(process_instance_id) else: print(f创建审批单失败: {result}) return None4.2 组装自动化流水线现在我们将图片解析和OA集成两部分连接起来形成一个完整的自动化工作流。def automated_meeting_minutes_pipeline(image_folder_path, oa_integrator, process_code, originator_id): 自动化会议纪要处理流水线 1. 扫描文件夹中的图片 2. 调用模型解析 3. 推送至OA系统 import os # 1. 收集图片 supported_ext [.jpg, .jpeg, .png, .bmp] image_files [os.path.join(image_folder_path, f) for f in os.listdir(image_folder_path) if os.path.splitext(f)[1].lower() in supported_ext] if not image_files: print(指定文件夹中未找到支持的图片文件。) return print(f找到 {len(image_files)} 张待处理图片。) # 2. 解析图片生成纪要 parser MeetingMinutesParser() print(正在调用Qwen2.5-VL模型解析会议内容...) structured_minutes parser.extract_structured_minutes(image_files) if error in structured_minutes: print(f解析失败: {structured_minutes[error]}) return print(会议纪要解析成功) # 3. 准备OA系统表单数据 (示例字段需根据实际审批模板调整) form_values [ {name: 会议主题, value: structured_minutes.get(meeting_topic, 未识别)}, {name: 会议日期, value: structured_minutes.get(date, 未识别)}, # 可以继续添加其他字段... ] # 4. 调用OA接口创建审批单进行归档 print(正在向OA系统提交会议纪要审批单...) instance_id oa_integrator.create_approval_instance( process_codeprocess_code, originator_user_idoriginator_id, form_component_valuesform_values, minutes_summarystructured_minutes ) if instance_id: print(✅ 会议纪要已成功提交至OA系统进入归档审批流程) # 可选将原始图片和生成的JSON文件也备份到指定位置 backup_data(structured_minutes, image_files) else: print(❌ OA系统归档失败。) def backup_data(minutes_json, image_paths): 备份生成的纪要数据和原始图片 import shutil import os timestamp time.strftime(%Y%m%d_%H%M%S) backup_dir f./meeting_backup_{timestamp} os.makedirs(backup_dir, exist_okTrue) # 保存JSON with open(os.path.join(backup_dir, minutes.json), w, encodingutf-8) as f: json.dump(minutes_json, f, indent2, ensure_asciiFalse) # 复制图片 for img_path in image_paths: shutil.copy2(img_path, backup_dir) print(f数据已备份至: {backup_dir}) # 主程序入口 if __name__ __main__: # 配置OA集成参数需从企业钉钉管理后台获取 dingtalk_config { app_key: YOUR_APP_KEY, app_secret: YOUR_APP_SECRET, agent_id: YOUR_AGENT_ID } oa_integrator DingTalkOAIntegrator(**dingtalk_config) # 指定存放会议图片的文件夹 meeting_images_folder ./meeting_photos_20231027 # 指定审批流程模板CODE和发起人 approval_process_code PROC-XXXXXX-YYYY-ZZZZ # 实际的审批模板CODE originator_user_id manager123 # 发起人工号 # 运行自动化流水线 automated_meeting_minutes_pipeline( meeting_images_folder, oa_integrator, approval_process_code, originator_user_id )运行这个脚本整个从图片到OA归档的流程就自动完成了。行政人员只需要将会议照片放入指定文件夹剩下的工作全部由系统接管。5. 总结与展望通过本文的实践我们完成了一个从技术验证到业务集成的完整闭环。回顾一下核心步骤快速部署利用预置镜像或脚本一键启动Qwen2.5-VL-7B-Instruct模型服务为应用提供强大的多模态理解能力。能力解析编写Python客户端通过设计有效的提示词引导模型从会议图片中提取关键信息并输出结构化的JSON数据这是智能化的核心。系统集成根据企业OA系统如钉钉的开放API将生成的会议纪要数据自动填入审批单或直接存入知识库打通了信息流最后一公里。这个方案的价值是显而易见的它将员工从繁琐、重复的信息整理工作中解放出来提升了知识沉淀的效率和准确性。生成的数字化纪要支持全文检索让历史会议中的每一个灵感、每一项决策都变得可追溯、可复用。当然这只是一个起点。你可以在此基础上进行更多优化多图关联分析让模型综合多张图片如白板、PPT、参会人名单的信息生成更全面的纪要。流程定制根据不同会议类型如项目评审、头脑风暴、周会设计不同的解析和归档模板。结果校验与人工审核在完全自动化之前可以加入一个“人工确认”环节确保关键信息无误。扩展至其他场景同样的技术框架可以轻松迁移到合同票据识别归档、工单现场照片解析、培训材料自动摘要等众多企业办公场景。Qwen2.5-VL-7B-Instruct等开源多模态模型的出现极大地降低了企业部署私有化、定制化AI应用的门槛。希望本文能为你打开一扇门将前沿的AI能力转化为实实在在的生产力工具。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Qwen2.5-VL-7B-Instruct企业实操：与OA系统集成实现会议纪要图文自动归档
Qwen2.5-VL-7B-Instruct企业实操与OA系统集成实现会议纪要图文自动归档想象一下这个场景公司每周的例会刚结束行政同事小张就收到了一堆任务——整理会议照片、誊写白板上的手写要点、把讨论的图表归档到系统里。她需要花上大半天时间手动整理、分类、录入不仅效率低下还容易出错。如果有一个智能助手能自动“看懂”会议现场的照片、白板内容、PPT截图并生成结构化的会议纪要直接存入公司的OA系统那该多好今天我们就来把这个想象变成现实。借助Qwen2.5-VL-7B-Instruct这个强大的多模态视觉-语言模型我们可以构建一个智能化的会议纪要归档系统。它不仅能理解文字更能“看懂”图片实现图文信息的自动提取与归档。本文将手把手带你完成从模型部署到与企业OA系统集成的全流程实战。1. 项目蓝图我们要解决什么问题在深入代码之前我们先明确目标和价值。传统的会议纪要归档流程存在几个痛点信息割裂会议讨论的实体白板草图、投影PPT、现场照片与最终的电子纪要分离查阅不便。效率低下人工整理、转录、录入耗时耗力占用大量行政或助理的工作时间。易出错漏人工处理容易遗漏图片中的关键信息或转录时产生偏差。检索困难归档后基于图片内容的检索几乎无法实现知识资产利用率低。我们的解决方案是构建一个自动化流水线信息采集会议结束后收集相关的图片素材白板照片、PPT截图、现场图等。智能解析使用Qwen2.5-VL-7B-Instruct模型自动分析图片内容提取关键信息议题、结论、待办事项、图表数据等。结构化生成将提取的信息整理成标准格式的会议纪要文本。系统集成通过API将生成的纪要自动推送至企业OA系统如钉钉、飞书、企业微信的审批流或知识库进行归档。这个方案的核心优势在于它利用多模态模型的“视觉理解”能力打通了物理世界会议现场与数字世界OA系统的信息壁垒。2. 环境搭建快速部署Qwen2.5-VL-7B-Instruct工欲善其事必先利其器。首先我们需要在服务器上把模型跑起来。Qwen2.5-VL-7B-Instruct是一个约16GBBF16精度的模型建议使用显存不小于16GB的GPU以获得流畅体验。2.1 一键启动最简方式如果你使用的是预配置的环境例如一些云平台提供的镜像通常已经准备好了启动脚本。这是最快捷的方式# 进入项目目录 cd /root/Qwen2.5-VL-7B-Instruct-GPTQ # 执行启动脚本 ./start.sh执行后脚本会自动处理环境激活、依赖检查、模型加载等步骤。当你在终端看到类似“Running on local URL: http://0.0.0.0:7860”的提示时说明服务已经启动成功。2.2 手动启动深入了解过程如果你想更清晰地了解启动流程或者需要自定义配置可以手动执行以下步骤# 1. 激活预先配置好的Python环境环境名称可能因镜像而异 conda activate torch29 # 2. 进入项目目录 cd /root/Qwen2.5-VL-7B-Instruct-GPTQ # 3. 启动Gradio交互式Web应用 python /root/Qwen2.5-VL-7B-Instruct-GPTQ/app.py无论哪种方式启动成功后打开你的浏览器访问http://你的服务器IP地址:7860就能看到一个简洁的Web界面。你可以在这里上传图片并用自然语言向模型提问进行初步的测试和体验。3. 核心实战构建会议纪要自动解析引擎模型服务化之后我们需要编写一个Python客户端以编程方式调用它这是系统集成的关键。我们将创建一个MeetingMinutesParser类。3.1 基础调用让模型“看懂”会议图片首先实现最基本的图片解析功能。我们准备一张会议白板的照片让模型描述其中的内容。import requests import base64 from PIL import Image import io import json class MeetingMinutesParser: def __init__(self, base_urlhttp://localhost:7860): 初始化解析器 :param base_url: Qwen2.5-VL模型服务的地址 self.base_url base_url self.api_url f{base_url}/api/chat # 假设Gradio应用暴露了此API端点 def _encode_image_to_base64(self, image_path): 将图片文件编码为Base64字符串 with open(image_path, rb) as image_file: return base64.b64encode(image_file.read()).decode(utf-8) def parse_image_content(self, image_path, prompt请详细描述这张图片中的内容。): 向模型发送图片和提示获取解析结果 :param image_path: 图片文件路径 :param prompt: 给模型的指令 :return: 模型返回的文本结果 # 准备请求数据 image_base64 self._encode_image_to_base64(image_path) # 构建符合模型预期的消息格式 # 注意实际格式需根据你部署的Gradio app的API接口调整 messages [ { role: user, content: [ {type: text, text: prompt}, {type: image_url, image_url: {url: fdata:image/jpeg;base64,{image_base64}}} ] } ] payload { model: Qwen2.5-VL-7B-Instruct, messages: messages, max_tokens: 1024 } try: response requests.post(self.api_url, jsonpayload, timeout60) response.raise_for_status() result response.json() # 解析返回内容这里需要根据实际API响应结构调整 # 例如可能是 result[choices][0][message][content] return result.get(content, str(result)) except requests.exceptions.RequestException as e: return fAPI请求失败: {e} except KeyError as e: return f解析响应数据失败: {e}原始响应: {result} # 使用示例 if __name__ __main__: parser MeetingMinutesParser() # 假设有一张名为 whiteboard_meeting.jpg 的白板会议照片 description parser.parse_image_content(whiteboard_meeting.jpg) print(模型对图片的描述) print(description)运行这段代码模型会返回对白板内容的详细描述比如“图片显示了一个白板上面用黑色马克笔写着‘Q3产品规划’下面列出了三个要点1. 优化用户登录流程王伟负责9月30日前完成2. 开发数据看板新功能李娜负责10月15日前3. 调研AI助手集成可行性全体10月前反馈。右下角有一个手绘的简易时间轴。”3.2 进阶解析提取结构化会议纪要简单的描述还不够我们需要结构化的数据。通过设计更精准的提示词Prompt引导模型输出JSON格式的会议纪要。def extract_structured_minutes(self, image_path_list): 解析多张会议图片生成结构化的会议纪要JSON。 :param image_path_list: 会议相关图片路径列表 :return: 结构化的会议纪要字典 structured_prompt 你是一个专业的会议秘书。请根据提供的会议现场图片提取并生成一份结构化的会议纪要。 请严格按照以下JSON格式输出不要输出任何其他解释性文字 { meeting_topic: 会议主题, date: 会议日期如果图片中有, attendees: [参会人1, 参会人2, ...], // 从图片中识别或推断 key_points: [ { topic: 讨论要点标题, description: 要点详细描述, action_item: 待办事项, owner: 负责人, deadline: 截止时间 } ], decisions_made: [决定1, 决定2, ...], next_steps: [下一步行动1, 下一步行动2, ...] } 如果某些信息在图片中无法确定请将对应字段值设为 null。 现在开始分析图片。 # 在实际调用中可能需要将多张图片和提示词一起发送给模型 # 这里简化处理假设我们主要分析白板图其他图为辅助 primary_image_path image_path_list[0] analysis_result self.parse_image_content(primary_image_path, structured_prompt) # 尝试从返回文本中解析JSON import re json_match re.search(r\{.*\}, analysis_result, re.DOTALL) if json_match: try: minutes_json json.loads(json_match.group()) return minutes_json except json.JSONDecodeError: print(模型返回了非标准JSON尝试清理后解析...) # 简易清理模型可能在JSON前后添加了markdown代码块标记或额外文字 cleaned_text analysis_result.strip().replace(json, ).replace(, ) try: minutes_json json.loads(cleaned_text) return minutes_json except: return {error: 无法解析模型返回的结构化数据, raw_output: analysis_result} else: return {error: 未在返回中找到JSON结构, raw_output: analysis_result} # 使用示例 if __name__ __main__: parser MeetingMinutesParser() image_list [whiteboard_meeting.jpg, ppt_slide1.png] # 白板图和一张PPT截图 minutes parser.extract_structured_minutes(image_list) print(提取的结构化会议纪要) print(json.dumps(minutes, indent2, ensure_asciiFalse))通过这个精心设计的提示词模型会努力从图片中识别并填充JSON的各个字段输出一个可以直接被其他系统处理的标准化会议纪要对象。4. 系统集成连接企业OA自动化归档有了结构化的会议纪要数据最后一步就是将其送入企业的OA系统。这里以国内常用的钉钉审批流程为例展示如何通过OA平台提供的开放API进行集成。4.1 封装OA系统API客户端我们需要根据目标OA系统的API文档编写一个客户端。以下是一个模拟钉钉创建审批实例的示例import time import hmac import hashlib import base64 import urllib.parse class DingTalkOAIntegrator: def __init__(self, app_key, app_secret, agent_id): self.app_key app_key self.app_secret app_secret self.agent_id agent_id self.access_token None self.token_expire_time 0 def _get_access_token(self): 获取钉钉API访问令牌 if time.time() self.token_expire_time - 60 and self.access_token: return self.access_token url https://oapi.dingtalk.com/gettoken params {appkey: self.app_key, appsecret: self.app_secret} resp requests.get(url, paramsparams) result resp.json() if result.get(errcode) 0: self.access_token result[access_token] self.token_expire_time time.time() result[expires_in] return self.access_token else: raise Exception(f获取AccessToken失败: {result}) def create_approval_instance(self, process_code, originator_user_id, form_component_values, minutes_summary): 在钉钉创建一个审批实例用于归档会议纪要 :param process_code: 审批流程模板CODE :param originator_user_id: 发起人工号 :param form_component_values: 审批单表单内容 :param minutes_summary: 会议纪要摘要用于审批单标题或备注 :return: 审批实例ID token self._get_access_token() url fhttps://oapi.dingtalk.com/topapi/processinstance/create?access_token{token} # 构建请求体将会议纪要内容填入审批单的对应字段 payload { process_code: process_code, originator_user_id: originator_user_id, dept_id: -1, # 根据实际情况填写 approvers: manager_user_id1,manager_user_id2, # 审批人 form_component_values: form_component_values [ { name: 会议纪要内容, value: json.dumps(minutes_summary, ensure_asciiFalse) # 将整个JSON作为内容存入 }, { name: 纪要摘要, value: f【自动生成】{minutes_summary.get(meeting_topic, 会议)}纪要 } ] } resp requests.post(url, jsonpayload) result resp.json() if result.get(errcode) 0: print(f会议纪要审批单创建成功实例ID: {result.get(process_instance_id)}) return result.get(process_instance_id) else: print(f创建审批单失败: {result}) return None4.2 组装自动化流水线现在我们将图片解析和OA集成两部分连接起来形成一个完整的自动化工作流。def automated_meeting_minutes_pipeline(image_folder_path, oa_integrator, process_code, originator_id): 自动化会议纪要处理流水线 1. 扫描文件夹中的图片 2. 调用模型解析 3. 推送至OA系统 import os # 1. 收集图片 supported_ext [.jpg, .jpeg, .png, .bmp] image_files [os.path.join(image_folder_path, f) for f in os.listdir(image_folder_path) if os.path.splitext(f)[1].lower() in supported_ext] if not image_files: print(指定文件夹中未找到支持的图片文件。) return print(f找到 {len(image_files)} 张待处理图片。) # 2. 解析图片生成纪要 parser MeetingMinutesParser() print(正在调用Qwen2.5-VL模型解析会议内容...) structured_minutes parser.extract_structured_minutes(image_files) if error in structured_minutes: print(f解析失败: {structured_minutes[error]}) return print(会议纪要解析成功) # 3. 准备OA系统表单数据 (示例字段需根据实际审批模板调整) form_values [ {name: 会议主题, value: structured_minutes.get(meeting_topic, 未识别)}, {name: 会议日期, value: structured_minutes.get(date, 未识别)}, # 可以继续添加其他字段... ] # 4. 调用OA接口创建审批单进行归档 print(正在向OA系统提交会议纪要审批单...) instance_id oa_integrator.create_approval_instance( process_codeprocess_code, originator_user_idoriginator_id, form_component_valuesform_values, minutes_summarystructured_minutes ) if instance_id: print(✅ 会议纪要已成功提交至OA系统进入归档审批流程) # 可选将原始图片和生成的JSON文件也备份到指定位置 backup_data(structured_minutes, image_files) else: print(❌ OA系统归档失败。) def backup_data(minutes_json, image_paths): 备份生成的纪要数据和原始图片 import shutil import os timestamp time.strftime(%Y%m%d_%H%M%S) backup_dir f./meeting_backup_{timestamp} os.makedirs(backup_dir, exist_okTrue) # 保存JSON with open(os.path.join(backup_dir, minutes.json), w, encodingutf-8) as f: json.dump(minutes_json, f, indent2, ensure_asciiFalse) # 复制图片 for img_path in image_paths: shutil.copy2(img_path, backup_dir) print(f数据已备份至: {backup_dir}) # 主程序入口 if __name__ __main__: # 配置OA集成参数需从企业钉钉管理后台获取 dingtalk_config { app_key: YOUR_APP_KEY, app_secret: YOUR_APP_SECRET, agent_id: YOUR_AGENT_ID } oa_integrator DingTalkOAIntegrator(**dingtalk_config) # 指定存放会议图片的文件夹 meeting_images_folder ./meeting_photos_20231027 # 指定审批流程模板CODE和发起人 approval_process_code PROC-XXXXXX-YYYY-ZZZZ # 实际的审批模板CODE originator_user_id manager123 # 发起人工号 # 运行自动化流水线 automated_meeting_minutes_pipeline( meeting_images_folder, oa_integrator, approval_process_code, originator_user_id )运行这个脚本整个从图片到OA归档的流程就自动完成了。行政人员只需要将会议照片放入指定文件夹剩下的工作全部由系统接管。5. 总结与展望通过本文的实践我们完成了一个从技术验证到业务集成的完整闭环。回顾一下核心步骤快速部署利用预置镜像或脚本一键启动Qwen2.5-VL-7B-Instruct模型服务为应用提供强大的多模态理解能力。能力解析编写Python客户端通过设计有效的提示词引导模型从会议图片中提取关键信息并输出结构化的JSON数据这是智能化的核心。系统集成根据企业OA系统如钉钉的开放API将生成的会议纪要数据自动填入审批单或直接存入知识库打通了信息流最后一公里。这个方案的价值是显而易见的它将员工从繁琐、重复的信息整理工作中解放出来提升了知识沉淀的效率和准确性。生成的数字化纪要支持全文检索让历史会议中的每一个灵感、每一项决策都变得可追溯、可复用。当然这只是一个起点。你可以在此基础上进行更多优化多图关联分析让模型综合多张图片如白板、PPT、参会人名单的信息生成更全面的纪要。流程定制根据不同会议类型如项目评审、头脑风暴、周会设计不同的解析和归档模板。结果校验与人工审核在完全自动化之前可以加入一个“人工确认”环节确保关键信息无误。扩展至其他场景同样的技术框架可以轻松迁移到合同票据识别归档、工单现场照片解析、培训材料自动摘要等众多企业办公场景。Qwen2.5-VL-7B-Instruct等开源多模态模型的出现极大地降低了企业部署私有化、定制化AI应用的门槛。希望本文能为你打开一扇门将前沿的AI能力转化为实实在在的生产力工具。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
