Ostrakon-VL-8B与微信小程序结合开发扫码识菜应用你有没有过这样的经历在餐厅里面对一本厚厚的菜单看着那些精美的菜品图片却不知道这道菜具体是什么食材做的有没有自己过敏的成分或者口味到底怎么样。传统的菜单信息有限全靠服务员介绍或者自己猜。现在我们可以用技术来解决这个问题。今天我就来分享一个实战项目如何把强大的多模态大模型Ostrakon-VL-8B和几乎人人都在用的微信小程序结合起来打造一个“扫码识菜”的智能应用。用户只需要用小程序扫一扫菜单上的图片或者二维码就能立刻看到这道菜的详细图文介绍、潜在的过敏原信息甚至其他用户的真实评价。听起来是不是很酷接下来我就带你一步步实现它。1. 为什么需要“扫码识菜”在深入技术细节之前我们先聊聊这个应用到底能解决什么实际问题。对于普通食客来说点菜常常是个“盲盒”。图片拍得再好看也可能和实物有差距菜名起得再文艺也可能隐藏着你不喜欢的食材。特别是对于有食物过敏、特殊饮食要求如素食、低糖的人群每次点菜都像是一次小心翼翼的冒险。对于餐厅而言这也是一种提升体验和服务效率的方式。服务员不需要反复解释每道菜的配料后厨也能减少因顾客不了解菜品而产生的退换菜情况。通过这个小程序餐厅可以把每道菜的故事、用料、特色更生动地展示出来。而Ostrakon-VL-8B这类视觉语言大模型正是实现这个想法的核心。它不仅能“看懂”图片里的菜是什么还能结合庞大的知识库“说出”这道菜的原料、做法、甚至文化背景。我们把它的能力封装成服务再通过微信小程序这个超级入口提供给用户一个实用的智能点餐助手就诞生了。2. 整体架构设计从前端扫一扫到后端AI分析要把想法落地需要一个清晰的架构。我们的系统主要分为三大部分微信小程序前端、后端API服务、以及Ostrakon-VL-8B模型服务。微信小程序前端这是用户直接接触的界面。核心功能就两件事调用手机摄像头扫描菜品图片或二维码然后把拍到的图片上传到我们的服务器最后把服务器返回的菜品信息漂亮地展示出来。这里会涉及到小程序的相机组件、图片上传API和前端页面渲染。后端API服务这是我们的大脑和调度中心。它需要做几件关键事接收小程序上传的图片对图片进行一些预处理比如调整大小、格式调用Ostrakon-VL-8B的API来分析图片从我们自己的数据库里查询这道菜的补充信息比如餐厅设定的描述、价格、用户评价最后把所有信息打包成一个JSON格式的数据包回传给小程序。我们通常会用Python的FastAPI或Flask框架来快速搭建这个服务。Ostrakon-VL-8B模型服务这是我们的“火眼金睛”。我们需要将Ostrakon-VL-8B模型部署在一台有GPU的服务器上并提供一个供后端调用的API接口。这个接口接收图片输出对图片内容的文字描述和分析。为了让它更懂“菜”我们可能还需要用一些菜品图片和描述数据对它进行微调或者设计更精准的提示词Prompt。整个流程就像一条流水线小程序扫码 - 图片传到后端 - 后端调用AI模型识图 - 后端整合数据 - 数据返回小程序展示。接下来我们分别看看每个部分怎么实现。3. 后端核心封装Ostrakon-VL-8B的API服务首先我们要让Ostrakon-VL-8B能够被远程调用。假设你已经在一台Linux服务器上部署好了Ostrakon-VL-8B的推理服务它可能在本地http://localhost:8000提供了一个/v1/chat/completions类似的接口。我们的后端API服务第一个任务就是和这个模型接口对话。下面是一个用Python和FastAPI编写的简单示例它提供了一个/analyze-dish接口给小程序调用。from fastapi import FastAPI, File, UploadFile, HTTPException from pydantic import BaseModel import requests import json from PIL import Image import io import base64 app FastAPI(title扫码识菜后端API) # 配置Ostrakon-VL-8B模型服务的地址 OSTRAKON_API_URL http://localhost:8000/v1/chat/completions class DishAnalysisRequest(BaseModel): 可选的附加请求参数比如餐厅ID restaurant_id: str None class DishAnalysisResponse(BaseModel): 返回给小程序的数据结构 dish_name: str description: str ingredients: list potential_allergens: list estimated_calories: str # ... 其他字段如价格、评价等可从自有数据库获取 def call_ostrakon_vl_api(image_base64: str) - dict: 调用Ostrakon-VL-8B模型的API headers {Content-Type: application/json} # 精心设计的提示词引导模型专注于菜品分析 prompt 你是一个资深美食家和营养师。请详细分析这张菜品图片 1. 识别出这道菜最可能的名称。 2. 描述它的外观、主要食材和可能的烹饪方式。 3. 列出所有可能存在的常见过敏原如花生、海鲜、麸质等。 4. 估算其大致热量范围如低/中/高或300-400千卡。 请以JSON格式回复包含字段dish_name, description, ingredients, potential_allergens, estimated_calories。 payload { model: ostrakon-vl-8b, messages: [ { role: user, content: [ {type: text, text: prompt}, { type: image_url, image_url: {url: fdata:image/jpeg;base64,{image_base64}} } ] } ], max_tokens: 500 } try: response requests.post(OSTRAKON_API_URL, headersheaders, datajson.dumps(payload), timeout30) response.raise_for_status() result response.json() # 解析模型返回的文本这里假设返回的content是合法的JSON字符串 analysis_text result[choices][0][message][content] return json.loads(analysis_text) except requests.exceptions.RequestException as e: raise HTTPException(status_code503, detailfAI模型服务调用失败: {e}) except (KeyError, json.JSONDecodeError) as e: raise HTTPException(status_code500, detailf解析AI模型返回结果失败: {e}) app.post(/api/analyze-dish, response_modelDishAnalysisResponse) async def analyze_dish( file: UploadFile File(...), request_data: DishAnalysisRequest None ): 核心接口接收菜品图片返回分析结果。 # 1. 读取并验证图片 if not file.content_type.startswith(image/): raise HTTPException(status_code400, detail请上传图片文件) image_data await file.read() try: img Image.open(io.BytesIO(image_data)) # 可选调整图片大小以节省带宽和AI处理时间 img.thumbnail((512, 512)) buffered io.BytesIO() img.save(buffered, formatJPEG) image_base64 base64.b64encode(buffered.getvalue()).decode(utf-8) except Exception as e: raise HTTPException(status_code400, detailf图片处理失败: {e}) # 2. 调用AI模型进行识别 ai_analysis call_ostrakon_vl_api(image_base64) # 3. 可选结合自有数据库查询补充信息 # 例如根据 request_data.restaurant_id 和 ai_analysis[dish_name] 去数据库查询价格、评分等 # supplement_info query_database(ai_analysis[dish_name], request_data.restaurant_id) # 4. 整合AI结果和数据库结果返回最终响应 response DishAnalysisResponse( dish_nameai_analysis.get(dish_name, 未知菜品), descriptionai_analysis.get(description, ), ingredientsai_analysis.get(ingredients, []), potential_allergensai_analysis.get(potential_allergens, []), estimated_caloriesai_analysis.get(estimated_calories, 未知), # ... 合并 supplement_info 中的字段 ) return response这个后端服务做了几件关键事接收图片、调用AI、返回结构化的数据。你可以看到我们通过设计特定的提示词Prompt来引导Ostrakon-VL-8B输出我们想要的、格式固定的菜品信息。这是用好大模型的一个小技巧。4. 微信小程序开发实现扫码与信息展示后端准备好了现在我们来打造用户手中的武器——微信小程序。小程序开发主要使用微信官方的开发工具和JavaScript/JSON/WXML/WXSS这套技术栈。第一步项目基础与权限配置创建一个新的小程序项目后首先要在app.json里声明我们需要的权限主要是相机和网络请求。{ pages: [pages/index/index, pages/result/result], window: { navigationBarTitleText: 智能识菜 }, permission: { scope.camera: { desc: 用于扫描菜单上的菜品图片 } } }第二步主页面扫描页开发主页面index.wxml很简单就是一个相机界面和一个按钮。!-- pages/index/index.wxml -- view classcontainer camera device-positionback flashoff binderrorerror stylewidth: 100%; height: 70vh;/camera view classscan-area !-- 这里可以画一个扫描框的UI -- /view button classscan-btn bindtaptakePhoto拍摄并识别/button text classtip请将菜品图片置于框内拍摄或扫描菜单上的二维码/text /view对应的index.js逻辑是处理拍摄动作并将图片上传到我们的后端。// pages/index/index.js Page({ takePhoto() { const ctx wx.createCameraContext(this); ctx.takePhoto({ quality: high, success: (res) { // 获取临时图片路径 const tempImagePath res.tempImagePath; wx.showLoading({ title: 识别中... }); // 上传图片到我们的后端API wx.uploadFile({ url: https://your-backend-domain.com/api/analyze-dish, // 替换为你的后端地址 filePath: tempImagePath, name: file, success: (uploadRes) { wx.hideLoading(); const analysisResult JSON.parse(uploadRes.data); // 跳转到结果页并传递数据 wx.navigateTo({ url: /pages/result/result?data${encodeURIComponent(JSON.stringify(analysisResult))} }); }, fail: (err) { wx.hideLoading(); wx.showToast({ title: 识别失败请重试, icon: none }); console.error(上传失败:, err); } }); }, fail: (err) { console.error(拍照失败:, err); } }); } });第三步结果展示页开发结果页result.wxml负责把后端返回的JSON数据美观地展示出来。!-- pages/result/result.wxml -- view classcontainer view classdish-card view classdish-name{{dishInfo.dish_name}}/view view classsection text classsection-title菜品描述/text text classsection-content{{dishInfo.description}}/text /view view classsection text classsection-title主要食材/text view classtag-list text wx:for{{dishInfo.ingredients}} wx:keyindex classtag{{item}}/text /view /view view classsection text classsection-title过敏原提示/text view classtag-list text wx:for{{dishInfo.potential_allergens}} wx:keyindex classtag allergen{{item}}/text /view text wx:if{{dishInfo.potential_allergens.length 0}} classno-allergen未识别到常见过敏原/text /view view classsection text classsection-title热量估算/text text classcalories{{dishInfo.estimated_calories}}/text /view !-- 这里可以继续展示从数据库查到的价格、评分等信息 -- /view button classback-btn bindtapgoBack再识一道菜/button /view这样一个具备基本扫码、识别、展示功能的小程序前端就完成了。当然实际的UI可以设计得更加精美比如加入拍摄时的对焦动画、结果页的菜品图片展示等。5. 关键实战API接口设计与安全认证把服务开放到公网安全是头等大事。我们不能让任何人都可以随意调用我们的AI服务那会造成资源滥用和安全风险。1. 接口安全认证以微信小程序为例微信小程序天然有一个好的身份标识——用户的openid。我们可以利用微信的登录能力来间接认证请求。小程序端调用wx.login()获取code发送到你的后端。后端用这个code加上你的小程序appid和secret去微信服务器换取session_key和openid。生成自定义令牌后端可以用openid生成一个自定义的令牌Token比如JWT返回给小程序。后续请求小程序在调用/api/analyze-dish等接口时在HTTP Header中携带这个Token如Authorization: Bearer your_token。后端验证你的后端API在处理请求前先验证Token的有效性从而确保请求来自合法的小程序用户。2. 频率限制与防刷为了防止恶意用户高频调用消耗你的AI算力必须加限流。基于用户/IP限流使用Redis等工具记录每个openid或IP地址在单位时间内的调用次数。例如限制每个用户每分钟最多调用10次。FastAPI中间件示例from fastapi import Request, HTTPException import redis import time redis_client redis.Redis(hostlocalhost, port6379, db0) async def rate_limit_middleware(request: Request, call_next): user_id get_user_id_from_token(request) # 从Token中提取用户ID key frate_limit:{user_id} current redis_client.get(key) if current and int(current) 10: # 限制10次/分钟 raise HTTPException(status_code429, detail请求过于频繁请稍后再试) # 增加计数并设置1分钟过期 pipe redis_client.pipeline() pipe.incr(key) pipe.expire(key, 60) pipe.execute() response await call_next(request) return response然后在FastAPI app中挂载这个中间件即可。3. 数据安全与隐私图片脱敏虽然我们传的是菜品图片但也要防止意外拍到的二维码、人脸等敏感信息。可以在后端对图片进行简单的区域检测和模糊处理虽然本项目需求不强但好习惯要保持。HTTPS务必为你的后端服务配置SSL证书确保小程序与后端之间的所有通信都是加密的。输入校验严格校验小程序上传的文件类型、大小防止恶意文件上传攻击。6. 效果展示与优化思路当你把前后端都跑通第一次用小程序扫描一盘菜时那种感觉是很奇妙的。屏幕上不仅显示出菜名“宫保鸡丁”还列出了“鸡丁、花生、干辣椒、葱段”等食材提示了“花生”是常见过敏原并给出了“中高热量”的估算。这比干巴巴的菜单信息丰富多了。当然第一个版本肯定有不足。Ostrakon-VL-8B可能会把“鱼香肉丝”识别成“京酱肉丝”或者无法识别非常地方化的特色菜。这就需要我们持续优化模型微调收集一批带有正确标签的菜品图片对Ostrakon-VL-8B进行轻量级的微调LoRA让它更擅长识别特定菜系。提示词工程不断优化我们传给模型的提示词。比如加入“如果你不确定请列出最可能的2-3个选项”这样的指令让结果更可靠。结合结构化数据AI识别出的菜名可以去对接一个专业的食物营养数据库API获取更精确的营养成分、过敏原信息而不是完全依赖模型生成。小程序体验优化增加历史识别记录、收藏菜品、分享结果到好友等功能让小程序粘性更强。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Ostrakon-VL-8B与微信小程序结合：开发扫码识菜应用
Ostrakon-VL-8B与微信小程序结合开发扫码识菜应用你有没有过这样的经历在餐厅里面对一本厚厚的菜单看着那些精美的菜品图片却不知道这道菜具体是什么食材做的有没有自己过敏的成分或者口味到底怎么样。传统的菜单信息有限全靠服务员介绍或者自己猜。现在我们可以用技术来解决这个问题。今天我就来分享一个实战项目如何把强大的多模态大模型Ostrakon-VL-8B和几乎人人都在用的微信小程序结合起来打造一个“扫码识菜”的智能应用。用户只需要用小程序扫一扫菜单上的图片或者二维码就能立刻看到这道菜的详细图文介绍、潜在的过敏原信息甚至其他用户的真实评价。听起来是不是很酷接下来我就带你一步步实现它。1. 为什么需要“扫码识菜”在深入技术细节之前我们先聊聊这个应用到底能解决什么实际问题。对于普通食客来说点菜常常是个“盲盒”。图片拍得再好看也可能和实物有差距菜名起得再文艺也可能隐藏着你不喜欢的食材。特别是对于有食物过敏、特殊饮食要求如素食、低糖的人群每次点菜都像是一次小心翼翼的冒险。对于餐厅而言这也是一种提升体验和服务效率的方式。服务员不需要反复解释每道菜的配料后厨也能减少因顾客不了解菜品而产生的退换菜情况。通过这个小程序餐厅可以把每道菜的故事、用料、特色更生动地展示出来。而Ostrakon-VL-8B这类视觉语言大模型正是实现这个想法的核心。它不仅能“看懂”图片里的菜是什么还能结合庞大的知识库“说出”这道菜的原料、做法、甚至文化背景。我们把它的能力封装成服务再通过微信小程序这个超级入口提供给用户一个实用的智能点餐助手就诞生了。2. 整体架构设计从前端扫一扫到后端AI分析要把想法落地需要一个清晰的架构。我们的系统主要分为三大部分微信小程序前端、后端API服务、以及Ostrakon-VL-8B模型服务。微信小程序前端这是用户直接接触的界面。核心功能就两件事调用手机摄像头扫描菜品图片或二维码然后把拍到的图片上传到我们的服务器最后把服务器返回的菜品信息漂亮地展示出来。这里会涉及到小程序的相机组件、图片上传API和前端页面渲染。后端API服务这是我们的大脑和调度中心。它需要做几件关键事接收小程序上传的图片对图片进行一些预处理比如调整大小、格式调用Ostrakon-VL-8B的API来分析图片从我们自己的数据库里查询这道菜的补充信息比如餐厅设定的描述、价格、用户评价最后把所有信息打包成一个JSON格式的数据包回传给小程序。我们通常会用Python的FastAPI或Flask框架来快速搭建这个服务。Ostrakon-VL-8B模型服务这是我们的“火眼金睛”。我们需要将Ostrakon-VL-8B模型部署在一台有GPU的服务器上并提供一个供后端调用的API接口。这个接口接收图片输出对图片内容的文字描述和分析。为了让它更懂“菜”我们可能还需要用一些菜品图片和描述数据对它进行微调或者设计更精准的提示词Prompt。整个流程就像一条流水线小程序扫码 - 图片传到后端 - 后端调用AI模型识图 - 后端整合数据 - 数据返回小程序展示。接下来我们分别看看每个部分怎么实现。3. 后端核心封装Ostrakon-VL-8B的API服务首先我们要让Ostrakon-VL-8B能够被远程调用。假设你已经在一台Linux服务器上部署好了Ostrakon-VL-8B的推理服务它可能在本地http://localhost:8000提供了一个/v1/chat/completions类似的接口。我们的后端API服务第一个任务就是和这个模型接口对话。下面是一个用Python和FastAPI编写的简单示例它提供了一个/analyze-dish接口给小程序调用。from fastapi import FastAPI, File, UploadFile, HTTPException from pydantic import BaseModel import requests import json from PIL import Image import io import base64 app FastAPI(title扫码识菜后端API) # 配置Ostrakon-VL-8B模型服务的地址 OSTRAKON_API_URL http://localhost:8000/v1/chat/completions class DishAnalysisRequest(BaseModel): 可选的附加请求参数比如餐厅ID restaurant_id: str None class DishAnalysisResponse(BaseModel): 返回给小程序的数据结构 dish_name: str description: str ingredients: list potential_allergens: list estimated_calories: str # ... 其他字段如价格、评价等可从自有数据库获取 def call_ostrakon_vl_api(image_base64: str) - dict: 调用Ostrakon-VL-8B模型的API headers {Content-Type: application/json} # 精心设计的提示词引导模型专注于菜品分析 prompt 你是一个资深美食家和营养师。请详细分析这张菜品图片 1. 识别出这道菜最可能的名称。 2. 描述它的外观、主要食材和可能的烹饪方式。 3. 列出所有可能存在的常见过敏原如花生、海鲜、麸质等。 4. 估算其大致热量范围如低/中/高或300-400千卡。 请以JSON格式回复包含字段dish_name, description, ingredients, potential_allergens, estimated_calories。 payload { model: ostrakon-vl-8b, messages: [ { role: user, content: [ {type: text, text: prompt}, { type: image_url, image_url: {url: fdata:image/jpeg;base64,{image_base64}} } ] } ], max_tokens: 500 } try: response requests.post(OSTRAKON_API_URL, headersheaders, datajson.dumps(payload), timeout30) response.raise_for_status() result response.json() # 解析模型返回的文本这里假设返回的content是合法的JSON字符串 analysis_text result[choices][0][message][content] return json.loads(analysis_text) except requests.exceptions.RequestException as e: raise HTTPException(status_code503, detailfAI模型服务调用失败: {e}) except (KeyError, json.JSONDecodeError) as e: raise HTTPException(status_code500, detailf解析AI模型返回结果失败: {e}) app.post(/api/analyze-dish, response_modelDishAnalysisResponse) async def analyze_dish( file: UploadFile File(...), request_data: DishAnalysisRequest None ): 核心接口接收菜品图片返回分析结果。 # 1. 读取并验证图片 if not file.content_type.startswith(image/): raise HTTPException(status_code400, detail请上传图片文件) image_data await file.read() try: img Image.open(io.BytesIO(image_data)) # 可选调整图片大小以节省带宽和AI处理时间 img.thumbnail((512, 512)) buffered io.BytesIO() img.save(buffered, formatJPEG) image_base64 base64.b64encode(buffered.getvalue()).decode(utf-8) except Exception as e: raise HTTPException(status_code400, detailf图片处理失败: {e}) # 2. 调用AI模型进行识别 ai_analysis call_ostrakon_vl_api(image_base64) # 3. 可选结合自有数据库查询补充信息 # 例如根据 request_data.restaurant_id 和 ai_analysis[dish_name] 去数据库查询价格、评分等 # supplement_info query_database(ai_analysis[dish_name], request_data.restaurant_id) # 4. 整合AI结果和数据库结果返回最终响应 response DishAnalysisResponse( dish_nameai_analysis.get(dish_name, 未知菜品), descriptionai_analysis.get(description, ), ingredientsai_analysis.get(ingredients, []), potential_allergensai_analysis.get(potential_allergens, []), estimated_caloriesai_analysis.get(estimated_calories, 未知), # ... 合并 supplement_info 中的字段 ) return response这个后端服务做了几件关键事接收图片、调用AI、返回结构化的数据。你可以看到我们通过设计特定的提示词Prompt来引导Ostrakon-VL-8B输出我们想要的、格式固定的菜品信息。这是用好大模型的一个小技巧。4. 微信小程序开发实现扫码与信息展示后端准备好了现在我们来打造用户手中的武器——微信小程序。小程序开发主要使用微信官方的开发工具和JavaScript/JSON/WXML/WXSS这套技术栈。第一步项目基础与权限配置创建一个新的小程序项目后首先要在app.json里声明我们需要的权限主要是相机和网络请求。{ pages: [pages/index/index, pages/result/result], window: { navigationBarTitleText: 智能识菜 }, permission: { scope.camera: { desc: 用于扫描菜单上的菜品图片 } } }第二步主页面扫描页开发主页面index.wxml很简单就是一个相机界面和一个按钮。!-- pages/index/index.wxml -- view classcontainer camera device-positionback flashoff binderrorerror stylewidth: 100%; height: 70vh;/camera view classscan-area !-- 这里可以画一个扫描框的UI -- /view button classscan-btn bindtaptakePhoto拍摄并识别/button text classtip请将菜品图片置于框内拍摄或扫描菜单上的二维码/text /view对应的index.js逻辑是处理拍摄动作并将图片上传到我们的后端。// pages/index/index.js Page({ takePhoto() { const ctx wx.createCameraContext(this); ctx.takePhoto({ quality: high, success: (res) { // 获取临时图片路径 const tempImagePath res.tempImagePath; wx.showLoading({ title: 识别中... }); // 上传图片到我们的后端API wx.uploadFile({ url: https://your-backend-domain.com/api/analyze-dish, // 替换为你的后端地址 filePath: tempImagePath, name: file, success: (uploadRes) { wx.hideLoading(); const analysisResult JSON.parse(uploadRes.data); // 跳转到结果页并传递数据 wx.navigateTo({ url: /pages/result/result?data${encodeURIComponent(JSON.stringify(analysisResult))} }); }, fail: (err) { wx.hideLoading(); wx.showToast({ title: 识别失败请重试, icon: none }); console.error(上传失败:, err); } }); }, fail: (err) { console.error(拍照失败:, err); } }); } });第三步结果展示页开发结果页result.wxml负责把后端返回的JSON数据美观地展示出来。!-- pages/result/result.wxml -- view classcontainer view classdish-card view classdish-name{{dishInfo.dish_name}}/view view classsection text classsection-title菜品描述/text text classsection-content{{dishInfo.description}}/text /view view classsection text classsection-title主要食材/text view classtag-list text wx:for{{dishInfo.ingredients}} wx:keyindex classtag{{item}}/text /view /view view classsection text classsection-title过敏原提示/text view classtag-list text wx:for{{dishInfo.potential_allergens}} wx:keyindex classtag allergen{{item}}/text /view text wx:if{{dishInfo.potential_allergens.length 0}} classno-allergen未识别到常见过敏原/text /view view classsection text classsection-title热量估算/text text classcalories{{dishInfo.estimated_calories}}/text /view !-- 这里可以继续展示从数据库查到的价格、评分等信息 -- /view button classback-btn bindtapgoBack再识一道菜/button /view这样一个具备基本扫码、识别、展示功能的小程序前端就完成了。当然实际的UI可以设计得更加精美比如加入拍摄时的对焦动画、结果页的菜品图片展示等。5. 关键实战API接口设计与安全认证把服务开放到公网安全是头等大事。我们不能让任何人都可以随意调用我们的AI服务那会造成资源滥用和安全风险。1. 接口安全认证以微信小程序为例微信小程序天然有一个好的身份标识——用户的openid。我们可以利用微信的登录能力来间接认证请求。小程序端调用wx.login()获取code发送到你的后端。后端用这个code加上你的小程序appid和secret去微信服务器换取session_key和openid。生成自定义令牌后端可以用openid生成一个自定义的令牌Token比如JWT返回给小程序。后续请求小程序在调用/api/analyze-dish等接口时在HTTP Header中携带这个Token如Authorization: Bearer your_token。后端验证你的后端API在处理请求前先验证Token的有效性从而确保请求来自合法的小程序用户。2. 频率限制与防刷为了防止恶意用户高频调用消耗你的AI算力必须加限流。基于用户/IP限流使用Redis等工具记录每个openid或IP地址在单位时间内的调用次数。例如限制每个用户每分钟最多调用10次。FastAPI中间件示例from fastapi import Request, HTTPException import redis import time redis_client redis.Redis(hostlocalhost, port6379, db0) async def rate_limit_middleware(request: Request, call_next): user_id get_user_id_from_token(request) # 从Token中提取用户ID key frate_limit:{user_id} current redis_client.get(key) if current and int(current) 10: # 限制10次/分钟 raise HTTPException(status_code429, detail请求过于频繁请稍后再试) # 增加计数并设置1分钟过期 pipe redis_client.pipeline() pipe.incr(key) pipe.expire(key, 60) pipe.execute() response await call_next(request) return response然后在FastAPI app中挂载这个中间件即可。3. 数据安全与隐私图片脱敏虽然我们传的是菜品图片但也要防止意外拍到的二维码、人脸等敏感信息。可以在后端对图片进行简单的区域检测和模糊处理虽然本项目需求不强但好习惯要保持。HTTPS务必为你的后端服务配置SSL证书确保小程序与后端之间的所有通信都是加密的。输入校验严格校验小程序上传的文件类型、大小防止恶意文件上传攻击。6. 效果展示与优化思路当你把前后端都跑通第一次用小程序扫描一盘菜时那种感觉是很奇妙的。屏幕上不仅显示出菜名“宫保鸡丁”还列出了“鸡丁、花生、干辣椒、葱段”等食材提示了“花生”是常见过敏原并给出了“中高热量”的估算。这比干巴巴的菜单信息丰富多了。当然第一个版本肯定有不足。Ostrakon-VL-8B可能会把“鱼香肉丝”识别成“京酱肉丝”或者无法识别非常地方化的特色菜。这就需要我们持续优化模型微调收集一批带有正确标签的菜品图片对Ostrakon-VL-8B进行轻量级的微调LoRA让它更擅长识别特定菜系。提示词工程不断优化我们传给模型的提示词。比如加入“如果你不确定请列出最可能的2-3个选项”这样的指令让结果更可靠。结合结构化数据AI识别出的菜名可以去对接一个专业的食物营养数据库API获取更精确的营养成分、过敏原信息而不是完全依赖模型生成。小程序体验优化增加历史识别记录、收藏菜品、分享结果到好友等功能让小程序粘性更强。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
