大模型实战专家—周红伟 法国科学院数据算法博士/前里人工智能专家/马上金融风控负责人课程背景FDE前沿部署工程师。FDE站在模型和业务的交界线上做的事包括把模型部署到异构硬件上、把推理延迟压到业务可接受的范围、在客户私有环境里搞定国产化适配、在半夜告警时第一时间定位是模型问题还是系统问题、在成本失控前把Token消耗降下来。课程收益掌握从业务访谈到BRD文档输出的完整需求提炼方法能独立完成AI项目的可行性评估和功能范围锁定建立FDE全栈能力框架的认知地图明确前后端开发、API集成、系统架构的工程基线标准学会MVP定义与裁剪原则能在有限时间和资源下交付能让用户走通核心闭环的最小功能集掌握性能剖析工具和优化路径能定位并解决大模型应用中的延迟、吞吐、资源利用率瓶颈搭建可观测性三支柱体系能配置日志、指标监控、链路追踪和分级告警规则理解AI交付的特殊挑战应对方法包括非确定性输出管理、模型版本回滚、安全合规加固培训时长2天课程大纲第一天 FDE应用企业业务需求提炼与方案设计第一部分 业务调研与问题定义1.1业务调研方法1.1.1干系人访谈框架业务方、技术方、管理层三视角的需求采集1.1.2 业务流程拆解用泳道图梳理“谁在什么时候做什么”的全链路1.1.3 痛点量化方法将“效率低、成本高”转化为可测量的基线指标1.2 AI适用性判断1.2.1任务类型映射分类、生成、检索、推理四类任务与业务场景的匹配1.2.2 可行性评估矩阵数据可得性、容错容忍度、ROI预期的三维打分1.2.3 不做AI的决策边界规则引擎更合适、数据量不足、合规不通过的判定标准1.3业务需求文档输出1.3.1 BRD业务需求文档结构背景、目标、范围、验收标准的编写模板1.3.2 需求优先级排序用MoSCoW法划分Must/Should/Could/Wont1.3.3 案例某零售企业智能选品需求的从访谈到文档的完整过程第二部分 FDE全栈能力框架2.1 FDE角色定义与技能矩阵2.1.1 FDE与MLE、SDE的职责边界模型能力封装、系统集成、交付运维2.1.2 核心技能栈Python/TypeScript、API设计、容器化、Prompt工程2.1.3 能力自评表从L1到L4的成长路径与关键项目经验对标2.2前后端开发基础2.2.1 FastAPI后端骨架路由、中间件、依赖注入的快速搭建2.2.2 React/Vue前端骨架状态管理、组件通信、与后端API的联调2.2.3 全栈调试工作流前后端断点联调、请求抓包、日志追踪2.3 API集成与编排2.3.1 RESTful API设计规范资源命名、状态码、分页与错误格式的统一2.3.2 第三方服务集成大模型API、向量数据库、搜索引擎的多服务串联2.3.3 异步任务编排Celery任务队列与状态回调的完整实现第三部分 场景提炼与MVP定义3.1从业务需求到功能拆解3.1.1用户故事地图将BRD展开为用户任务→功能点→开发任务的层级3.1.2 功能依赖分析识别哪些功能可并行开发哪些有先后依赖3.1.3 裁剪原则第一个版本只做能让用户走通核心闭环的最小功能集3.2 MVP范围锁定3.2.1 MVP画布核心假设、验证指标、目标用户、功能范围的单页总览3.2.2 时间盒规划2周或4周内可交付的冲刺周期拆分3.2.3 风险预案模型不准的兜底规则、API超时的降级体验、数据缺失的补位策略3.3案例智能客服MVP提炼3.3.1业务基线当前人工客服的接起率、响应时长、满意度数据3.3.2 MVP功能FAQ自动应答、意图识别转人工、会话记录摘要3.3.3 验收标准自动应答覆盖率≥60%、转人工准确率≥85%第四部分 方案设计与技术选型4.1系统架构设计4.1.1 C4模型实践系统上下文图、容器图、组件图、代码图的逐级绘制4.1.2 非功能需求设计响应时间、并发量、可用性的指标拆解与架构对策4.1.3 安全架构前置认证鉴权、数据加密、审计日志的初始设计4.2技术选型决策4.2.1模型层选型云端API vs 私有化部署 vs 端侧推理的对比框架4.2.2 中间件选型向量数据库选型对比与消息队列的场景适配4.2.3 前端框架选型面向内部工具与面向C端用户的不同技术栈建议4.3方案评审与对齐4.3.1技术方案文档结构需求概述、架构设计、接口定义、部署方案、风险评估4.3.2 评审会组织业务方确认功能、架构师确认技术、运维确认部署的三方会签4.3.3 案例某制造企业设备知识库方案从设计到评审的全记录第五部分 开发交付与版本管理5.1工程化开发规范5.1.1项目结构约定monorepo组织、模块划分、配置文件管理的团队规范5.1.2 代码审查清单错误处理、安全漏洞、性能隐患的检查项5.1.3 Git工作流分支策略、Commit Message规范、PR模板的配置5.2 CI/CD流水线5.2.1 GitHub Actions/GitLab CI自动测试、代码扫描、镜像构建的流水线配置5.2.2 环境管理dev/staging/production三套环境的隔离与配置差异5.2.3 数据库迁移Alembic或Prisma的版本化迁移脚本实践5.3测试策略与自动化5.3.1测试金字塔单元测试、集成测试、端到端测试的比例分配原则5.3.2 AI输出测试模型返回的结构化校验、语义相似度断言、幻觉检测5.3.3 E2E测试实操用Playwright覆盖核心用户路径的自动化脚本第六部分 大模型前沿部署交付综合实战6.1项目启动沙盘6.1.1角色分配每人认领FDE角色并基于给定业务场景输出需求分析文档6.1.2 方案设计完成从系统架构图到接口定义再到技术选型的完整方案6.1.3 评审互评小组交叉评审方案模拟三方会签流程6.2开发冲刺模拟6.2.1 MVP功能开发基于FastAPIReact快速搭建智能问答系统的前后端骨架6.2.2 CI流水线搭建为项目配置自动测试与镜像构建的完整流水线6.2.3 演示交付向模拟业务方演示MVP功能并收集反馈第二天 FDE前沿部署性能优化、运维交付与复杂场景应对第一部分 系统性能优化1.1后端性能剖析1.1.1性能指标定义TP50/TP99延迟、QPS吞吐、资源利用率的监控埋点1.1.2 瓶颈定位工具py-spy火焰图、慢查询日志、内存profiling的实操1.1.3 常见瓶颈模式N1查询、无界缓存、同步阻塞的识别与修复1.2大模型调用优化1.2.1缓存策略精确匹配缓存、语义相似缓存、提示词前缀缓存的层级设计1.2.2 并发与批处理异步请求合并、动态批处理大小调整的实现1.2.3 流式响应对用户体验的提升首Token可见时间从3秒缩短到0.5秒的优化路径1.3前端性能与体验1.3.1首屏加载优化代码分割、懒加载、CDN策略的落地配置1.3.2 流式内容渲染SSE接收与Markdown实时解析的前端实现1.3.3 离线与弱网体验Service Worker缓存策略与骨架屏的降级方案第二部分 生产环境运维2.1可观测性三支柱2.1.1 Logging结构化日志规范、ELK/Loki日志收集与全文检索2.1.2 MetricsPrometheus指标暴露、业务指标与系统指标的分层面板2.1.3 TracingOpenTelemetry全链路追踪、跨服务的调用链可视化2.2告警与值班响应2.2.1告警分级P0紧急/P1重要/P2一般的分级标准与升级规则2.2.2 告警收敛告警聚合、静默窗口、根因告警的降噪配置2.2.3 On-call手册编写每个告警对应的排查步骤、回滚命令、联系人2.3故障应急与复盘2.3.1故障响应流程发现→止损→定位→修复→验证的五阶段SOP2.3.2 变更回滚策略代码回滚、模型回滚、数据回滚的差异化处理2.3.3 故障复盘报告时间线、根因、改进项、责任人的标准化模板第三部分 大模型交付的特殊挑战3.1 AI功能的非确定性管理3.1.1输出质量波动监控用校验规则语义相似度做异常检测3.1.2 兜底策略设计模型失败时降级到规则引擎或人工的切换开关3.1.3 A/B实验框架特性开关与流量分流的工程实现3.2模型版本管理与回滚3.2.1模型注册中心版本号命名规范、元数据管理、血缘追踪3.2.2 模型回滚机制热切换到上一版本、验证集回归测试的自动化3.2.3 Prompt版本管理将提示词纳入Git管理并绑定模型版本3.3成本管控与核算3.3.1 Token消耗实时监控按用户、按功能、按时段的用量统计面板3.3.2 成本分摊模型按业务部门或租户拆分大模型调用费用3.3.3 优化闭环基于用量数据优化Prompt长度、缓存命中、模型选型第四部分 企业级安全与合规4.1应用安全加固4.1.1 OWASP Top 10 for LLM提示注入、数据泄露、过度代理等新型风险4.1.2 输入输出安全网关有害内容检测、敏感词过滤、越狱拦截4.1.3 渗透测试针对AI应用的对抗样本测试与自动化扫描4.2数据合规落地4.2.1用户数据隔离多租户数据分库、行级安全、租户上下文注入4.2.2 数据留存与清除日志保留策略、用户数据删除的工程实现4.2.3 跨境合规数据驻留要求与模型部署地域的选择逻辑4.3安全审计与认证4.3.1操作审计日志谁、何时、调了什么模型、输入输出的完整记录4.3.2 权限最小化基于RBAC的API权限、模型权限、数据权限三层控制4.3.3 合规检查清单等保、ISO27001、SOC2对AI系统的关键要求项第五部分 复杂交付场景实战5.1私有化交付5.1.1环境适配离线安装、国产化硬件适配、GPU/NPU异构部署5.1.2 定制化开发客户特有系统对接、单点登录集成、界面白标5.1.3 验收测试功能验收、性能验收、安全验收的checklist与执行5.2多租户SaaS交付5.2.1租户模型隔离数据隔离、模型实例隔离、配额隔离的架构方案5.2.2 租户自助配置提示词模板、知识库上传、模型参数的租户级定制5.2.3 计费系统集成按调用量、按席位数、按增值功能的计费方案设计5.3混合云交付5.3.1数据面与控制面分离敏感数据留在私有云、推理请求转发公有云的架构5.3.2 跨云网络设计专线、VPN、SD-WAN的时延与带宽评估5.3.3 混合部署的监控统一跨云采集指标、聚合面板、统一告警第六部分 收官项目与课程总结6.1综合项目端到端AI业务交付演练6.1.1项目背景某金融机构智能合规审查系统的完整交付诉求6.1.2 交付任务从需求文档→方案设计→开发联调→性能压测→上线检查的全流程6.1.3 交付评审模拟客户验收会议逐项确认交付物与验收标准6.2交付物清单与交付标准6.2.1交付物清单代码仓库、部署脚本、运维手册、方案文档、测试报告6.2.2 交付质量标准功能完整度、性能达标、安全合规、文档齐全的四维判定6.2.3 项目交接流程知识转移培训、灰度过渡期、正式运维移交的时间节点
FDE大模型前沿部署业务工程提炼和大模型全栈开发部署
大模型实战专家—周红伟 法国科学院数据算法博士/前里人工智能专家/马上金融风控负责人课程背景FDE前沿部署工程师。FDE站在模型和业务的交界线上做的事包括把模型部署到异构硬件上、把推理延迟压到业务可接受的范围、在客户私有环境里搞定国产化适配、在半夜告警时第一时间定位是模型问题还是系统问题、在成本失控前把Token消耗降下来。课程收益掌握从业务访谈到BRD文档输出的完整需求提炼方法能独立完成AI项目的可行性评估和功能范围锁定建立FDE全栈能力框架的认知地图明确前后端开发、API集成、系统架构的工程基线标准学会MVP定义与裁剪原则能在有限时间和资源下交付能让用户走通核心闭环的最小功能集掌握性能剖析工具和优化路径能定位并解决大模型应用中的延迟、吞吐、资源利用率瓶颈搭建可观测性三支柱体系能配置日志、指标监控、链路追踪和分级告警规则理解AI交付的特殊挑战应对方法包括非确定性输出管理、模型版本回滚、安全合规加固培训时长2天课程大纲第一天 FDE应用企业业务需求提炼与方案设计第一部分 业务调研与问题定义1.1业务调研方法1.1.1干系人访谈框架业务方、技术方、管理层三视角的需求采集1.1.2 业务流程拆解用泳道图梳理“谁在什么时候做什么”的全链路1.1.3 痛点量化方法将“效率低、成本高”转化为可测量的基线指标1.2 AI适用性判断1.2.1任务类型映射分类、生成、检索、推理四类任务与业务场景的匹配1.2.2 可行性评估矩阵数据可得性、容错容忍度、ROI预期的三维打分1.2.3 不做AI的决策边界规则引擎更合适、数据量不足、合规不通过的判定标准1.3业务需求文档输出1.3.1 BRD业务需求文档结构背景、目标、范围、验收标准的编写模板1.3.2 需求优先级排序用MoSCoW法划分Must/Should/Could/Wont1.3.3 案例某零售企业智能选品需求的从访谈到文档的完整过程第二部分 FDE全栈能力框架2.1 FDE角色定义与技能矩阵2.1.1 FDE与MLE、SDE的职责边界模型能力封装、系统集成、交付运维2.1.2 核心技能栈Python/TypeScript、API设计、容器化、Prompt工程2.1.3 能力自评表从L1到L4的成长路径与关键项目经验对标2.2前后端开发基础2.2.1 FastAPI后端骨架路由、中间件、依赖注入的快速搭建2.2.2 React/Vue前端骨架状态管理、组件通信、与后端API的联调2.2.3 全栈调试工作流前后端断点联调、请求抓包、日志追踪2.3 API集成与编排2.3.1 RESTful API设计规范资源命名、状态码、分页与错误格式的统一2.3.2 第三方服务集成大模型API、向量数据库、搜索引擎的多服务串联2.3.3 异步任务编排Celery任务队列与状态回调的完整实现第三部分 场景提炼与MVP定义3.1从业务需求到功能拆解3.1.1用户故事地图将BRD展开为用户任务→功能点→开发任务的层级3.1.2 功能依赖分析识别哪些功能可并行开发哪些有先后依赖3.1.3 裁剪原则第一个版本只做能让用户走通核心闭环的最小功能集3.2 MVP范围锁定3.2.1 MVP画布核心假设、验证指标、目标用户、功能范围的单页总览3.2.2 时间盒规划2周或4周内可交付的冲刺周期拆分3.2.3 风险预案模型不准的兜底规则、API超时的降级体验、数据缺失的补位策略3.3案例智能客服MVP提炼3.3.1业务基线当前人工客服的接起率、响应时长、满意度数据3.3.2 MVP功能FAQ自动应答、意图识别转人工、会话记录摘要3.3.3 验收标准自动应答覆盖率≥60%、转人工准确率≥85%第四部分 方案设计与技术选型4.1系统架构设计4.1.1 C4模型实践系统上下文图、容器图、组件图、代码图的逐级绘制4.1.2 非功能需求设计响应时间、并发量、可用性的指标拆解与架构对策4.1.3 安全架构前置认证鉴权、数据加密、审计日志的初始设计4.2技术选型决策4.2.1模型层选型云端API vs 私有化部署 vs 端侧推理的对比框架4.2.2 中间件选型向量数据库选型对比与消息队列的场景适配4.2.3 前端框架选型面向内部工具与面向C端用户的不同技术栈建议4.3方案评审与对齐4.3.1技术方案文档结构需求概述、架构设计、接口定义、部署方案、风险评估4.3.2 评审会组织业务方确认功能、架构师确认技术、运维确认部署的三方会签4.3.3 案例某制造企业设备知识库方案从设计到评审的全记录第五部分 开发交付与版本管理5.1工程化开发规范5.1.1项目结构约定monorepo组织、模块划分、配置文件管理的团队规范5.1.2 代码审查清单错误处理、安全漏洞、性能隐患的检查项5.1.3 Git工作流分支策略、Commit Message规范、PR模板的配置5.2 CI/CD流水线5.2.1 GitHub Actions/GitLab CI自动测试、代码扫描、镜像构建的流水线配置5.2.2 环境管理dev/staging/production三套环境的隔离与配置差异5.2.3 数据库迁移Alembic或Prisma的版本化迁移脚本实践5.3测试策略与自动化5.3.1测试金字塔单元测试、集成测试、端到端测试的比例分配原则5.3.2 AI输出测试模型返回的结构化校验、语义相似度断言、幻觉检测5.3.3 E2E测试实操用Playwright覆盖核心用户路径的自动化脚本第六部分 大模型前沿部署交付综合实战6.1项目启动沙盘6.1.1角色分配每人认领FDE角色并基于给定业务场景输出需求分析文档6.1.2 方案设计完成从系统架构图到接口定义再到技术选型的完整方案6.1.3 评审互评小组交叉评审方案模拟三方会签流程6.2开发冲刺模拟6.2.1 MVP功能开发基于FastAPIReact快速搭建智能问答系统的前后端骨架6.2.2 CI流水线搭建为项目配置自动测试与镜像构建的完整流水线6.2.3 演示交付向模拟业务方演示MVP功能并收集反馈第二天 FDE前沿部署性能优化、运维交付与复杂场景应对第一部分 系统性能优化1.1后端性能剖析1.1.1性能指标定义TP50/TP99延迟、QPS吞吐、资源利用率的监控埋点1.1.2 瓶颈定位工具py-spy火焰图、慢查询日志、内存profiling的实操1.1.3 常见瓶颈模式N1查询、无界缓存、同步阻塞的识别与修复1.2大模型调用优化1.2.1缓存策略精确匹配缓存、语义相似缓存、提示词前缀缓存的层级设计1.2.2 并发与批处理异步请求合并、动态批处理大小调整的实现1.2.3 流式响应对用户体验的提升首Token可见时间从3秒缩短到0.5秒的优化路径1.3前端性能与体验1.3.1首屏加载优化代码分割、懒加载、CDN策略的落地配置1.3.2 流式内容渲染SSE接收与Markdown实时解析的前端实现1.3.3 离线与弱网体验Service Worker缓存策略与骨架屏的降级方案第二部分 生产环境运维2.1可观测性三支柱2.1.1 Logging结构化日志规范、ELK/Loki日志收集与全文检索2.1.2 MetricsPrometheus指标暴露、业务指标与系统指标的分层面板2.1.3 TracingOpenTelemetry全链路追踪、跨服务的调用链可视化2.2告警与值班响应2.2.1告警分级P0紧急/P1重要/P2一般的分级标准与升级规则2.2.2 告警收敛告警聚合、静默窗口、根因告警的降噪配置2.2.3 On-call手册编写每个告警对应的排查步骤、回滚命令、联系人2.3故障应急与复盘2.3.1故障响应流程发现→止损→定位→修复→验证的五阶段SOP2.3.2 变更回滚策略代码回滚、模型回滚、数据回滚的差异化处理2.3.3 故障复盘报告时间线、根因、改进项、责任人的标准化模板第三部分 大模型交付的特殊挑战3.1 AI功能的非确定性管理3.1.1输出质量波动监控用校验规则语义相似度做异常检测3.1.2 兜底策略设计模型失败时降级到规则引擎或人工的切换开关3.1.3 A/B实验框架特性开关与流量分流的工程实现3.2模型版本管理与回滚3.2.1模型注册中心版本号命名规范、元数据管理、血缘追踪3.2.2 模型回滚机制热切换到上一版本、验证集回归测试的自动化3.2.3 Prompt版本管理将提示词纳入Git管理并绑定模型版本3.3成本管控与核算3.3.1 Token消耗实时监控按用户、按功能、按时段的用量统计面板3.3.2 成本分摊模型按业务部门或租户拆分大模型调用费用3.3.3 优化闭环基于用量数据优化Prompt长度、缓存命中、模型选型第四部分 企业级安全与合规4.1应用安全加固4.1.1 OWASP Top 10 for LLM提示注入、数据泄露、过度代理等新型风险4.1.2 输入输出安全网关有害内容检测、敏感词过滤、越狱拦截4.1.3 渗透测试针对AI应用的对抗样本测试与自动化扫描4.2数据合规落地4.2.1用户数据隔离多租户数据分库、行级安全、租户上下文注入4.2.2 数据留存与清除日志保留策略、用户数据删除的工程实现4.2.3 跨境合规数据驻留要求与模型部署地域的选择逻辑4.3安全审计与认证4.3.1操作审计日志谁、何时、调了什么模型、输入输出的完整记录4.3.2 权限最小化基于RBAC的API权限、模型权限、数据权限三层控制4.3.3 合规检查清单等保、ISO27001、SOC2对AI系统的关键要求项第五部分 复杂交付场景实战5.1私有化交付5.1.1环境适配离线安装、国产化硬件适配、GPU/NPU异构部署5.1.2 定制化开发客户特有系统对接、单点登录集成、界面白标5.1.3 验收测试功能验收、性能验收、安全验收的checklist与执行5.2多租户SaaS交付5.2.1租户模型隔离数据隔离、模型实例隔离、配额隔离的架构方案5.2.2 租户自助配置提示词模板、知识库上传、模型参数的租户级定制5.2.3 计费系统集成按调用量、按席位数、按增值功能的计费方案设计5.3混合云交付5.3.1数据面与控制面分离敏感数据留在私有云、推理请求转发公有云的架构5.3.2 跨云网络设计专线、VPN、SD-WAN的时延与带宽评估5.3.3 混合部署的监控统一跨云采集指标、聚合面板、统一告警第六部分 收官项目与课程总结6.1综合项目端到端AI业务交付演练6.1.1项目背景某金融机构智能合规审查系统的完整交付诉求6.1.2 交付任务从需求文档→方案设计→开发联调→性能压测→上线检查的全流程6.1.3 交付评审模拟客户验收会议逐项确认交付物与验收标准6.2交付物清单与交付标准6.2.1交付物清单代码仓库、部署脚本、运维手册、方案文档、测试报告6.2.2 交付质量标准功能完整度、性能达标、安全合规、文档齐全的四维判定6.2.3 项目交接流程知识转移培训、灰度过渡期、正式运维移交的时间节点
