LLM 大语言模型底层引擎是Transformer。Tokenizer负责编码解码把输入的文字转成大模型可以读懂的数字首先将用户问的问题切分拆成一个个最小的片段每个片段就叫Token把每个Token对应到数字上TokenIDTokenizer的实现算法-BPE核心组件是词表和合并规则将经常一起出现的字合并一个Token。提高推理速度Context上下文大模型每次处理任务时所接收到的信息总和Context Window上下文能容纳的最大Token数量Prompt大模型接收的具体问题或指令Prompt Engineering提示词工程Tool工具用户向平台发送问题平台请求大模型大模型向平台发送调用工具的指令平台调用工具返回工具的调用结果给大模型MCPmodel Context Protool 模型上下文协议统一的工具接入标准需要将工具接入到平台里面接入的规范每个平台都不一样ChatGPT需要OpenAI的接入规范Claude需要按照Anthropic的接入规范Gemini需要按照Google的接入规范Agent自主规划自主调用工具直至完成用户任务的系统为Agent运行模式ReActAgent Skill提前写好塞给Agent的一份说明文档
AI 核心概念大串联:LLM, Token, Context, Context Window, Prompt, User Prompt, System Prompt, Tool, MCP, Agent
LLM 大语言模型底层引擎是Transformer。Tokenizer负责编码解码把输入的文字转成大模型可以读懂的数字首先将用户问的问题切分拆成一个个最小的片段每个片段就叫Token把每个Token对应到数字上TokenIDTokenizer的实现算法-BPE核心组件是词表和合并规则将经常一起出现的字合并一个Token。提高推理速度Context上下文大模型每次处理任务时所接收到的信息总和Context Window上下文能容纳的最大Token数量Prompt大模型接收的具体问题或指令Prompt Engineering提示词工程Tool工具用户向平台发送问题平台请求大模型大模型向平台发送调用工具的指令平台调用工具返回工具的调用结果给大模型MCPmodel Context Protool 模型上下文协议统一的工具接入标准需要将工具接入到平台里面接入的规范每个平台都不一样ChatGPT需要OpenAI的接入规范Claude需要按照Anthropic的接入规范Gemini需要按照Google的接入规范Agent自主规划自主调用工具直至完成用户任务的系统为Agent运行模式ReActAgent Skill提前写好塞给Agent的一份说明文档