4.AI大模型-幻觉、记忆、参数-大模型底层运行机制

内容参考于图灵AI大模型全栈幻觉大模型的幻觉主要有两种一种是回答的答案和问的问题不搭边就是说回答的答案是乱编的是没有真实性的另一种是给了AI正确的资料但是AI并没有根据我们给的正确的资料来回答我们问题。幻觉可以让ai有创造力但是有些场景并不可以出现幻觉比如金融里的钱、医疗、这种ai一旦瞎扯后果就很严重幻觉出现的原因1.ai只是并不是学霸它只是把互联网中能找到的所有文字都看了一遍记了一遍如果网上有人说地球是圆的大模型就记住了然后有人开玩笑说往披萨中涂上胶水更好吃大模型也会记住它无法分清哪个是真哪个是在瞎扯只要网上给大模型的资料有的大模型会照单全收然后模仿着说出来2.AI没有经过训练的时候问它问题它是没办法回答的在训练的时候就会有一个奖励机制如果问了一个问题ai能回答出来就给奖励这样长时间的训练AI就会发现壮着胆子编一个特别仔细、特别自信的答案就算是错的也能得个比及格分高的分数久而久之就变坏了为了奖励就会乱编答案它乱编的答案看起来挺正常但实际上并不真实这就相当于考试的时候遇到不会的题我们乱写也不空着3.我们人的知识是分门别类放好的比如数学知识放一类、语文知识放一类找的时候去正确的分类中精确查找但是AI的知识并不是这样的它把所有学到的东西全部打碎、搅合在一起它回答问题的时候就是在搅合到一起的知识中随便捞东西凑齐一句话至于话是否真实还是它自己编的想象大模型自己也不清楚。控制幻觉1.给AI正确的资料不要给垃圾资料2.不让ai凭记忆答题让它按照资料答题也就是RAG我们事先准备好资料数据库然后使用提示词强制让ai使用数据库资料答题不允许瞎编不允许自由发挥要求答案真实性达到百分之503.只让ai提意见决策要我们人来决定就是让ai干活我们人做最终判断人机结合AI的记忆AI的记忆分长期记忆和短期记忆1.我们现在使用的AI比如豆包创建一个新窗口后当前窗口互动的聊天记录豆包是可以知道的这就是我们在问它问题的时候把之前的聊天记录一起发给豆包这种的就是短期记忆2.长期记忆可以理解为代码里写死的提示词和ai在训练时记住的海量知识AI记忆存在的问题1.花钱如流水比如短期记忆我们和ai的聊天记录随着我们聊天数据的增加到后期发给ai的记录是很庞大的Token会花絮很大有些ai还会限制这些内容如下图qwen3.6-plus大模型的上下文限制最大是1M这1M的数据就会拆分出很多Token2.信息噪音就是说随着聊天记录的增加就会导致存在很多无关信息会把真实的需求盖住比如聊需求的时候插了一句今天天气好热聊到后面AI可能会莫名提一句天气3.突破模型上线每个AI就是上图qwen3.6-plus的上下文限制如果超出了上下文AI就没办法正确的理解需求甚至会报错、不回复我们现在跟AI聊天可能没经历到这种问题明明也聊了很长的记录但是并没有什么问题这可能它做了精简或者把只提取重点内容这样就会导致AI忘记之前的内容关于记忆的使用1.把问题说清楚比如帮我写一个关于推荐的接口改成下图的样子补全必要信息明确目标避免模糊、啰嗦这样可以避免无关内容占用记忆空间上图的内容使用ai生成的2.精简聊天记录长了就主动筛选把和当前问题无关的内容删掉只给ai有用的记录这个跟RAG的思路一样就是不让ai记废话3.压缩记录保留核心重点聊的久了里面会有很多重复、补充的内容这时可以让AI提炼重点用几句简单的话替代大段的原文这样既保留了关键信息又节省了Token让AI提炼也会多一次交互多花钱所以不需要每次都做提炼根据具体情况来搞4.拆分人物一个窗口只做一件事如果任务太复杂相关信息太多一个聊天窗口装不下就把大任务拆成小任务每个小任务用一个单独的窗口大模型的参数如下图红框这是DeepSeek-R1的模型一个b表示10亿参数7b就是70亿参数这些参数就是之前说的多层感知机里的激活函数通过输入1和2带入激活函数得到一个结果这些参数也并不是越多越好比如爱因斯坦和我们普通人同样是人爱因斯坦就是天才我们普通人没法跟他比所以参数就是这个道理一个模型是否聪明取决于训练是用到的数据质量、训练方法的科学性就跟教育意义好的老师一听就懂差的老师需要天才才能听懂现在的ai也正在往小里做让我们的汽车、手机、智能家居也能运行