AAAI聚焦：提示工程与AI推理技术前沿

AAAI聚焦提示工程与AI推理技术提示工程提示工程指的是致力于从大型生成模型中提取准确、一致且公平的输出。这些模型如文本到图像合成器或大型语言模型LLMs在海量文本语料库上训练编码了大量关于世界的事实信息。然而它们的训练目标是在一般情况下生成概率较高的词序列而非针对特定情况保证准确性。例如我让一个模型生成我的个人简介它生成的内容相当不错加州大学洛杉矶分校计算机科学副教授、某机构Alexa AI部门访问学者张凯威表示。“也许模型是在我的主页上训练的它正确地说我是加州大学洛杉矶分校的教授从事自然语言处理研究并向ACL等会议提交论文。但它也编造了一些随机事实——比如声称我获得了某个奖项实际上我并没有。”“这些模型需要某种事实核查机制来过滤掉不适当的内容。AAAI上有几篇论文正是研究如何确保生成的文本具有个性化、可靠性和一致性的。”在某机构张教授研究的一个课题是LLMs的公平性问题。同样由于LLMs的输出基于统计平均它可能会强化训练数据中普遍存在的刻板印象。例如如果LLM收到一个提及医生的输入提示它在生成输出时可能会默认使用男性代词来指代该医生。在文本到图像生成中也有类似现象张教授补充道。“如果让模型生成一张医生的图片它很可能生成一位男医生。研究发现可以通过在提示中添加描述来纠正这一点——例如’所有个体无论其性别和肤色如何都可以成为律师’。或者可以通过添加更多样化的训练数据来提高生成内容的多样性。”推理推理涉及推断实体或概念之间的逻辑关系以执行比当前机器学习模型擅长的分类任务更复杂的任务。许多研究者认为这必然涉及符号推理——一种多年来似乎被机器学习取代的AI方法。张教授解释道“可以定义一个损失函数或一个称为’语义概率层’的神经网络层使模型能够学习使用符号知识进行推理。例如可以定义一些规则并根据模型预测违反这些规则的可能性来定义一个损失。然后通过最小化该损失来训练模型以避免违反规则。”“例如对于语言生成可以设定约束‘我想生成一个句子它必须包含某些概念或某些词’——或者反过来不能包含任何不良词汇。这些约束也可以是’软性’的。例如在进行机器人规划时可以设定一个约束除非必要机器人不应进入某个特定区域。这并不是说机器人绝对不能进入该区域而是模型经过训练后会尽量避免这样做。”事实上张教授表示他本人也一直在研究这样一种方法即使用第二个辅助网络来帮助引导主模型使其输出满足一组约束条件。可以训练一个辅助神经网络帮助将复杂的约束分解成更小的部分从而更容易将其整合到模型中。张教授解释道。以语言生成为例假设你想生成一个故事它必须包含某些用户定义的词汇同时故事的基调应该是积极的。将这些约束整合到文本生成中是很困难的因为生成的输出必须连贯而模型可能不知道在哪里插入这些词并同时保持积极的基调。辅助神经网络可以学习将这些规则分解成词元级别的约束并产生相应的概率来引导主模型。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享