1. 项目概述当大语言模型遇上威胁情报分析最近在做一个挺有意思的尝试把SecGPT-14B这个大模型和我们日常做威胁分析时离不开的ATTCK框架给结合起来了。核心目标很简单让机器能看懂那些零散、非结构化的威胁报告自动把里面提到的攻击者行为也就是TTPs映射到ATTCK这个标准化的知识库里最后还能生成一张可视化的战术图谱。这活儿听起来像是安全分析师的高级活儿对吧但说实话手动做这个映射费时费力还容易出错一份几十页的报告光是把里面的攻击手法一个个找出来、对上ATTCK的编号可能就得花上半天。所以这个项目的出发点就是想看看能不能用现在火热的AI特别是专门为安全领域调优过的大模型来把这个过程自动化、智能化。SecGPT-14B顾名思义是一个拥有140亿参数、专门针对网络安全领域进行预训练和指令微调的大语言模型。它和通用大模型最大的区别在于它的“知识库”里塞满了大量的漏洞描述、攻击样本、安全事件报告、恶意代码分析甚至是ATTCK、CAPEC这些标准框架的条目。这就意味着你跟它聊“永恒之蓝”或者“供应链攻击”它比ChatGPT更能理解背后的技术细节和上下文。而ATTCK框架可以说是我们安全从业者的“共同语言”它把攻击者的行为拆解成战术Tactic、技术Technique和子技术Sub-Technique三个层级形成了一个庞大的、结构化的知识图谱。TTPs自动映射就是要从文本中识别出“攻击者使用了Mimikatz进行凭证转储”这样的描述然后精准地关联到ATTCK中的“T1003.001: OS Credential Dumping: LSASS Memory”这个技术节点上。这个项目适合谁呢首先肯定是安全运营中心SOC的分析师、威胁情报团队的工程师每天要处理海量告警和报告这个工具能极大提升初筛和分类的效率。其次对于红队和蓝队演练的复盘自动化的TTPs提取能帮助快速梳理攻击路径和防御缺口。甚至对于安全产品研发比如EDR、SIEM的规则库建设自动化的ATTCK标签生成也能提供不小的助力。简单说只要你需要和“攻击行为描述”打交道这个思路就值得你花时间了解一下。2. 核心思路与方案选型背后的考量为什么选SecGPT-14B而不是直接用GPT-4或者开源的Llama 3这里面的门道得从任务的特性和模型的能力边界说起。TTPs映射本质上是一个高度专业化、强领域知识依赖的命名实体识别NER和关系抽取RE任务。通用大模型虽然语言理解能力强但在面对“进程注入”、“凭证转储”、“横向移动”这些安全黑话时容易产生幻觉或者给出一个看似合理但实际错误的ATTCK ID。比如它可能知道“dump credentials”是凭证转储但未必能精确区分是转储LSASS内存T1003.001还是转储安全账户管理器SAM文件T1003.002。SecGPT-14B的优势就在于它的“安全基因”。它在训练阶段见过了足够多的威胁报告、漏洞描述和ATTCK官方文档对于这些专业术语和它们之间的细微差别有更强的“肌肉记忆”。这就好比让一个医学院的学生和一个文学系的学生同时去读一篇复杂的病例报告前者显然能更快、更准地抓住关键病理和诊疗方案。我们的方案就是利用SecGPT-14B的这种领域理解能力把它作为一个强大的“文本理解与信息提取引擎”。整个方案的架构可以拆解成三个核心环节我称之为“理解-映射-构图”流水线信息理解与抽取将非结构化的威胁报告文本可以是PDF、网页、纯文本输入给SecGPT-14B通过精心设计的提示词Prompt引导模型识别并抽取出其中描述的攻击行为实体。这里的关键不是让模型“创造”而是让它“复述”和“结构化”。TTPs标准化映射将上一步抽取出的攻击行为描述再次交给SecGPT-14B或一个专门的分类器与ATTCK知识库进行匹配输出最可能的战术、技术和子技术ID及名称。这一步是精度要求最高的需要模型在众多相似技术中做出精准判断。战术图谱可视化生成将映射成功的TTPs按照ATTCK的战术阶段如初始访问、执行、持久化、权限提升、防御规避、凭证访问、发现、横向移动、收集、命令与控制、渗出、影响进行组织利用图数据库如Neo4j或绘图库如Graphviz, D3.js生成直观的“攻击链”或“战术热图”。在方案选型上我们放弃了传统的基于规则正则表达式或纯统计机器学习如BERT微调的方法。规则方法维护成本高难以覆盖攻击手法的各种表述变体而从头训练一个专门的BERT模型需要大量高质量的标注数据成本也不低。SecGPT-14B提供了一种“少样本”或“零样本”的潜力通过巧妙的Prompt工程我们可以在没有或仅有少量标注数据的情况下快速启动并达到不错的准确率。当然这并不意味着它是完美的后面我会详细讲我们遇到的挑战和调优策略。3. 实操要点Prompt工程与数据预处理的门道直接丢给SecGPT-14B一段报告原文然后说“把里面的TTPs找出来”结果大概率是灾难性的。大模型需要清晰、明确的指令。我们的核心工作很大一部分花在了设计“对的”Prompt上。这不是简单的提问而是为模型构建一个清晰的“思维框架”。3.1 分阶段Prompt设计我们采用了两阶段Prompt策略而不是试图用一个复杂的Prompt解决所有问题。第一阶段Prompt信息抽取你是一个专业的网络安全威胁分析师。请仔细阅读以下威胁事件描述文本并严格按照JSON格式输出结果。 你的任务是 1. 识别并列出文本中描述的所有具体的攻击行为或技术动作。 2. 对于每个识别出的攻击行为用原文中的词句或高度概括的短语进行描述。 3. 不要进行任何ATTCK框架的映射仅做识别和描述。 文本内容[此处粘贴需要分析的威胁报告段落] 请输出如下格式的JSON { identified_actions: [ {id: 1, description: 攻击行为1的原文描述或概括}, {id: 2, description: 攻击行为2的原文描述或概括}, ... ] }这个Prompt的关键在于“仅做识别不做映射”。这强制模型专注于文本理解避免了它在不熟悉的领域进行过早且可能错误的关联。我们实测发现这样拆分后模型抽取动作描述的准确率召回率有明显提升。第二阶段PromptTTPs映射你是一个精通MITRE ATTCK框架的安全专家。下面是一些从威胁报告中提取的攻击行为描述。你的任务是将每个描述映射到最合适的MITRE ATTCK技术或子技术上。 请遵循以下规则 1. 优先匹配子技术Sub-Technique如果不存在或不确定则匹配到父技术Technique。 2. 必须提供ATTCK ID如T1059.001和正式名称。 3. 如果某个描述明显对应多个技术列出所有可能性并标注主要匹配项。 4. 如果无法找到任何合理匹配则输出Not Found。 攻击行为描述列表 1. [行为描述1] 2. [行为描述2] ... 请输出如下格式的JSON { mappings: [ { action_id: 1, action_description: [重复描述1], primary_ttp: { id: TXXXX.XXX, name: ATTCK技术名称 }, alternative_ttps: [ {id: TYYYY.YYY, name: 备选技术名称} ] }, ... ] }这个Prompt明确了输出格式、匹配优先级和不确定性处理方式。我们还会在Prompt的上下文Context中附带几个高质量的例子Few-shot Learning比如给出“攻击者使用PowerShell下载恶意载荷”映射到“T1059.001: Command and Scripting Interpreter: PowerShell”的例子让模型更好地理解我们的意图。注意Prompt不是一成不变的。针对不同的报告风格如技术深度报告vs.高管摘要可能需要微调Prompt的措辞。例如对于技术细节较少的摘要可以加入“请根据上下文和常见攻击模式进行合理推断”的指令。3.2 数据预处理与后处理模型不是神直接喂给它原始文本效果会打折扣。必要的预处理能提升效果文本清洗与分段去除无关的页眉页脚、图表标题。将长报告按章节或自然段落分割每次输入模型的文本控制在1000-1500个token以内以保证模型有足够的上下文窗口处理核心内容。关键信息增强有时报告中会用“类似X工具的手法”来描述。我们会在预处理阶段用一个简单的安全知识图谱比如关联了常见黑客工具与其对应TTPs的数据库进行浅层匹配并将匹配到的可能TTPs名称作为“提示信息”附加到输入文本中引导模型关注。例如在文本旁标注“注文中提到的Mimikatz通常用于凭证转储技术”。结果去重与冲突解决模型可能会对同一行为的稍不同表述输出多个映射结果。后处理步骤需要根据ATTCK ID进行去重。对于冲突的映射比如一个行为被映射到两个不同的技术我们会设计一个简单的置信度评分机制例如基于模型输出概率或描述匹配的精确度或保留所有结果供分析师最终审核。4. 核心环节实现从文本到图谱的完整流程这里我以一个模拟的威胁报告片段为例走一遍完整的流程。假设我们有以下文本“攻击者通过发送钓鱼邮件诱导目标点击链接下载并执行了一个伪装成PDF的恶意可执行文件。该文件运行后创建了计划任务以实现持久化并尝试连接C2服务器evil.com的443端口。随后它在内存中加载了Mimikatz模块尝试从lsass.exe进程转储凭证。”4.1 步骤一信息抽取我们将上述文本放入第一阶段Prompt调用SecGPT-14B的API。一个理想的输出可能如下{ identified_actions: [ {id: 1, description: 发送钓鱼邮件诱导点击恶意链接}, {id: 2, description: 下载并执行伪装成PDF的恶意可执行文件}, {id: 3, description: 创建计划任务以实现持久化}, {id: 4, description: 尝试连接C2服务器evil.com的443端口}, {id: 5, description: 在内存中加载Mimikatz模块}, {id: 6, description: 从lsass.exe进程转储凭证} ] }4.2 步骤二TTPs映射将抽取出的6个行为描述列表放入第二阶段Prompt。同样调用API得到映射结果{ mappings: [ { action_id: 1, action_description: 发送钓鱼邮件诱导点击恶意链接, primary_ttp: {id: T1566.001, name: Phishing: Spearphishing Attachment}, alternative_ttps: [{id: T1566.002, name: Phishing: Spearphishing Link}] }, { action_id: 2, action_description: 下载并执行伪装成PDF的恶意可执行文件, primary_ttp: {id: T1204.002, name: User Execution: Malicious File}, alternative_ttps: [] }, { action_id: 3, action_description: 创建计划任务以实现持久化, primary_ttp: {id: T1053.005, name: Scheduled Task/Job: Scheduled Task}, alternative_ttps: [] }, { action_id: 4, action_description: 尝试连接C2服务器evil.com的443端口, primary_ttp: {id: T1071.001, name: Application Layer Protocol: Web Protocols}, alternative_ttps: [] }, { action_id: 5, action_description: 在内存中加载Mimikatz模块, primary_ttp: {id: T1055, name: Process Injection}, alternative_ttps: [{id: T1027, name: Obfuscated Files or Information}] }, { action_id: 6, action_description: 从lsass.exe进程转储凭证, primary_ttp: {id: T1003.001, name: OS Credential Dumping: LSASS Memory}, alternative_ttps: [] } ] }可以看到模型成功地将行为映射到了具体的ATTCK子技术上并且对于行为1钓鱼它给出了两个可能的技术这是一个合理的输出。4.3 步骤三图谱生成与可视化拿到结构化的TTPs列表后我们就可以按战术阶段组织数据了。我们可以创建一个简单的数据结构# 示例数据结构 attack_flow [ {tactic: Initial Access, technique: T1566.001, name: Spearphishing Attachment}, {tactic: Execution, technique: T1204.002, name: Malicious File}, {tactic: Persistence, technique: T1053.005, name: Scheduled Task}, {tactic: Command and Control, technique: T1071.001, name: Web Protocols}, {tactic: Privilege Escalation, technique: T1055, name: Process Injection}, # Mimikatz加载常伴随提权 {tactic: Credential Access, technique: T1003.001, name: LSASS Memory} ]利用Python的graphviz或pyvis库可以轻松生成一张攻击链图。更高级的做法是导入Neo4j图数据库建立“报告-攻击行为-ATTCK技术-战术”的关联网络便于进行复杂的关联查询和分析比如“哪些攻击组织最常使用T1053.005和T1003.001的组合”生成的战术图谱可以是一个时间线式的攻击链图也可以是一个矩阵式的热图高亮显示攻击者涉及的战术阶段。这对于快速向管理层或非技术人员展示攻击全貌价值巨大。5. 避坑指南精度提升与常见问题排查理想很丰满但实操中SecGPT-14B并非总是一帆风顺。下面是我在项目过程中踩过的一些坑和总结的调优经验。5.1 映射精度不足的优化策略技术描述模糊报告里常说“使用了自定义后门”这种描述太泛。我们的优化方法是在第二阶段Prompt里加入“如果描述模糊请结合常见攻击模式和安全知识进行推断并给出推断依据”。同时在后处理中为这类模糊匹配的结果打上“低置信度”标签需要人工复核。新旧版本ATTCK差异ATTCK矩阵会更新技术ID和名称可能变化。必须确保SecGPT-14B训练数据中的ATTCK知识是最新的或者在映射后增加一个“版本校正”步骤根据官方的映射表将旧ID更新到最新版本。复合型技术描述比如“通过钓鱼邮件投递恶意Excel文档利用宏下载后续载荷”。这其实包含了初始访问T1566.001和执行T1204.002等多个步骤。我们的策略是在第一阶段Prompt中明确要求“如果一句话中描述了连续或并行的多个攻击动作请将其拆分为多个独立的行为描述项。” 引导模型进行分解。5.2 常见错误与排查表问题现象可能原因排查与解决思路模型输出“未找到”或明显错误的技术ID。1. Prompt指令不清晰。2. 输入文本过于简短或上下文不足。3. 该技术过于新颖或冷门不在模型知识库内。1. 检查并优化Prompt加入Few-shot示例。2. 尝试提供更长的上下文如前一段落或人工补充一点背景说明。3. 记录该case作为后续模型微调Fine-tuning的数据集。同一行为被重复映射多次。模型在生成列表时可能出现重复。在后处理阶段根据行为描述的语义相似度可用句子向量模型计算和ATTCK ID进行去重合并。映射结果置信度普遍偏低。可能报告文风特殊如大量隐喻、非技术描述或领域极度偏门。考虑引入一个“过滤阈值”只输出模型置信度高于阈值的结果。对于低置信度部分退回人工处理。或者尝试使用更专业的领域模型如果存在。API调用速度慢影响整体流程。SecGPT-14B等大模型推理需要时间。对于批量处理采用异步调用队列。对于实时性要求不高的场景可以夜间批量跑。考虑对报告进行更精细的分块减少单次输入的token数量。5.3 一个关键的实操心得建立“黄金标准”测试集不要盲目相信模型的输出。在项目开始初期就手动精心标注50-100个高质量的威胁报告片段涵盖不同来源、不同技术复杂度作为“黄金标准”测试集。每次调整Prompt、更新模型或修改预处理流程后都在这份测试集上跑一遍计算精确率Precision、召回率Recall和F1值。只有量化指标提升了你的优化才是有意义的。这个测试集是你项目质量的“压舱石”。6. 效果评估与未来扩展方向经过一段时间的迭代我们的原型系统在内部测试集上对于技术细节清晰的报告TTPs映射的精确率能达到85%以上召回率在80%左右。这已经能够帮助分析师节省超过60%的初步标注时间。分析师现在的工作变成了“审核和修正”模型的输出而不是从零开始标注工作负荷和疲劳感大大降低。6.1 效果可视化带来的价值自动生成的战术图谱除了直观还能做很多事攻击模式聚类将多份报告的图谱进行对比可以快速发现不同攻击活动之间是否使用了相似的TTPs组合辅助威胁归因。防御差距分析将生成的攻击链与我方现有的安全检测能力SIEM规则、EDR策略进行覆盖度比对一眼就能看出在哪个战术阶段我们的监控是薄弱的。演练剧本生成红队可以根据常见的TTPs组合图谱设计出更贴近真实攻击的演练剧本。6.2 可能的扩展与深化多模态输入现在的输入是文本。未来可以尝试让模型理解网络流量包PCAP的元数据摘要、恶意代码的静态分析报告字符串甚至是沙箱运行的行为日志实现更广谱的TTPs自动识别。实时流式分析将模型集成到SOC的告警流水线中对实时告警的描述信息进行快速的TTPs预标注帮助一级分析师快速判断告警的严重性和关联的战术阶段。结合知识图谱进行推理不仅仅映射到ATTCK还可以进一步关联CAPEC攻击模式、CWE弱点甚至相关的漏洞CVE形成一个立体的威胁知识网络实现“由点及面”的推理。比如识别出“T1190: Exploit Public-Facing Application”后自动关联近期该类型应用的高危CVE。模型微调Fine-tuning当积累足够多的高质量标注数据后可以对SecGPT-14B进行LoRA等参数高效微调让它更适应我们特定场景的报告风格和关注重点从而进一步提升准确率。这个项目让我深刻体会到大模型在垂直领域的落地关键不在于模型的参数有多大而在于你对业务场景的理解有多深以及你如何用工程化的思维去“驾驭”它。SecGPT-14B是一个强大的工具但如何设计Prompt、如何预处理数据、如何评估和迭代这些才是决定项目成败的“手艺活”。
基于SecGPT-14B与ATTCK框架的威胁情报TTPs自动化映射实践
1. 项目概述当大语言模型遇上威胁情报分析最近在做一个挺有意思的尝试把SecGPT-14B这个大模型和我们日常做威胁分析时离不开的ATTCK框架给结合起来了。核心目标很简单让机器能看懂那些零散、非结构化的威胁报告自动把里面提到的攻击者行为也就是TTPs映射到ATTCK这个标准化的知识库里最后还能生成一张可视化的战术图谱。这活儿听起来像是安全分析师的高级活儿对吧但说实话手动做这个映射费时费力还容易出错一份几十页的报告光是把里面的攻击手法一个个找出来、对上ATTCK的编号可能就得花上半天。所以这个项目的出发点就是想看看能不能用现在火热的AI特别是专门为安全领域调优过的大模型来把这个过程自动化、智能化。SecGPT-14B顾名思义是一个拥有140亿参数、专门针对网络安全领域进行预训练和指令微调的大语言模型。它和通用大模型最大的区别在于它的“知识库”里塞满了大量的漏洞描述、攻击样本、安全事件报告、恶意代码分析甚至是ATTCK、CAPEC这些标准框架的条目。这就意味着你跟它聊“永恒之蓝”或者“供应链攻击”它比ChatGPT更能理解背后的技术细节和上下文。而ATTCK框架可以说是我们安全从业者的“共同语言”它把攻击者的行为拆解成战术Tactic、技术Technique和子技术Sub-Technique三个层级形成了一个庞大的、结构化的知识图谱。TTPs自动映射就是要从文本中识别出“攻击者使用了Mimikatz进行凭证转储”这样的描述然后精准地关联到ATTCK中的“T1003.001: OS Credential Dumping: LSASS Memory”这个技术节点上。这个项目适合谁呢首先肯定是安全运营中心SOC的分析师、威胁情报团队的工程师每天要处理海量告警和报告这个工具能极大提升初筛和分类的效率。其次对于红队和蓝队演练的复盘自动化的TTPs提取能帮助快速梳理攻击路径和防御缺口。甚至对于安全产品研发比如EDR、SIEM的规则库建设自动化的ATTCK标签生成也能提供不小的助力。简单说只要你需要和“攻击行为描述”打交道这个思路就值得你花时间了解一下。2. 核心思路与方案选型背后的考量为什么选SecGPT-14B而不是直接用GPT-4或者开源的Llama 3这里面的门道得从任务的特性和模型的能力边界说起。TTPs映射本质上是一个高度专业化、强领域知识依赖的命名实体识别NER和关系抽取RE任务。通用大模型虽然语言理解能力强但在面对“进程注入”、“凭证转储”、“横向移动”这些安全黑话时容易产生幻觉或者给出一个看似合理但实际错误的ATTCK ID。比如它可能知道“dump credentials”是凭证转储但未必能精确区分是转储LSASS内存T1003.001还是转储安全账户管理器SAM文件T1003.002。SecGPT-14B的优势就在于它的“安全基因”。它在训练阶段见过了足够多的威胁报告、漏洞描述和ATTCK官方文档对于这些专业术语和它们之间的细微差别有更强的“肌肉记忆”。这就好比让一个医学院的学生和一个文学系的学生同时去读一篇复杂的病例报告前者显然能更快、更准地抓住关键病理和诊疗方案。我们的方案就是利用SecGPT-14B的这种领域理解能力把它作为一个强大的“文本理解与信息提取引擎”。整个方案的架构可以拆解成三个核心环节我称之为“理解-映射-构图”流水线信息理解与抽取将非结构化的威胁报告文本可以是PDF、网页、纯文本输入给SecGPT-14B通过精心设计的提示词Prompt引导模型识别并抽取出其中描述的攻击行为实体。这里的关键不是让模型“创造”而是让它“复述”和“结构化”。TTPs标准化映射将上一步抽取出的攻击行为描述再次交给SecGPT-14B或一个专门的分类器与ATTCK知识库进行匹配输出最可能的战术、技术和子技术ID及名称。这一步是精度要求最高的需要模型在众多相似技术中做出精准判断。战术图谱可视化生成将映射成功的TTPs按照ATTCK的战术阶段如初始访问、执行、持久化、权限提升、防御规避、凭证访问、发现、横向移动、收集、命令与控制、渗出、影响进行组织利用图数据库如Neo4j或绘图库如Graphviz, D3.js生成直观的“攻击链”或“战术热图”。在方案选型上我们放弃了传统的基于规则正则表达式或纯统计机器学习如BERT微调的方法。规则方法维护成本高难以覆盖攻击手法的各种表述变体而从头训练一个专门的BERT模型需要大量高质量的标注数据成本也不低。SecGPT-14B提供了一种“少样本”或“零样本”的潜力通过巧妙的Prompt工程我们可以在没有或仅有少量标注数据的情况下快速启动并达到不错的准确率。当然这并不意味着它是完美的后面我会详细讲我们遇到的挑战和调优策略。3. 实操要点Prompt工程与数据预处理的门道直接丢给SecGPT-14B一段报告原文然后说“把里面的TTPs找出来”结果大概率是灾难性的。大模型需要清晰、明确的指令。我们的核心工作很大一部分花在了设计“对的”Prompt上。这不是简单的提问而是为模型构建一个清晰的“思维框架”。3.1 分阶段Prompt设计我们采用了两阶段Prompt策略而不是试图用一个复杂的Prompt解决所有问题。第一阶段Prompt信息抽取你是一个专业的网络安全威胁分析师。请仔细阅读以下威胁事件描述文本并严格按照JSON格式输出结果。 你的任务是 1. 识别并列出文本中描述的所有具体的攻击行为或技术动作。 2. 对于每个识别出的攻击行为用原文中的词句或高度概括的短语进行描述。 3. 不要进行任何ATTCK框架的映射仅做识别和描述。 文本内容[此处粘贴需要分析的威胁报告段落] 请输出如下格式的JSON { identified_actions: [ {id: 1, description: 攻击行为1的原文描述或概括}, {id: 2, description: 攻击行为2的原文描述或概括}, ... ] }这个Prompt的关键在于“仅做识别不做映射”。这强制模型专注于文本理解避免了它在不熟悉的领域进行过早且可能错误的关联。我们实测发现这样拆分后模型抽取动作描述的准确率召回率有明显提升。第二阶段PromptTTPs映射你是一个精通MITRE ATTCK框架的安全专家。下面是一些从威胁报告中提取的攻击行为描述。你的任务是将每个描述映射到最合适的MITRE ATTCK技术或子技术上。 请遵循以下规则 1. 优先匹配子技术Sub-Technique如果不存在或不确定则匹配到父技术Technique。 2. 必须提供ATTCK ID如T1059.001和正式名称。 3. 如果某个描述明显对应多个技术列出所有可能性并标注主要匹配项。 4. 如果无法找到任何合理匹配则输出Not Found。 攻击行为描述列表 1. [行为描述1] 2. [行为描述2] ... 请输出如下格式的JSON { mappings: [ { action_id: 1, action_description: [重复描述1], primary_ttp: { id: TXXXX.XXX, name: ATTCK技术名称 }, alternative_ttps: [ {id: TYYYY.YYY, name: 备选技术名称} ] }, ... ] }这个Prompt明确了输出格式、匹配优先级和不确定性处理方式。我们还会在Prompt的上下文Context中附带几个高质量的例子Few-shot Learning比如给出“攻击者使用PowerShell下载恶意载荷”映射到“T1059.001: Command and Scripting Interpreter: PowerShell”的例子让模型更好地理解我们的意图。注意Prompt不是一成不变的。针对不同的报告风格如技术深度报告vs.高管摘要可能需要微调Prompt的措辞。例如对于技术细节较少的摘要可以加入“请根据上下文和常见攻击模式进行合理推断”的指令。3.2 数据预处理与后处理模型不是神直接喂给它原始文本效果会打折扣。必要的预处理能提升效果文本清洗与分段去除无关的页眉页脚、图表标题。将长报告按章节或自然段落分割每次输入模型的文本控制在1000-1500个token以内以保证模型有足够的上下文窗口处理核心内容。关键信息增强有时报告中会用“类似X工具的手法”来描述。我们会在预处理阶段用一个简单的安全知识图谱比如关联了常见黑客工具与其对应TTPs的数据库进行浅层匹配并将匹配到的可能TTPs名称作为“提示信息”附加到输入文本中引导模型关注。例如在文本旁标注“注文中提到的Mimikatz通常用于凭证转储技术”。结果去重与冲突解决模型可能会对同一行为的稍不同表述输出多个映射结果。后处理步骤需要根据ATTCK ID进行去重。对于冲突的映射比如一个行为被映射到两个不同的技术我们会设计一个简单的置信度评分机制例如基于模型输出概率或描述匹配的精确度或保留所有结果供分析师最终审核。4. 核心环节实现从文本到图谱的完整流程这里我以一个模拟的威胁报告片段为例走一遍完整的流程。假设我们有以下文本“攻击者通过发送钓鱼邮件诱导目标点击链接下载并执行了一个伪装成PDF的恶意可执行文件。该文件运行后创建了计划任务以实现持久化并尝试连接C2服务器evil.com的443端口。随后它在内存中加载了Mimikatz模块尝试从lsass.exe进程转储凭证。”4.1 步骤一信息抽取我们将上述文本放入第一阶段Prompt调用SecGPT-14B的API。一个理想的输出可能如下{ identified_actions: [ {id: 1, description: 发送钓鱼邮件诱导点击恶意链接}, {id: 2, description: 下载并执行伪装成PDF的恶意可执行文件}, {id: 3, description: 创建计划任务以实现持久化}, {id: 4, description: 尝试连接C2服务器evil.com的443端口}, {id: 5, description: 在内存中加载Mimikatz模块}, {id: 6, description: 从lsass.exe进程转储凭证} ] }4.2 步骤二TTPs映射将抽取出的6个行为描述列表放入第二阶段Prompt。同样调用API得到映射结果{ mappings: [ { action_id: 1, action_description: 发送钓鱼邮件诱导点击恶意链接, primary_ttp: {id: T1566.001, name: Phishing: Spearphishing Attachment}, alternative_ttps: [{id: T1566.002, name: Phishing: Spearphishing Link}] }, { action_id: 2, action_description: 下载并执行伪装成PDF的恶意可执行文件, primary_ttp: {id: T1204.002, name: User Execution: Malicious File}, alternative_ttps: [] }, { action_id: 3, action_description: 创建计划任务以实现持久化, primary_ttp: {id: T1053.005, name: Scheduled Task/Job: Scheduled Task}, alternative_ttps: [] }, { action_id: 4, action_description: 尝试连接C2服务器evil.com的443端口, primary_ttp: {id: T1071.001, name: Application Layer Protocol: Web Protocols}, alternative_ttps: [] }, { action_id: 5, action_description: 在内存中加载Mimikatz模块, primary_ttp: {id: T1055, name: Process Injection}, alternative_ttps: [{id: T1027, name: Obfuscated Files or Information}] }, { action_id: 6, action_description: 从lsass.exe进程转储凭证, primary_ttp: {id: T1003.001, name: OS Credential Dumping: LSASS Memory}, alternative_ttps: [] } ] }可以看到模型成功地将行为映射到了具体的ATTCK子技术上并且对于行为1钓鱼它给出了两个可能的技术这是一个合理的输出。4.3 步骤三图谱生成与可视化拿到结构化的TTPs列表后我们就可以按战术阶段组织数据了。我们可以创建一个简单的数据结构# 示例数据结构 attack_flow [ {tactic: Initial Access, technique: T1566.001, name: Spearphishing Attachment}, {tactic: Execution, technique: T1204.002, name: Malicious File}, {tactic: Persistence, technique: T1053.005, name: Scheduled Task}, {tactic: Command and Control, technique: T1071.001, name: Web Protocols}, {tactic: Privilege Escalation, technique: T1055, name: Process Injection}, # Mimikatz加载常伴随提权 {tactic: Credential Access, technique: T1003.001, name: LSASS Memory} ]利用Python的graphviz或pyvis库可以轻松生成一张攻击链图。更高级的做法是导入Neo4j图数据库建立“报告-攻击行为-ATTCK技术-战术”的关联网络便于进行复杂的关联查询和分析比如“哪些攻击组织最常使用T1053.005和T1003.001的组合”生成的战术图谱可以是一个时间线式的攻击链图也可以是一个矩阵式的热图高亮显示攻击者涉及的战术阶段。这对于快速向管理层或非技术人员展示攻击全貌价值巨大。5. 避坑指南精度提升与常见问题排查理想很丰满但实操中SecGPT-14B并非总是一帆风顺。下面是我在项目过程中踩过的一些坑和总结的调优经验。5.1 映射精度不足的优化策略技术描述模糊报告里常说“使用了自定义后门”这种描述太泛。我们的优化方法是在第二阶段Prompt里加入“如果描述模糊请结合常见攻击模式和安全知识进行推断并给出推断依据”。同时在后处理中为这类模糊匹配的结果打上“低置信度”标签需要人工复核。新旧版本ATTCK差异ATTCK矩阵会更新技术ID和名称可能变化。必须确保SecGPT-14B训练数据中的ATTCK知识是最新的或者在映射后增加一个“版本校正”步骤根据官方的映射表将旧ID更新到最新版本。复合型技术描述比如“通过钓鱼邮件投递恶意Excel文档利用宏下载后续载荷”。这其实包含了初始访问T1566.001和执行T1204.002等多个步骤。我们的策略是在第一阶段Prompt中明确要求“如果一句话中描述了连续或并行的多个攻击动作请将其拆分为多个独立的行为描述项。” 引导模型进行分解。5.2 常见错误与排查表问题现象可能原因排查与解决思路模型输出“未找到”或明显错误的技术ID。1. Prompt指令不清晰。2. 输入文本过于简短或上下文不足。3. 该技术过于新颖或冷门不在模型知识库内。1. 检查并优化Prompt加入Few-shot示例。2. 尝试提供更长的上下文如前一段落或人工补充一点背景说明。3. 记录该case作为后续模型微调Fine-tuning的数据集。同一行为被重复映射多次。模型在生成列表时可能出现重复。在后处理阶段根据行为描述的语义相似度可用句子向量模型计算和ATTCK ID进行去重合并。映射结果置信度普遍偏低。可能报告文风特殊如大量隐喻、非技术描述或领域极度偏门。考虑引入一个“过滤阈值”只输出模型置信度高于阈值的结果。对于低置信度部分退回人工处理。或者尝试使用更专业的领域模型如果存在。API调用速度慢影响整体流程。SecGPT-14B等大模型推理需要时间。对于批量处理采用异步调用队列。对于实时性要求不高的场景可以夜间批量跑。考虑对报告进行更精细的分块减少单次输入的token数量。5.3 一个关键的实操心得建立“黄金标准”测试集不要盲目相信模型的输出。在项目开始初期就手动精心标注50-100个高质量的威胁报告片段涵盖不同来源、不同技术复杂度作为“黄金标准”测试集。每次调整Prompt、更新模型或修改预处理流程后都在这份测试集上跑一遍计算精确率Precision、召回率Recall和F1值。只有量化指标提升了你的优化才是有意义的。这个测试集是你项目质量的“压舱石”。6. 效果评估与未来扩展方向经过一段时间的迭代我们的原型系统在内部测试集上对于技术细节清晰的报告TTPs映射的精确率能达到85%以上召回率在80%左右。这已经能够帮助分析师节省超过60%的初步标注时间。分析师现在的工作变成了“审核和修正”模型的输出而不是从零开始标注工作负荷和疲劳感大大降低。6.1 效果可视化带来的价值自动生成的战术图谱除了直观还能做很多事攻击模式聚类将多份报告的图谱进行对比可以快速发现不同攻击活动之间是否使用了相似的TTPs组合辅助威胁归因。防御差距分析将生成的攻击链与我方现有的安全检测能力SIEM规则、EDR策略进行覆盖度比对一眼就能看出在哪个战术阶段我们的监控是薄弱的。演练剧本生成红队可以根据常见的TTPs组合图谱设计出更贴近真实攻击的演练剧本。6.2 可能的扩展与深化多模态输入现在的输入是文本。未来可以尝试让模型理解网络流量包PCAP的元数据摘要、恶意代码的静态分析报告字符串甚至是沙箱运行的行为日志实现更广谱的TTPs自动识别。实时流式分析将模型集成到SOC的告警流水线中对实时告警的描述信息进行快速的TTPs预标注帮助一级分析师快速判断告警的严重性和关联的战术阶段。结合知识图谱进行推理不仅仅映射到ATTCK还可以进一步关联CAPEC攻击模式、CWE弱点甚至相关的漏洞CVE形成一个立体的威胁知识网络实现“由点及面”的推理。比如识别出“T1190: Exploit Public-Facing Application”后自动关联近期该类型应用的高危CVE。模型微调Fine-tuning当积累足够多的高质量标注数据后可以对SecGPT-14B进行LoRA等参数高效微调让它更适应我们特定场景的报告风格和关注重点从而进一步提升准确率。这个项目让我深刻体会到大模型在垂直领域的落地关键不在于模型的参数有多大而在于你对业务场景的理解有多深以及你如何用工程化的思维去“驾驭”它。SecGPT-14B是一个强大的工具但如何设计Prompt、如何预处理数据、如何评估和迭代这些才是决定项目成败的“手艺活”。
