Large Language Models in Thematic Analysis: Prompt Engineering, Evaluation, and Guidelines for Qu...

文章核心总结与创新点一、主要内容该研究聚焦大型语言模型（LLMs）在定性研究的主题分析（TA）中的应用，针对软件工程（SE）领域定性研究的需求，以Braun和Clarke的反思性主题分析框架为基础，系统探索了LLMs在TA第2-5阶段的表现。研究背景：LLMs在定性数据分析中展现出潜力，但当前缺乏可复现的集成方法，且对其输出质量的系统性评估不足，存在透明度低、模型范围窄、方法严谨性欠缺等问题。研究设计：数据集：15份关于软件工程师幸福感的半结构化访谈转录文本（177页），含人类研究者预编码结果作为对照。模型选择：测试ChatGPT 03 mini、GPT-4o、Gemini 2.5 Pro、Claude 4 Sonnet四种主流LLM。prompt工程：迭代优化TA第2-5阶段的提示词（最终版本V8），明确角色、研究目标、编码原则等核心要素。评估体系：基于Braun和Clarke的质量标准设计两套评估量表，分别针对编码和主题质量，由4位跨领域专家进行盲评。核心发现：编码阶段：评估者61%的时间更偏好LLM生成的编码，认为其在清晰度、相关性上表现优异，但存在数据过度碎片化、遗漏潜在含义、主题边界模糊等问题。主题阶段：LLM生成的主题整体质量良好，但部分主题存在边界不清、过度碎片化的问题，需人类合并优化