文章核心总结与创新点主要内容本文针对大型语言模型（LLMs）在多领域部署中缺乏严谨可靠性评估方法的问题，提出了HIP-LLM框架——一种基于分层不精确概率的LLM可靠性评估模型。该框架以软件可靠性工程为基础，将LLM可靠性定义为特定操作场景下未来任务无故障运行的概率，通过层级化结构建模（子领域→领域→通用LLM）、整合操作剖面（OP）反映实际使用场景、嵌入不精确先验捕捉认知不确定性，最终输出量化不确定性的后验可靠性边界。实验通过多个基准数据集验证，HIP-LLM相比现有基准测试和主流方法，能更准确、标准化地刻画LLM可靠性。创新点层级化建模：明确考虑任务间的层级依赖关系（领域间独立、领域内子领域依赖），支持多粒度（子领域、领域、全局）可靠性推断。融合操作剖面（OP）：在各层级嵌入操作权重，反映实际使用中不同任务的出现频率，解决基准测试与动态实际使用场景的脱节问题。不精确概率处理：通过区间形式的超参数表示不精确先验，避免单一先验的主观性，输出后验可靠性边界，全面量化数据和先验带来的不确定性。标准化可靠性定义：遵循软件可靠性标准，将LLM可靠性扩展为“未来n个任务无故障运行概率”，超越了仅关注单次失败概率的现有方法。开源工具支持：提供包含实验数据、源代码和模型的公开仓库，便于复用和扩展。译文（Markdown格式）Abstract
HIP-LLM: A Hierarchical Imprecise Probability Approach to Reliability Assessment of Large Languag...
文章核心总结与创新点主要内容本文针对大型语言模型（LLMs）在多领域部署中缺乏严谨可靠性评估方法的问题，提出了HIP-LLM框架——一种基于分层不精确概率的LLM可靠性评估模型。该框架以软件可靠性工程为基础，将LLM可靠性定义为特定操作场景下未来任务无故障运行的概率，通过层级化结构建模（子领域→领域→通用LLM）、整合操作剖面（OP）反映实际使用场景、嵌入不精确先验捕捉认知不确定性，最终输出量化不确定性的后验可靠性边界。实验通过多个基准数据集验证，HIP-LLM相比现有基准测试和主流方法，能更准确、标准化地刻画LLM可靠性。创新点层级化建模：明确考虑任务间的层级依赖关系（领域间独立、领域内子领域依赖），支持多粒度（子领域、领域、全局）可靠性推断。融合操作剖面（OP）：在各层级嵌入操作权重，反映实际使用中不同任务的出现频率，解决基准测试与动态实际使用场景的脱节问题。不精确概率处理：通过区间形式的超参数表示不精确先验，避免单一先验的主观性，输出后验可靠性边界，全面量化数据和先验带来的不确定性。标准化可靠性定义：遵循软件可靠性标准，将LLM可靠性扩展为“未来n个任务无故障运行概率”，超越了仅关注单次失败概率的现有方法。开源工具支持：提供包含实验数据、源代码和模型的公开仓库，便于复用和扩展。译文（Markdown格式）Abstract
