人工智能在帮助医生诊断患者和个性化治疗方案方面显示出巨大潜力。然而由麻省理工学院领导的国际科学家团队警告称目前设计的AI系统存在将医生引入错误方向的风险因为它们可能会过于自信地做出错误决定。研究人员表示防止这些错误的一种方法是将AI系统编程得更加谦逊。这样的系统会在对诊断或建议缺乏信心时主动表明并在诊断不确定时鼓励用户收集更多信息。我们现在把AI当作神谕使用但我们可以把AI当作教练。我们可以把AI当作真正的副驾驶。这不仅会增强我们检索信息的能力还会增强我们连接各种信息点的能力MIT医学工程与科学研究所高级研究科学家、Beth Israel Deaconess医疗中心医生、哈佛医学院副教授Leo Anthony Celi说。Celi和他的同事创建了一个框架他们说这可以指导AI开发者设计显示好奇心和谦逊的系统。研究人员表示这种新方法可以让医生和AI系统作为合作伙伴工作并帮助防止AI对医生决策产生过大影响。Celi是这项研究的资深作者该研究今天发表在《BMJ健康与护理信息学》上。论文的主要作者是Sebastián Andrés Cajas Ordonez他是MIT Critical Data的研究员这是一个由MIT医学工程与科学研究所计算生理学实验室领导的全球联盟。融入人类价值观据MIT团队称过度自信的AI系统可能在医疗环境中导致错误。先前的研究发现ICU医生会依赖他们认为可靠的AI系统即使他们自己的直觉与AI建议相反。当AI建议被认为具有权威性时医生和患者都更容易接受错误的AI建议。研究人员表示医疗机构应该使用与临床医生更协作的AI系统而不是提供过度自信但可能错误建议的系统。我们正在努力将人类纳入这些人机AI系统中这样我们就能促进人类集体反思和重新想象而不是让孤立的智能体做所有事情。我们希望人类通过使用AI变得更有创造力Cajas Ordonez说。为了创建这样的系统该联盟设计了一个框架包括几个可以集成到现有AI系统中的计算模块。其中第一个模块要求AI模型在做出诊断预测时评估自己的确定性。由联盟成员、墨尔本大学的Janan Arslan和Kurt Benke开发的认识论美德评分充当自我意识检查确保系统的信心被每个临床场景的固有不确定性和复杂性适当调节。有了这种自我意识模型就可以根据情况调整其反应。如果系统检测到其信心超过了可用证据支持的水平它可以暂停并标记这种不匹配请求能够解决不确定性的特定检查或病史或建议专科会诊。目标是让AI不仅提供答案还要在这些答案应该谨慎对待时发出信号。这就像有一个副驾驶会告诉你你需要寻求新的眼光来更好地理解这个复杂的患者Celi说。Celi和他的同事此前已经开发了可用于训练AI系统的大规模数据库包括来自Beth Israel Deaconess医疗中心的重症监护医疗信息市场MIMIC数据库。他的团队现在正在将新框架实施到基于MIMIC的AI系统中并将其介绍给Beth Israel Lahey健康系统的临床医生。研究人员表示这种方法也可以在用于分析X光图像或确定急诊室患者最佳治疗方案的AI系统中实施。迈向更具包容性的AI这项研究是Celi和他的同事创建AI系统的更大努力的一部分这些系统由最终将受到这些工具影响最大的人员设计和使用。许多AI模型如MIMIC都是在美国公开可用的数据上训练的这可能导致对某种医疗问题思考方式的偏见并排除其他观点。Celi说引入更多观点对于克服这些潜在偏见至关重要强调全球联盟的每个成员都为更广泛的集体理解带来了独特的视角。用于诊断的现有AI系统的另一个问题是它们通常在电子健康记录上训练而这些记录最初并不是为此目的而设计的。这意味着数据缺乏在做出诊断和治疗建议时有用的大量背景信息。此外许多患者由于缺乏访问权限如生活在农村地区的人从未被纳入这些数据集。在MIT Critical Data主办的数据研讨会上数据科学家、医疗专业人员、社会科学家、患者等群体共同设计新的AI系统。在开始之前每个人都被提示思考他们使用的数据是否捕获了他们旨在预测的所有驱动因素确保他们不会无意中将现有的结构性不公平编码到他们的模型中。我们让他们质疑数据集。他们对自己的训练数据和验证数据有信心吗他们认为是否有患者被无意或有意排除这将如何影响模型本身他说。当然我们不能停止甚至延迟AI的发展不仅是在医疗保健领域在每个行业都是如此。但是我们必须在如何做这件事上更加深思熟虑和周到。这项研究由韩国卫生产业发展研究院通过波士顿-韩国创新研究项目资助。QAQ1什么是谦逊的人工智能它与传统AI有什么不同A谦逊的人工智能是指能够在缺乏信心时主动表明不确定性的AI系统。与传统过度自信的AI不同谦逊AI会在诊断不确定时鼓励用户收集更多信息避免误导医生做出错误决定。Q2认识论美德评分是什么它如何帮助AI变得更谦逊A认识论美德评分是由墨尔本大学研究人员开发的计算模块充当AI的自我意识检查。它确保系统的信心被每个临床场景的固有不确定性和复杂性适当调节让AI在信心超过证据支持水平时能够暂停并标记不匹配。Q3为什么现有的医疗AI系统容易产生偏见A现有医疗AI系统容易产生偏见主要有两个原因一是许多模型在美国公开数据上训练导致对某种医疗问题思考方式的偏见二是训练数据基于电子健康记录缺乏诊断所需的背景信息且许多患者因缺乏医疗access未被纳入数据集。
如何创造“谦逊“的人工智能
人工智能在帮助医生诊断患者和个性化治疗方案方面显示出巨大潜力。然而由麻省理工学院领导的国际科学家团队警告称目前设计的AI系统存在将医生引入错误方向的风险因为它们可能会过于自信地做出错误决定。研究人员表示防止这些错误的一种方法是将AI系统编程得更加谦逊。这样的系统会在对诊断或建议缺乏信心时主动表明并在诊断不确定时鼓励用户收集更多信息。我们现在把AI当作神谕使用但我们可以把AI当作教练。我们可以把AI当作真正的副驾驶。这不仅会增强我们检索信息的能力还会增强我们连接各种信息点的能力MIT医学工程与科学研究所高级研究科学家、Beth Israel Deaconess医疗中心医生、哈佛医学院副教授Leo Anthony Celi说。Celi和他的同事创建了一个框架他们说这可以指导AI开发者设计显示好奇心和谦逊的系统。研究人员表示这种新方法可以让医生和AI系统作为合作伙伴工作并帮助防止AI对医生决策产生过大影响。Celi是这项研究的资深作者该研究今天发表在《BMJ健康与护理信息学》上。论文的主要作者是Sebastián Andrés Cajas Ordonez他是MIT Critical Data的研究员这是一个由MIT医学工程与科学研究所计算生理学实验室领导的全球联盟。融入人类价值观据MIT团队称过度自信的AI系统可能在医疗环境中导致错误。先前的研究发现ICU医生会依赖他们认为可靠的AI系统即使他们自己的直觉与AI建议相反。当AI建议被认为具有权威性时医生和患者都更容易接受错误的AI建议。研究人员表示医疗机构应该使用与临床医生更协作的AI系统而不是提供过度自信但可能错误建议的系统。我们正在努力将人类纳入这些人机AI系统中这样我们就能促进人类集体反思和重新想象而不是让孤立的智能体做所有事情。我们希望人类通过使用AI变得更有创造力Cajas Ordonez说。为了创建这样的系统该联盟设计了一个框架包括几个可以集成到现有AI系统中的计算模块。其中第一个模块要求AI模型在做出诊断预测时评估自己的确定性。由联盟成员、墨尔本大学的Janan Arslan和Kurt Benke开发的认识论美德评分充当自我意识检查确保系统的信心被每个临床场景的固有不确定性和复杂性适当调节。有了这种自我意识模型就可以根据情况调整其反应。如果系统检测到其信心超过了可用证据支持的水平它可以暂停并标记这种不匹配请求能够解决不确定性的特定检查或病史或建议专科会诊。目标是让AI不仅提供答案还要在这些答案应该谨慎对待时发出信号。这就像有一个副驾驶会告诉你你需要寻求新的眼光来更好地理解这个复杂的患者Celi说。Celi和他的同事此前已经开发了可用于训练AI系统的大规模数据库包括来自Beth Israel Deaconess医疗中心的重症监护医疗信息市场MIMIC数据库。他的团队现在正在将新框架实施到基于MIMIC的AI系统中并将其介绍给Beth Israel Lahey健康系统的临床医生。研究人员表示这种方法也可以在用于分析X光图像或确定急诊室患者最佳治疗方案的AI系统中实施。迈向更具包容性的AI这项研究是Celi和他的同事创建AI系统的更大努力的一部分这些系统由最终将受到这些工具影响最大的人员设计和使用。许多AI模型如MIMIC都是在美国公开可用的数据上训练的这可能导致对某种医疗问题思考方式的偏见并排除其他观点。Celi说引入更多观点对于克服这些潜在偏见至关重要强调全球联盟的每个成员都为更广泛的集体理解带来了独特的视角。用于诊断的现有AI系统的另一个问题是它们通常在电子健康记录上训练而这些记录最初并不是为此目的而设计的。这意味着数据缺乏在做出诊断和治疗建议时有用的大量背景信息。此外许多患者由于缺乏访问权限如生活在农村地区的人从未被纳入这些数据集。在MIT Critical Data主办的数据研讨会上数据科学家、医疗专业人员、社会科学家、患者等群体共同设计新的AI系统。在开始之前每个人都被提示思考他们使用的数据是否捕获了他们旨在预测的所有驱动因素确保他们不会无意中将现有的结构性不公平编码到他们的模型中。我们让他们质疑数据集。他们对自己的训练数据和验证数据有信心吗他们认为是否有患者被无意或有意排除这将如何影响模型本身他说。当然我们不能停止甚至延迟AI的发展不仅是在医疗保健领域在每个行业都是如此。但是我们必须在如何做这件事上更加深思熟虑和周到。这项研究由韩国卫生产业发展研究院通过波士顿-韩国创新研究项目资助。QAQ1什么是谦逊的人工智能它与传统AI有什么不同A谦逊的人工智能是指能够在缺乏信心时主动表明不确定性的AI系统。与传统过度自信的AI不同谦逊AI会在诊断不确定时鼓励用户收集更多信息避免误导医生做出错误决定。Q2认识论美德评分是什么它如何帮助AI变得更谦逊A认识论美德评分是由墨尔本大学研究人员开发的计算模块充当AI的自我意识检查。它确保系统的信心被每个临床场景的固有不确定性和复杂性适当调节让AI在信心超过证据支持水平时能够暂停并标记不匹配。Q3为什么现有的医疗AI系统容易产生偏见A现有医疗AI系统容易产生偏见主要有两个原因一是许多模型在美国公开数据上训练导致对某种医疗问题思考方式的偏见二是训练数据基于电子健康记录缺乏诊断所需的背景信息且许多患者因缺乏医疗access未被纳入数据集。
