AI（人工智慧）获得洞察力和做出决策的方式通常是复杂而神秘的，这引发了人们对深度或机器学习（AI的核心演算法）的可信度的担忧。

最近有一项新的研究，希望透过比较AI软体的推理与人类推理的匹配程度，以便了解AI是否像人类一样做决定。

探究AI学习的方式

随着机器学习越来越广泛应用到现实世界，了解它如何得出结论以及它是否正确至关重要。例如AI系统似乎可以准确地预测某张照片中皮肤的病变是癌症，但它可能是通过图像背景中不相关的黑点来做出判断的。

对AI的机器学习而言，知道一个模型的决定很容易，但知道这个模型为什么做出这个决定，却很难。

理解AI推理的一种常见策略是检查程式关注的资料（比如说一张图像或一个句子）的特征，并观察AI程式如何出决定。然而这种所谓的显著性方法（Saliency Method）通常一次只能针对一个决策进行了解，并且必须手动检查每个决策。但AI系统通常使用数百万个资料实例进行训练，这使得人工几乎不可能分析出足够多的决策，来识别AI的正确或不正确。

「共享兴趣」助学习

现在科学家们研究出一种方法来收集和检查AI对其决策的解释，从而可以快速分析其行为，这项名为「共享兴趣」（Shared Interest）的新技术，将AI决策的显著性分析与人工注解的资料库进行比较。

例如图像识别程式，如果将一张图片分类为狗的图片，而显著性分析可能会显示程式是根据图片的头部和身体的像素来做出决定。共享兴趣方法就是将这些显著性方法的结果与这些图像的资料库进行比较，在图像资料库中，人们注解了图片的哪些部分可以决定这张图片是一只狗。

AI见微知著？

基于这种比较，我们可以知道AI的决策与人类推理的一致性（是否都是由图片相同的某个地方或特征来做出决定），在光谱的一端，AI可能被证明是完全符合人类的，程式做出正确的决策，且决策符合资料库中人类的标注。在另一端，AI完全凸槌，做出了错误的预测，并且决策依据完全没有根据人类所标注的任何特征。

通常AI决策，无论是正确或错误，可能只有部分根据是符合人类标注的特征。例如AI可能仅根据图像的一部分（例如轮胎）就正确地识别图像中的车子，而不是像人类那样识别整辆车；或者在X光或电脑断层图片中，AI可能针对图片的一部分或错误的部分就做出诊断，即使诊断是正确的，这种系统医生也不会用，因为它是根据不相关的细节，而不是实际的病变所做出的预测。

图片标注可能相对容易，但AI的应用范围很广，可能有各式各样的训练资料，各种不同的资料的显著点何在，训练资料库如何标注也是一个大问题，这也就是为什么「了解AI如何运作」和「了解AI如何得到结果」是如此困难。

总之，对AI黑盒子的决定大家还是要谨慎小心，尤其是牵涉到攸关生死的决定。

文章来源：台湾醒报 张瑞雄