你所在的位置: 首页 > 正文

欺骗AI手册

2019-08-02 点击:1399

  原创汽车商业评论8小时前我要分享

Fastcompany,作者:MARKWILSON

美国大学最难创建可以混淆AI的照片文件,缩小最终5%的准确性差距是最困难的

那是桌子上的井盖还是蟑螂?那是一只绿色的鬣蜥还是一只带坚果的松鼠?滑板或鳄鱼在路中间吗?

如果它是人类,在上述情况下很容易给出正确的答案,但如果用世界上最好的图像识别人工智能(AI)代替,它就找不到任何线索。

芝加哥大学,华盛顿大学和加州大学伯克利分校正在进行最终的照片存档。大约7,000张照片中的每张都经过精心挑选,以欺骗最先进的图像识别技术。

“当前(机器学习)模型非常脆弱,”博士Dan Hendrycks说。加州大学伯克利分校计算机科学专业的学生。 “虽然其他研究使用人工数据来研究稳健性,但我们发现每个模型都会对真实数据(使用真实照片)产生惊人且高度一致的错误。”

要理解为什么这很重要,让我们回顾一下历史。

在过去的几年中,图像识别技术发展得非常快,效果越来越好。其中很大一部分原因归功于ImageNet,这是斯坦福大学开发的一个不断增长的开放数据集。

现在,这个系列有超过1400万张照片,每张照片都有一个标识符,如“树”和“天空”。

这个庞大的数据库就像一个训练集,或者是学习如何在新的AI系统中识别图像的参考,就像幼儿可以通过参考图画书慢慢学习一个新单词一样。

用ImageNet培训的AI,例如微软的Bing,可实现高精度,并能够以高达95%的准确度识别物体。这实际上比做同样工作的人更好。

然而,缩小最终5%的精度差距是一个非常大的问题。自2017年以来,计算机在识别图像方面并未变得更加准确。这就是研究人员正在探索如何理解计算机似乎无法解决的少数图像的原因。

工作人员所做的是在Flickr上手动搜索他们认为可能会混淆软件的照片。他们使用在ImageNet上训练的AI模型测试照片,如果图像混淆系统,则将它们添加到新数据集中。并被命名为ImageNet-A。

可以说这7000张照片与ImageNet相反,人工智能的准确率从90%以上降至仅2%。是的,你没有错。当你看了100次照片时,世界上最好的视觉AI模型将被混淆98次。

问题是为什么AI系统无法理解这些图像。问题很复杂。

今天,人工智能的改进倾向于积累大量数据并根据最终结论判断其准确性,而不是基于实现它的过程。

换句话说,如果AI看到足够的树形状,它可以识别新照片中的树,然后我们认为系统是成功的。 (这个重复的任务称为机器学习)

问题是我们不知道为什么AI决定树是一棵树。它是一个形状?颜色?仍然是背景?质地?是因为树木有一些人类从未意识到的核心几何形状?

我们不知道。我们判断AI的标准是它的答案,而不是中间的推理。

这意味着人们可以从AI中获得各种意外偏差,这在人工智能系统用于自动驾驶汽车或刑事司法等技术时构成了一个主要问题。

这也意味着图像识别系统并不是真正的智能,他们更像是玩匹配游戏的专家。

ImageNet-A旨在诱骗AI发现为什么有些图像会混淆这些系统。

例如,当AI将松鼠的图像误解为海狮时,我们可以看到它缺乏更深层次的智力和推理技巧。该系统仅依赖于这些动物的纹理,无论它们的相对大小或形状如何。

“需要知道物体形状的照片似乎是最具欺骗性的,”亨德里克解释道。

通过ImageNet-A,研究人员成功地在视觉人工智能中发现了7,000个盲点。这个数字更多了吗?这是否意味着将这些图像放入新的训练集可以弥补系统的缺点?很可能不是。

基于现实世界的多样性和复杂性,使用这些图像进行AI培训可能无法教导数据模型如何有效地管理所有视觉输入。

作为回应,Hendrick给出了答案:“收集和标记1万亿个图像可以解决一些模型盲点,但是当新场景发生并且世界发生变化时,可能会在之前匹配每个盲点。会失败。“

换句话说,简单地将越来越多的照片添加到当前的机器学习数据集中并不能解决其逻辑的核心缺陷。

将始终存在计算机之前未见过的图像,因此无法准确识别。那么研究人员可以做些什么来缩小差距5%呢?

亨德里克表示他们需要开发超越现代机器学习的新方法来创建更复杂的AI系统。或者,不要这样做让人类继续保持对机器的优越感,即使它需要更多的时间。

本文为第一作者的原创,未经授权不得转载

收集报告投诉

Fastcompany,作者:MARKWILSON

美国大学最难创建可以混淆AI的照片文件,缩小最终5%的准确性差距是最困难的

那是桌子上的井盖还是蟑螂?那是一只绿色的鬣蜥还是一只带坚果的松鼠?滑板或鳄鱼在路中间吗?

如果它是人类,在上述情况下很容易给出正确的答案,但如果用世界上最好的图像识别人工智能(AI)代替,它就找不到任何线索。

芝加哥大学,华盛顿大学和加州大学伯克利分校正在进行最终的照片存档。大约7,000张照片中的每张都经过精心挑选,以欺骗最先进的图像识别技术。

“当前(机器学习)模型非常脆弱,”博士Dan Hendrycks说。加州大学伯克利分校计算机科学专业的学生。 “虽然其他研究使用人工数据来研究稳健性,但我们发现每个模型都会对真实数据(使用真实照片)产生惊人且高度一致的错误。”

要理解为什么这很重要,让我们回顾一下历史。

在过去的几年中,图像识别技术发展得非常快,效果越来越好。其中很大一部分原因归功于ImageNet,这是斯坦福大学开发的一个不断增长的开放数据集。

现在,这个系列有超过1400万张照片,每张照片都有一个标识符,如“树”和“天空”。

这个庞大的数据库就像一个训练集,或者是学习如何在新的AI系统中识别图像的参考,就像幼儿可以通过参考图画书慢慢学习一个新单词一样。

用ImageNet培训的AI,例如微软的Bing,可实现高精度,并能够以高达95%的准确度识别物体。这实际上比做同样工作的人更好。

然而,缩小最终5%的精度差距是一个非常大的问题。自2017年以来,计算机在识别图像方面并未变得更加准确。这就是研究人员正在探索如何理解计算机似乎无法解决的少数图像的原因。

工作人员所做的是在Flickr上手动搜索他们认为可能会混淆软件的照片。他们使用在ImageNet上训练的AI模型测试照片,如果图像混淆系统,则将它们添加到新数据集中。并被命名为ImageNet-A。

可以说这7000张照片与ImageNet相反,人工智能的准确率从90%以上降至仅2%。是的,你没有错。当你看了100次照片时,世界上最好的视觉AI模型将被混淆98次。

问题是为什么AI系统无法理解这些图像。问题很复杂。

今天,人工智能的改进倾向于积累大量数据并根据最终结论判断其准确性,而不是基于实现它的过程。

换句话说,如果AI看到足够的树形状,它可以识别新照片中的树,然后我们认为系统是成功的。 (这个重复的任务称为机器学习)

问题是我们不知道为什么AI决定树是一棵树。它是一个形状?颜色?仍然是背景?质地?是因为树木有一些人类从未意识到的核心几何形状?

我们不知道。我们判断AI的标准是它的答案,而不是中间的推理。

这意味着人们可以从AI中获得各种意外偏差,这在人工智能系统用于自动驾驶汽车或刑事司法等技术时构成了一个主要问题。

这也意味着图像识别系统并不是真正的智能,他们更像是玩匹配游戏的专家。

ImageNet-A旨在诱骗AI发现为什么有些图像会混淆这些系统。

例如,当AI将松鼠的图像误解为海狮时,我们可以看到它缺乏更深层次的智力和推理技巧。该系统仅依赖于这些动物的纹理,无论它们的相对大小或形状如何。

“需要知道物体形状的照片似乎是最具欺骗性的,”亨德里克解释道。

通过ImageNet-A,研究人员成功地在视觉人工智能中发现了7,000个盲点。这个数字更多了吗?这是否意味着将这些图像放入新的训练集可以弥补系统的缺点?很可能不是。

基于现实世界的多样性和复杂性,使用这些图像进行AI培训可能无法教导数据模型如何有效地管理所有视觉输入。

作为回应,Hendrick给出了答案:“收集和标记1万亿个图像可以解决一些模型盲点,但是当新场景发生并且世界发生变化时,可能会在之前匹配每个盲点。会失败。“

换句话说,简单地将越来越多的照片添加到当前的机器学习数据集中并不能解决其逻辑的核心缺陷。

将始终存在计算机之前未见过的图像,因此无法准确识别。那么研究人员可以做些什么来缩小差距5%呢?

亨德里克表示他们需要开发超越现代机器学习的新方法来创建更复杂的AI系统。或者,不要这样做让人类继续保持对机器的优越感,即使它需要更多的时间。

本文为第一作者的原创,未经授权不得转载

888真人在线体育 版权所有© www.9xny98f3yxlz8sd6o.com 技术支持:888真人在线体育 | 网站地图