当前位置:首页 » 除了天衣无缝的换脸,人工智能还有哪些不安全
除了天衣无缝的换脸,人工智能还有哪些不安全

  2017年,人工智能换脸软件将《神奇女侠》盖尔·加朵的脸,嫁接到了一部成人电影女主角身上,引起了公众对人工智能的担忧。“在人工智能领域,学术界关注精度,企业界关注精度和速度,但人工智能要再向前走就必须关注安全。”在12月23日上海科学会堂举行的“科技创新·智慧赋能”2020人工智能与数字化发展峰会上,复旦大学计算机科学技术学院院长姜育刚教授指出,“在人工智能的关键场景下,一旦被攻击,就会引发重大的问题。” 

  峰会由市经信委、上海科创办、市科协指导,市科协人工智能专委会主办,达观数据承办,市科协党组书记、副主席马兴发,市科协党组成员、二级巡视员黄兴华等出席会议。

  马兴发在致辞中表示,为贯彻落实市委市政府关于“抓好重点产业突破,做大做强集成电路、人工智能和生物医药三大产业”的要求,市科协依托人才资源、组织优势,探索建立发挥高层次专家作用的机制,成立上海市科协集成电路、人工智能和生物医药专业委员会。此次峰会聚焦人工智能与数字化发展,通过专家们分享洞见、碰撞火花、凝聚共识,找到人工智能“赋能”城市转型的结合点、发力点,进一步提升上海在数字化应用、金融科技、产业生态发展、城市治理等方面的创新能力,为上海加快建设具有全球影响力的国际数字之都贡献聪明才智。

  人工智能也会“看走眼”“听不清”“识错字”

  人工智能应用究竟面临怎样的安全问题?姜育刚指出,与人工智能相关的安全问题目前主要集中在两个方面,一是用手段或技术欺骗人工智能,二是人工智能生成虚假内容,欺骗人。两者都会造成或大或小的安全影响。

  “欺骗机器,最典型的是对抗样本。”姜育刚解释说,只需要在人工智能识别的图片中加入噪声,比如在原来的图片上再画上几笔,即使是每个像素产生的扰动非常小,甚至是人眼看不出什么区别,却会干扰到人工智能的识别模型,让机器出现错误的认知。

  这一源自人眼识别与机器识别的机制差别,会让人工智能产生非常多的差错。而在某些场景下,“看走眼”人工智能会带来巨大的安全隐患。如在自动驾驶场景中,“限速80迈”的标牌被画上了几个污点,可能会被机器看成“停止”的标牌,从而引发交通事故。

  对于人工智能来说,不仅会“看走眼”,还会“听不清”“识错字”。“声音上加入扰动的音频,会影响人工智能识别语音。”姜育刚说,“而在一篇文章中改变一个字母,对于人类而言可能会忽略不计,但人工智能就会错误地理解文本内容。”

  轻而易举的后门攻击和难以识别的换脸

  如果说人工智能本身还有一定缺陷导致识别错误,那么后门攻击就是人为的人工智能安全问题。后门攻击可以与计算机病毒相提并论,通过向智能识别系统的训练数据安插后门,使其对特定信号敏感,并诱导其产生攻击者制定的错误行为。

  姜育刚用盖尔·加朵的头像说明后门攻击的可怕:当盖尔·加朵的脸上被人为地添加了一副眼镜,然后改变其他脸部特征;人工智能在训练中发现,需要识别的人脸上,只有眼镜是不变的,从而将眼镜作为盖尔·加朵的最重要特征;此时,用一个大叔的脸替换盖尔·加朵,只需要添加上眼镜,人工智能就会把大叔识别成盖尔·加朵。

  与欺骗机器相比,人工智能生成虚假内容更不容易别识别。“过去我们还能通过视觉瑕疵,如边缘的差别等来鉴别换脸视频,但现在换脸已经越来越难以通过人眼来识别。”姜育刚说。

  人工智能的安全防御手段还远远不够

  在复旦大学的实验室里,姜育刚带领团队完成了视频识别模型上的黑盒对抗攻击实验。在目标攻击下,只需要3-8万次访问,就可以达成93%攻击率;对非目标攻击,只需要几百次访问即可。而在视频数据的后门攻击实验中,可以达到80%的成功率。人工智能在安全上的脆弱一览无遗,令人担忧,但目前提升安全的手段却并不多。

  姜育刚坦言,无论欺骗人工智能还是人工智能造假,目前都还没有很好的防御办法。在防御欺骗人工智能上,一是可以对抗样本进行检测,但通用性低;二是对人工智能进行对抗训练,但复杂度高;三是通过去噪手段还原对抗样本,但大大降低识别效率。“我们亟需研究通用性强、效率高的对抗样本防御办法。”姜育刚说。

来源:上海科技报社
版权所有: 上海市科学技术协会    上海科普网提供技术维护支持
沪公网安备 31010102006600号    沪ICP备16020963号