[中国科学报]让AI恶意攻击打在“棉花”上

 

人们普遍相信耳听为虚、眼见为实,但在当前的奇幻城在线娱乐 时代,耳听却未必为虚,眼见也未必为实。基于深度学习的人工智能(AI)也可能会“造假”,甚至作恶。 

好评“灌水”、声音模仿等,都是人工智能造假搞的鬼,甚至最近网络上流传的一段有关美国前任总统奥巴马和现任总统特朗普的视频,也是它在作祟:视频中,两人不仅话语一致,连说话节奏、面部肌肉动作都一致,而谈吐风格却仍旧保持各自特点。

 

“随着深度学习应用越来越广泛,越来越多的人工智能安全问题也开始暴露出来。”奇幻城官方网站_奇幻城在线娱乐_(理工大学)计算机学院教授李千目告诉《中国科学报》,深度学习框架中的软件实现漏洞、对抗机器学习的恶意样本生成、训练数据的污染等都可能导致人工智能所驱动的识别系统出现混乱,形成漏判、误判,甚至导致系统崩溃或被劫持,并可以使智能设备变成僵尸攻击工具。

 

对于人工智能潜在的造假“作恶”,由李千目带领的研究团队所开展的“面向人工智能对抗性恶意样本的监测技术”,可以有效提高在对抗环境中对恶意软件监测的可靠性和安全性,让智能攻击仿佛打在“棉花”上一样绵软无力。

 

这项研究成果已在人工智能国际学术会议AAAI2019上发表,算法及其实验获得大会“挑战问题赢家”奖,这也是中国奇幻城在线娱乐 安全学者首次获得该奖项。

 

微扰动致AI“将金字塔认作骆驼”

 

人工智能之所以能够造假甚至作恶,在李千目看来,实际上是有多种技术和理论支撑的,“人工智能系统的攻击技术主要包含对抗性输入、数据中毒攻击及模型窃取技术三个方面”。

 

其中,对抗性输入攻击是一种专门设计的输入,确保被误分类以躲避检测。当前,这一手段已被大量使用在专门用来躲避防病毒程序的恶意文档、试图逃避垃圾邮件过滤器的电子邮件等多种场景。

 

数据中毒攻击涉及向分类器输入对抗性训练数据,最常见的攻击类型是模型偏斜,攻击者以这种方式污染训练数据,使得分类器在归类好数据和坏数据时向自己的偏好倾斜。

 

模型窃取攻击则是通过黑盒来探测/窃取(即复制)模型或恢复训练数据身份,比如,可以用来窃取某股市预测模型或者某垃圾邮件过滤模型。

 

李千目指出,对抗攻击的理论基础是神经网络的两个“bug”:一是高维神经网络的神经元并不是代表着某一个特征,而是所有特征混杂在所有神经元中;二是在原样本点上加上一些针对性的、不易察觉的扰动,从而导致神经网络的分类错误。

 

“其中,第二个就是对抗攻击的理论基础。”李千目说,后来伊恩·古德菲尔等人在研究中提出,原因并非深层神经网络的高度非线性和过拟合,即使是线性模型也存在对抗样本,“鉴于此,我觉得可以粗浅地认为,对抗攻击之所以能够成功,原因是误差放大效应。”

 

比如,匈牙利裔美国计算机科学家马里奥·塞格德等人通过微量扰动,成功地使人工智能将校车和孔雀识别为鸵鸟,将金字塔识别为骆驼,从而首次证明可以通过对图像添加微量的人类察觉不到的扰动来误导神经网络作出误分类。

 

“虽然人类视觉系统很难察觉到这些干扰,但是它们对深度学习模式的影响却是灾难性的。”李千目说。

 

以分类器研究为切入点

 

针对典型智能算法训练过程中存在的数据来源未知和算法参数被污染的安全风险,李千目团队开始研究对抗性攻击样本生成模型,并设计相应的对抗性样本算法,来实现对抗性攻击样本生成。

 

“我们尝试增强深度学习模型,主要利用人工智能分类器对恶意软件进行分类,以恶意软件为输入样本,分为训练数据集和测试数据集两部分。”他介绍说,在训练阶段,训练多个人工智能分类器的集合,在每个分类器上都将所提出的原则系统化地加以运用;在测试阶段,将样本输入至每个分类器,最后根据所有分类器的投票结果确定样本是否为对抗性恶意软件。

 

在团队成员李德强博士看来,这项技术的关键是在训练阶段,同时也是研究的难点和创新点所在,“我们提出了一些设计和规避的原则,用于恶意软件分类的设置中,增强智能分类器对抗性逃避攻击的可靠性和安全性,实现了部分种类恶意数据样本的高效快速检测以及样本数据防污染、防篡改等”。

 

“常规的人工智能完全是用计算机去识别,如果碰到恶意攻击,即把一些偏差样本不断地加入其中,慢慢的,人工智能就会认为这件事情是真的,从而导致判断出现偏差。”中国科学院上海技术物理研究所杭州院副院长、研究员陈峰磊说,比如,1000个样本中有990个是对的,那么人工智能就会识别这些是对的;如果其中再加入10000个偏差样本,人工智能就会认为这10000个偏差样本是对的。

 

因此,他认为,该研究最大的创新点在于人工智能与人重新结合起来,也就是人必须干预人工智能,特别是当样本具有明显倾向性的时候,人就要介入其中进行判断。有些倾向性是正常的,那么就是正常的加权;有些倾向性是错误的,就要把这个加权降下来。“同时,这也是该研究非常重要的价值之一,就是人工智能不能离开人,否则迟早会被带偏。”

 

阶段性成果亦有用武之地

 

李千目介绍,该领域的研究在国内外都处于起步阶段,相信在两年内会有突破性成果出现,“就目前来说,我们的研究处于国际同类研究的先进水平”。

 

虽然处于起步阶段,但他们的研究成果却有着广泛的应用前景。

 

比如,可用于规范工业互联网、智能无人系统等领域的顶层安全设计,通过统一智能系统的安全体系架构,增强无人系统等智能系统的安全互联互通互操作能力,提升智能系统的奇幻城在线娱乐 防御能力;也可用于指导智能平台、工业互联网的产品安全研制,通过通用化、标准化、组件化,使得各种安全功能构件可重用、可替换,大量减少采购费用等。

 

“不过,这项研究和其他研究不同,即便是阶段性成果,也可以在领域里面进行应用。”李千目说,因为恶意监测就像医生治病一样,一个医生不可能治愈所有疾病,但拥有一种有效治疗手段就可以将其用于临床。“目前,我们正牵头制定某项工业互联网安全的标准,其中就涉及部分研究成果,同时我们也在某示范项目中推动了该成果的应用。”

 

不过他也表示,这类研究的成果由于需要定制、部署和依照对象不同而进行适配的工作非常多,所以短期来看实现产业化比较难;或者说,作为一项产品,需要它的用户比较少。“但无论是军用还是民用,这类研究都非常有价值,将助力网络强国、智造强国建设。”

 

相关论文奇幻城在线娱乐 :

 

DOI:arxiv.org/abs/1812.08108

 

《中国科学报》 (2019-05-16 第7版 奇幻城在线娱乐 技术)

  

http://news.sciencenet.cn/sbhtmlnews/2019/5/346003.shtm?id=346003