未来人工智能技术的应用场景会日益增多，并且将从语音识别、人脸识别等领域逐步延伸向金融决策、工业生产运营、医疗诊断、自动驾驶等更高价值的应用领域，这将对人工智能技术的安全性、可靠性提出更高要求，提升算法安全性成为新一轮人工智能智能产业升级下的新方向。2018年，中国信息通信研究院安全研究编制的《人工智能安全白皮书》中提到，“算法安全”是人工智能六大安全风险之一，并着重指出了“对抗样本攻击诱使算法识别出现误判漏判“这一算法模型缺陷为算法安全的重要风险项。田天介绍，对抗样本是机器学习模型的一个有趣现象，但通过在源数据上增加人类难以通过感官辨识到的细微改变，可以让机器学习模型接受并做出错误的分类决定。例如，在一张“阿尔卑斯山”的图片上加上一些人眼无法察觉的噪音，正常情况下肉眼仍然能判断这张图显示的是山峰，图像分类模型却会将它错误识别为狗。经过不断的升级演化
对抗样本攻击已经不仅仅停留在数字世界，针对物理世界的攻击也开始出现。如在路面上粘贴对抗样本贴纸模仿合并条带，误导特斯拉自动驾驶汽车拐进逆行车道；佩戴对抗样本生成的眼镜，轻易破解手机面部解锁；胸前张贴对抗样本贴纸即可实现“隐身”等。“在网络安全时代，网络攻击的大规模渗透倒逼了杀毒软件的诞生。”田天说，“针对算法漏洞这一‘新型病毒’，人们同样需要开展安全评估评测能力建设，打造人工智能时代的‘杀毒软件’，以技术手段为支撑，切实规避人工智能算法缺陷可能带来的安全风险。”依托于清华大学人工智能研究院及自身多年来的技术积累，瑞莱智慧研发的人工智能安全平台，内置了先进的攻防算法模型，为***、企业等提供安全评测与安全防护，高效应对算法威胁。相较于常见的开源工具需要自行部署、编写代码，这个“杀毒”平台只需要使用者提供相应的数据，就能够在线完成评估，降低了算法评测的技术难度。该平台支持五种去除对抗噪声的通用防御方法，可对输入数据进行自动去噪处理，破坏攻击者恶意添加的对抗噪声。