各家科技公司纷终训练 AI 要驾驭不同产业的自动化需求,专家就警告,骇客有可能针对 AI 的漏洞,刻意喂错误的资料进算法当中,导致 AI 做出错误的判断,如有利于骇客的结果。
趋势科技全球安全研究副总 William Malik 谈到骇客误导 AI 喂错误资料的破坏机器学习 (subverting machine learning),提及其实算法是很粹弱的,很容易因为训练资料被动手脚,导致要辨识动物的影像 AI 将长颈鹿辨识为单车。程式不像人类,是不重视整体而是“盯着”很细节的部分,这些细节如被变动,很容易就出状况。
Malik 也举自身趋势科技为例,像趋势这种类型的防毒公司,常收集十亿等级的恶意程式,来喂给 AI 当训练材料发展辨识的模式,假若不幸公司被入侵,训练资料被加料,辨识模式被恶意导走,然后最后算法在市面上布署,结果导致很多种恶意程式辨识不出来,这就是骇客破坏机器学习的例子。另外在医疗上也有破坏机器学习的例子,MRI 的影像被破坏,传输没加密导致医生拿到变造过的资料,造成病人被误诊。
▲ 智慧城市将不同的关键基础设施连上网络,从而暴露这些系统,而-单位常因经费因素导致风险更大,急需要好好地针对不同的智慧城市系统好好保护,不然轻则指示红绿灯异常,严重点水、电出问题。(Source:科技新报)
近年来脸部辨识的 AI 发展相当成熟,有相当多的应用案例,而反制的方式难免联想到邻近的香港近日反送中,有示威者要反制当局,也拿脸部辨识系统来辨识警察,或者用奇怪的花纹图样或是激光笔干扰脸部辨识 AI 的运行,或者单纯爱开快车想不被拍照,用反光装置,会不会算是骇客行为吗?Malik 谈到反制技术一直都存在,像是电影院要防止观影者用自家的摄影盗录电影内容,就在影厅当中安装红外线放射器,人类肉眼不会察觉,但机器就能感受到,从而干扰盗录者造成录不成电影。
另外 Malik 谈到他自己应对脸部辨识技术的小习惯,他会在颈部这边别上有乍看之下图样有点奇怪的图针,在摄影镜头之下,AI 会针对图针辨识,从而避开他的脸部,最终目的是希望他的脸部特征别进去人脸辨识系统,他认为他的人脸不该与警政单位系统当中,追缉的潜在对象人脸混在一起。
Malik 将在明天 (8/20) 举行的 Cloud Security 登场演讲,谈到各种不同的工业物联网防护与防护案例,不同产业有各式各样自动化需求,设备都渐渐为了即时调整而连上网络,但从前技术进展较慢的 OT 技术却曝露风险,包括虎视眈眈的骇客。其中被各界相当重视的智慧城市,牵涉的基础设施之多,各系统之间有不同程度的相依性,愿景尽管宏大而且便利城市当中的人民,相当的吸引人,但如果没有在大大小小的环节好好保护,像是遵循标准如 ISO 37120:2018,如被入侵最严重导致整个城市停摆。
▲ 工业物联网要好好检视各系统的相依性状况,这边航空公司系统以及城市当中人脸辨识系统,都只是因为 GPS 装置的时间,导致无法正常运作。(Source:科技新报)
近期针对工业目标入侵的案例部分,Malik 谈到所幸骇客入侵并非能为所欲为,像是其中几个案例只是重设 GPS 装置的时间,但结果也让这些公司相当头痛,航空公司的案例导致航班资讯出错,无法依据排定时间正常飞行,而纽约市则是造成车牌辨识系统出错无法辨识。
(首图来源:科技新报)