官方服务微信:dat818 购买与出租对接

人工智能与网络空间安全结合带来的安全问题研究

7153

主题

2

回帖

2万

积分

管理员

积分
21607
发表于 2024-12-2 07:14:43 | 显示全部楼层 |阅读模式
    来源:人工智能赋能的网络攻击安全威胁及应对策略[J].中国工程科学, 2021, 23(3): 60-66.

    编者注

    近年来,重大网络空间安全事件不断爆发,网络安全威胁更加普遍化。网络空间安全威胁涵盖从物理基础设施、网络信息系统到社交媒体信息的方方面面,对虚拟世界和物理世界的方方面面都构成威胁。人工智能为社会进步带来显着推动效应的同时,也正在推动网络空间安全领域发生重大变革。研究人工智能与网络空间安全结合引发的安全问题具有迫切意义。

    近日,中国工程院方滨兴院士科研团队在中国工程院学报《中国工程科学》2021年第3期撰文,系统分析了人工智能应用带来的安全问题。网络空间安全领域,重点研究人工智能在网络攻击细分方向的赋能作用,总结和提炼人工智能赋能网络攻击的新兴威胁场景、技术发展现状以及未来发展趋势,具有以期提供理论参考相关领域的发展。文章建议,为了有效应对人工智能赋能的网络攻击的安全威胁,应从防范安全威胁、构建对等网络的角度,加强智能网络攻防体系建设和能力升级。能力;应加强人工智能安全数据资产的共享和利用,走以数据为中心的人工智能网络攻防技术的发展道路;加强对抗评估和测试验证,尽快推动人工智能网络攻防技术实用化。

    一、前言

    近年来,重大网络空间安全事件不断爆发,网络安全威胁更加普遍化。斯诺登事件、乌克兰电网攻击、美国大选干扰事件等表明,网络空间安全威胁涵盖从物理基础设施、网络信息系统到社交媒体信息等方方面面,对虚拟世界和物理世界的方方面面都构成威胁。网络空间安全已成为非传统安全的重要组成部分。随着第三次人工智能浪潮的兴起,人工智能向多个行业和领域不断渗透、交叉融合的趋势已经显现。人工智能因其智能化、自动化的识别处理能力、强大的数据分析能力以及与网络空间安全技术和应用深度协同的能力,对网络空间安全的理论、技术、方法和应用产生重要影响。推动变革进步。

    人工智能与网络空间安全的互动融合呈现出“陪伴”和“赋能”两种效果。

    ① 网络空间安全本质上是一个关联学科,每一项新技术的出现都会引发关联的安全问题;人工智能的相关安全问题主要是内生安全问题和衍生安全问题,即由于人工智能本身存在安全风险或脆弱性、可预测性、可解释性等问题,将自身的安全问题转移或嫁接到人工智能的应用上。人工智能在人工智能系统本身或应用人工智能技术的系统中产生新的安全威胁;攻击者可以利用对抗样本或数据投毒技术,自动构建攻击样本,对现有智能安全系统发起攻击,导致人脸识别、车牌识别等系统功能降级,甚至导致网络攻击和物理攻击的实施。

    ②人工智能自身发展在带来新的网络空间安全威胁的同时,也为传统网络空间安全在攻防方面提供了显着的赋能效应。例如,基于机器学习和深度搜索的人工智能方法可以改善网络攻击。能力,自动检测网络安全防御方法,制定智能攻击策略;同样,人工智能可以协助网络空间互联网安全从被动防御转向主动防御,从而更快更好地识别威胁并缩短响应时间;网络空间时空动态变化复杂,人工智能技术可以对日志、流量等不同渠道的数据进行关联分析,构建多维度的数据关联和智能分析模型的资产库、漏洞库、威胁库,使全面、准确、实时地检测有效的网络攻击。

    人工智能对攻防两端的赋能效应,极大推动了网络空间攻防对抗的发展,引发新的安全威胁,催生新的对抗手段。对于网络安全来说,人工智能是一把“双刃剑”;人工智能与网络空间安全深度融合,不仅给经济、政治、社会、国防等领域带来新的威胁和问题,也给各国网络带来新的问题。空间安全发展提供新机遇。

    本文系统分析了人工智能在网络空间安全领域应用所带来的安全问题,重点探讨了人工智能在网络攻击细分领域的赋能作用,并对新兴威胁场景、技术发展现状、以及人工智能支持的网络攻击的未来。发展趋势,以期为相关领域的发展提供理论参考。

    2、人工智能与网络空间安全深度融合引发的国家安全问题

    (一)涉及国家安全问题和威胁

    1. 政治和安全方面

    随着网络技术的快速发展和广泛应用,网络政治作为一种新的政治形态应运而生。公众可以利用多元化的网络渠道和方式相对自由地表达和参与政治,影响政治进程,实现政治权利,但也可能引发各种政治安全问题。人工智能显着加剧了政治安全领域的现实威胁。例如,2018年3月曝光的“剑桥分析”事件中,一家商业情报公司利用用户数据进行人物画像并自动推送信息,以影响选民在美国大选、英国脱欧等政治事件中的投票倾向;该事件标志着数据情报从商业领域向政治领域蔓延,将简单的网络数据安全问题变成了现实的政治安全风险。

    人工智能技术的应用可能会导致新出现的安全威胁,例如利用数字自动化来塑造政治影响力。例如,利用深度伪造技术生成逼真的捏造视频和音频,捏造领导人丑闻、虚假新闻进行煽动;利用人工智能的自然语言生成技术自动构建信息,进行定制化的虚假宣传活动。这种具有数字自动化特征的深度伪造威胁利用各种媒体传播虚假信息。它具有极强的传播潜力,可以实现大规模、潜伏性的政治操纵和控制。它将显着增加网络空间政治安全威胁的影响力。并对抗复杂性。

    2、经济社会保障

    人工智能与网络安全深度融合,将威胁和影响经济社会安全。随着相关行业、企业和公众对网络技术和应用的依赖程度不断加深,与网络犯罪相关的经济和社会风险也越来越大。 《2018年全球风险报告》认为,网络攻击已成为继极端天气和自然灾害之后的全球第三大威胁。利用人工智能和大数据技术,攻击者可以根据出生日期、电话号码、亲属、位置等关键个人信息“量身定制”个性化诱饵攻击,实现高度真实的自动化社会工程攻击。

    借助自动化、智能化工具,网络犯罪分子可以对大规模目标进行高效、隐蔽的漏洞检测扫描,并完成自动化利用和攻击。人工智能技术驱动的智能化、自动化、大规模攻击,可以为网络犯罪提供传统防御系统更难以防范的更大威胁和技术手段和方法。产生的破坏力也更强,严重威胁和影响经济社会。安全。

    3.国防和安全

    人工智能与网络攻防的深入融合,将极大改变传统信息作战的方法和手段。通过智能态势感知、情报分析、网络攻击和瘫痪,形成军事先发优势,引发新型军备竞赛。在网络武器方面,人工智能为国家高级可持续威胁(APT)组织针对关键信息基础设施实施更具渗透性、隐蔽性的网络攻击提供了新的工具和手段,严重影响其安全稳定运行。 。

    2013年,美国国防高级研究计划局(DARPA)发起的网络安全挑战赛(CGC)极大推动了自动化网络攻防技术的发展;基于人工智能的新型网络战武器将显着改变网络空间军事对抗格局,加速打造不对称竞争优势。 2017年,美国成立算法战跨职能团队,加速将大数据、人工智能、机器学习融入国防部项目,重点推动战场空间态势感知、自动化网络等领域的研发响应和其他技术。算法层面的突破、数据数量和质量的提升、算力的增长,为人工智能在国防领域的应用提供了巨大的想象空间,并将产生新的战略威胁。

    (二)主要国家应对情况

    1. 美国

    美国依托传统技术优势,积极谋求人工智能技术主导地位;将网络安全作为重要方面,高度重视人工智能在网络安全领域的研究和应用,努力在网络攻防领域建立战略优势。

    2016年,美国报告《为人工智能的未来做好准备》提出,相关机构的计划和战略应考虑人工智能与网络安全之间的相互作用;人工智能研究机构应确保人工智能技术本身和生态系统有能力应对智能对手的挑战并保持安全性和弹性优势;参与网络安全工作的机构应采用美国拥有的人工智能技术来有效实现网络安全。同年发布的《人工智能、自动化与经济》报告认为,为了有效应对人工智能自动化对经济的不利影响,应从网络防御和欺诈检测的角度发展人工智能技术;典型应用包括基于人工智能的机器学习系统协助人类快速响应网络攻击,人工智能高效解读数据并预防网络攻击。

    2017年,哈佛大学《人工智能与国家安全》报告指出,网络武器将更频繁地用于虚拟作战;机器学习在军事系统中的应用将带来新的漏洞并催生新的网络攻击手段;人工智能网络武器一旦被窃取或非法复制,就会被恶意使用;不断提高的自动化将使失业问题和网络攻击更加严重,从而影响政治稳定和国家安全。

    2018年,美国战略与国际研究中心发布《人工智能与国家安全,人工智能生态系统的重要性》。报告认为,在网络安全或防御等领域,人类可能无法快速做出反应,而首先掌握人工智能应用的国家将拥有显着优势;在网络安全方面,人工智能技术可以配合僵尸网络进行攻击和破防。

    2019年,美国发布新版国家人工智能研究发展战略规划,列出了算法对抗、数据投毒、模型反转等威胁人工智能安全的问题;它要求在人工智能系统的整个生命周期中考虑安全问题。涵盖初始设计、数据/模型构建、评估、验证、部署、运营、监控等。

    2021年3月,美国国家人工智能安全委员会发布建议报告,认为美国尚未准备好防御人工智能赋能的新兴威胁;提出到2025年实现军事人工智能战备的发展目标,建议成立技术竞争力委员会等,组织组织打赢竞争、强化防御。

    2. 其他国家

    2018年,俄罗斯发布《人工智能在军事领域的发展现状与应用前景》,明确将人工智能作为战略竞争的重要领域,推动人工智能元素与无人集群、无人自主系统的融合。对策和雷达预警系统。一体化支撑国家军事能力提升。

    2016年,日本防卫省发布《中长期技术计划》,推动发展能够快速处理海量情报数据的人工智能技术和能够应对网络攻击的广域分布式情报通信系统技术,从而提高态势感知、情报共享、电子攻击、防御、指挥和控制能力。

    2018年,印度发布《人工智能国家战略》,重点关注利用人工智能技术促进经济增长、增强社会包容,寻求适合国情的人工智能规划和部署。印度将利用人工智能技术开发武器、国防和监视系统,并制定人工智能发展路线图;它将研究机器学习在军事服务、网络安全、核与生物资源等领域的应用,以自主武器和无人监视系统为代表。 。

    3、人工智能赋能网络攻击的安全威胁场景及典型技术

    (一)人工智能赋能的网络攻击带来新的威胁场景

    1. 自主且大规模的拒绝服务攻击威胁

    近年来,随着物联网(IoT)的逐步普及和工业控制系统的广泛互联,直接暴露于网络空间的联网设备数量大幅增加。 Mirai物联网僵尸网络分布式拒绝服务攻击(DDoS)事件(2016)表明,攻击者正在利用多种手段控制大量物联网设备,将这些受感染的物联网设备组织成僵尸网络,发起大规模DDoS攻击,并造成网络拥塞和瘫痪。除了呈现大规模攻击的典型特征外,网络攻击者越来越注重将人工智能技术应用于僵尸网络攻击,并相应演化出智能化、自主化的特征。

    2018年全球威胁格局预测显示,未来人工智能技术将在类似的群体网络中得到广泛应用。数以百万计的互连设备集群可用于同时识别和响应不同的攻击向量,从而利用自学习功能。以前所未有的规模对易受攻击的系统进行自主攻击。这种蜂巢僵尸集群可以基于群体智能进行智能协作并做出独立决策,无需僵尸网络控制端下发命令;无中心自主智能协作技术让僵尸网络的规模突破指挥控制通道的限制并成倍增长,显着扩展了同时攻击多个目标的能力。人工智能赋能的大规模自主主动攻击给传统僵尸网络对抗带来新挑战,引发新的网络空间安全威胁。

    2. 智能化、高度模拟的社会工程攻击威胁

    社会工程利用人的弱点来获取有价值的信息作为攻击手段,是一门欺骗的艺术。尽管社会工程网络攻击已经存在很长一段时间,但它们始终是一种更有效的攻击方式;尤其是鱼叉式网络钓鱼,因其显着的有效性以及传统安全防御机制难以拦截而成为研究热点。随着人工智能应用的扩展,社会工程攻击日益呈现出智能化、高仿真性的特点。攻击者利用社交媒体等开放获取的个人隐私数据,自动学习和构建虚假信息,让目标在不引起怀疑的情况下自愿上钩。

    2016年美国黑帽大会上,一家网络安全公司的安全研究人员展示了一种针对社交网络的具有侦察功能的自动钓鱼攻击方法;利用机器学习算法,通过网络大数据挖掘个人的出生日期、电话号码、亲属关系、位置等关键信息,自动生成定制化、高度模拟的恶意网站/邮件/链接;模仿相关联系人的通讯内容风格并欺骗信任,从模仿真实联系人的地址发送,有效提高钓鱼攻击的有效性。要有效率。利用人工智能技术,攻击者还可以创建真实且低成本的伪造音频和视频,将网络钓鱼攻击空间从电子邮件扩展到其他通信领域(如电话会议、视频会议),加剧社会工程攻击的威胁。

    3. 智能精准的恶意代码威胁

    随着人工智能技术的发展,攻击者倾向于对恶意代码攻击链的各个攻击环节进行赋能,以增强攻击的准确性,提高攻击的效率和成功率,有效突破网络安全防护体系,造成给防守者带来的后果。损失惨重。在恶意代码生成和构建方面,基于深度学习的恶意代码生成相对于传统恶意代码生成具有明显优势,可以大幅提高恶意代码的反查杀能力和生存能力。在恶意代码攻击发布过程中,攻击者可以利用深度学习模型作为攻击的核心组件之一,利用深度学习中神经网络分类器的分类功能来准确识别和攻击攻击目标。

    在2018年美国黑帽大会上,国际商业机器公司(IBM)研究院展示了一种人工智能赋能的恶意代码,利用卷积神经网络(CNN)模型实现对特定目标的精准定位和攻击。验证了准确释放恶意代码威胁的技术可行性。目前此类攻击方式已被攻击者用于实际的高级持续威胁攻击中。一旦适用范围不断扩大,就难以实现对策和预防;如果与网络攻击武器结合,可能会增加战斗力并造成严重的威胁和破坏。

    (二)人工智能网络攻击典型技术

    1、网络资产自动检测识别技术

    网络资产检测和识别是指跟踪和了解网络资产的过程。从安全攻击的角度来看,网络资产检测和识别可以在渗透(或攻击)前收集信息,了解目标网络中主机的操作系统类型、开放端口以及运行的应用程序类型和版本信息。准确掌握目标网络的安全状况有助于选择高效的攻击方法。

    在网络资产检测识别的人工智能应用方面,目前最具代表性的技术应用是基于机器学习的操作系统指纹识别技术。引入机器学习、深度学习等方法进行操作系统指纹识别,可以实现更短的建模时间和更高的准确率,实现基于协议栈指纹的被动操作系统识别,提高不准确匹配指纹的识别率。

    2、智能社会工程攻击技术

    自动化社会工程攻击技术是指利用机器学习、神经网络等方法,自动化完成网络钓鱼攻击、计算机蠕虫传播、垃圾邮件分发等完整攻击过程。基于自然语言生成(NLG)的自动化网络钓鱼是典型的网络钓鱼攻击技术。攻击方法。攻击者利用深度学习分析文本内容,识别目标感兴趣的主题,生成目标可能响应的文本内容;常用于电子邮件、社交网站新的网络钓鱼攻击作为攻击代码传递载体。

    2016年第七届新西兰黑客大会上,意大利安全专家发布了一款自动钓鱼工具,在针对澳大利亚公务员的调查测试中成功欺骗了40%的参与者。 2019年,一些研究基于NLG技术构建了先进的电子邮件伪装攻击生成引擎。评估实验表明,生成的伪装邮件具有更好的一致性,语法错误更少,是更有效的钓鱼邮件攻击。方法。

    3、智能恶意代码攻击技术

    机器学习算法已广泛应用于网络安全检测领域。然而,相关检测系统容易受到对抗性攻击;攻击者可以构建“良性”样本并成功绕过机器学习分类器的识别。对抗性机器学习在恶意代码中插入一些对抗性样本来绕过安全产品的检测;它甚至会根据安全产品的检测逻辑在每次迭代中自动更改代码和签名形式,以确保自动修改代码以逃避反病毒产品的测试且功能不受影响。 2018年,一些研究利用深度强化学习网络提出了一种基于对抗样本生成的黑盒攻击方法来攻击静态可执行(PE)防病毒引擎。这是第一个可以生成对抗性PE恶意代码的研究工作,模拟真实攻击的成功率高达90%。随着人工智能在对抗性机器学习领域的广泛应用和演进,可以预见,基于生成对抗性网络的逃逸攻击将成为对抗性机器学习的重要方向和技术趋势。

    此外,传统恶意代码发布后,攻击目标和意图往往已确定,可以通过逆向工程、网络监控等方法获知。借助人工智能技术,恶意代码可以嵌入深度神经网络模型,在代码开源的前提下保证攻击目标、攻击意图、高价值负载的高度机密性,从而显着提高攻击的隐蔽性。此类攻击的代表成果是IBM研究院的恶意代码。

    4、自动化漏洞挖掘与利用技术

    自动化漏洞挖掘与利用是指自动发现软件内部缺陷,并利用这些缺陷实现意想不到的功能,无需人工干预。 2013年,DARPA启动了CGC项目,旨在将漏洞挖掘、分析、利用、修复等方面全面自动化,进而建立具有自动化攻击和防御能力的高性能网络推理系统。 2014年至2016年,CGC竞赛尝试自动攻防漏洞,引起广泛关注。参赛队伍建立了自动攻击防御系统,实现了无需人工干预的自动发现程序漏洞、自动生成漏洞利用攻击敌方、自动部署补丁防御敌方攻击的基本能力。我国自2017年起就组织了类似的自动攻防竞赛,推动了相关技术的发展和新型网络安全体系的建设。

    4、人工智能赋能的网络攻击技术发展趋势

    随着人工智能与网络安全的深入融合,人工智能赋能的网络攻击将在技术和手段上与传统网络攻击进行比较。过去的劳动密集型、成本高昂的攻击方式将开始彻底转型,走向分布式,智能化和自动化的发展将带来更准确、更快速的自动化攻击方式。

    相关技术发展趋势包括以下三点。

    一是利用人工智能学习环境特征,增强攻击的适应性和隐蔽性。网络环境中的攻击目标、数据、行为等都具有一定的本地化特征。攻击者利用人工智能对目标网络中的数据、行为等特征进行采集和建模,学习目标网络环境中正常的数据内容、传输频率、传输方式等环境特征;参考环境特征选择合适的攻击方法,将攻击数据伪装成目标网络中具有正常特征的普通数据,将攻击行为伪装成目标网络中正常用户的网络行为;实现环境自适应的攻击行为和数据隐藏,提高攻击的隐蔽性,增强攻击力。适应性。

    二是利用人工智能增强分布式协作效果,提高攻击的鲁棒性。攻击者引入分布式智能协作算法,将传统智能中心统一调度分布式攻击实体进行协同攻击演变成无中心分布式多智能攻击实体的自主协作和群决策,从而提高多个分布式攻击实体的效率。攻击。节点之间的协作效率降低了对中心化协同调度的依赖,降低了攻击对策的风险,提高了攻击的鲁棒性。

    三是利用人工智能实现攻击方法的自我进化,提高攻击的有效性。攻击者利用人工智能分析不同攻击方式的攻击效果以及防御者可能采取的对策,然后根据防御者的弱点自动选择新的攻击机制,实现攻击方式的智能演进。例如,攻击者可以使用辩护人的入侵检测系统的结果作为反馈,使用人工智能技术来收集和建模反馈数据,建立攻击效应模型,动态调整适当的攻击方法并规避入侵检测系统。

    5。响应人工智能授权的网络攻击威胁的建议

    (1)加强研究和应用,并促进智能网络攻击和防御系统的构建和能力升级

    专注于支持人工智能网络攻击的威胁和影响,并从防止安全威胁和建立对等能力的角度开始,并尽快对主要关键技术进行研究。促进“行业 - 大学 - 研究”机构优先考虑对由人工智能攻击提供支持的新威胁情景的有效响应,对攻击和辩护进行联合研究,并就智能威胁情境意识,自动化脆弱性挖掘和利用和利用以及以及进行技术研究以及进行技术研究智能恶意代码。加速人工智能技术在该国和重要行业的关键信息基础设施的安全保护中的系统应用,全面完整的智能升级,并显着提高关键信息基础架构的安全性,网络安全状况,网络安全辩护和网络威胁。能力水平。为了控制人工智能带来的新的网络安全威胁,应加强相关的法律和法规,应监管人工智能网络安全的健康发展,并应延迟和阻止与特定威胁有关的活动。

    (2)加强共享和利用来解决人工智能网络攻击和国防技术系统的数据问题

    人工智能培训数据集不仅是人工智能安全研究中最有价值的数字资产,而且是与人工智能安全能力建设成功有关的战略资产。但是,当前的人工智能安全培训数据缺乏共享和利用的安全,可控制和可追溯的手段,这已成为限制人工智能攻击和国防技术快速发展的重要因素之一。建议依靠权威机构(例如国家实验室)使用区块链等新技术来构建人工智能数据范围,形成一个安全可信的共享利用框架,并具有合理的激励机制,促进有效利用人工智能数据资产,以及实施基于数据的中心的人工智能网络攻击和国防技术的开发路径。

    (3)加强对抗和评估,并促进人工智能网络攻击和国防技术的实际发展

    人工智能攻击和防御是一项不断升级对抗的技术,其实际应用效果取决于对抗环境的全面和真实性。但是,由于科学研究条件不足,现有的人工智能攻击和国防技术研究很难复制实际的攻击和防御对抗环境,这对人工智能自动攻击和国防技术的发展构成了明显的限制,从理论到实践。建议依靠权威机构(例如国家实验室)来建立人工智能进攻和防御性对抗范围,并有效地促进人工智能网络攻击的有效评估和对抗分析,以及通过权威评估,技术挑战,技术挑战,技术挑战,技术挑战,自动化脆弱性发现和利用测试验证等。促进人工智能攻击和国防技术的加速发展。

    六、结论

    网络空间安全威胁已完全渗透到虚拟和物理世界,对各个国家的政治,经济,社会和国防构成了巨大的安全风险和挑战。人工智能和网络空间安全威胁的深刻整合将进一步加剧真正的安全威胁,诞生新的安全威胁,并为国家安全带来更严格的挑战。人工智能赋予了网络攻击,并在相关技术的帮助下,例如大数据,网络攻击越来越表现出新的特征,例如大规模,自动化和智能,这一定会推动和促进网络空间防御技术的发展,意味着,意味着,意味着,意味着,意味着,意味着,意味着和能力。进化与发展。

    目前,当人工智能赋予网络攻击和防御能力时,无论谁是第一个在技术,数据,模型等方面找到人工智能,网络攻击和防御的最佳组合的人,将是第一个形成“技术差距的人在网络攻击和防御领域中的“应用程序差距”。 ,谁可能抓住网络空间对抗的技术指挥高度,从而在对抗性游戏中构成优势,并掌握网络空间中的主动性和威慑力量。我们的国家应加强人工智能在网络空间安全领域的战略应用,从两个方面进行工作:防止新威胁并积极应对挑战,专注于解决诸如数据,对抗和人工智能所面临的评估等实践问题在网络犯罪和防御领域,并促进人工智能攻击和防御将尽快从理论研究转变为实际应用。确定由人工智能带来的新的网络空间安全威胁,改善智能威胁感知和响应能力,确保在人工智能变化的背景下有效维护国家网络空间主权,保护网络空间的核心利益以及保障国家安全和发展。
您需要登录后才可以回帖 登录 | 立即注册

Archiver|手机版|小黑屋|关于我们

Copyright © 2001-2024, Tencent Cloud.    Powered by Discuz! X3.5    京ICP备20013102号-30

违法和不良信息举报电话:86-13718795856 举报邮箱:hwtx2020@163.com

GMT+8, 2024-12-20 20:15 , Processed in 0.059805 second(s), 17 queries .