GPT大模型下,如何实现网络自主防御

这篇具有很好参考价值的文章主要介绍了GPT大模型下,如何实现网络自主防御。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

GPT大模型下,如何实现网络自主防御

本期解读专家 
李智华 华为安全AI算法专家 
 

近年来,随着GPT大模型的出现,安全领域的攻防对抗变得更加激烈。RSAC2023人工智能安全议题重点探讨了人工智能安全的最新发展,包括人工智能合成器安全、安全机器学习以及如何利用渗透测试和强化学习技术来确保人工智能模型的安全性和可靠性。

人工智能合成器使得攻防对抗更加激烈

人工智能合成器(AI Synthesizers)是一种新型的技术,它可以产生与人类相同的内容,GPT便是其代表技术。

GPT大模型下,如何实现网络自主防御

 

图1-1 GPT4在MMLU(Massive Multitask Language Understanding,大规模多任务语言理解)上的精度超越了GPT3.5

新型的技术总是会有一定的安全风险,对于人工智能合成器来说也不例外。

伴随社交媒体的普及,错误信息、仇恨言论和欺诈等威胁信息正在加剧,因此,检测各种社交媒体平台上的影响力活动变得尤为重要。同时由于GPT的出现,使得基于AI生成虚假内容的检测变得更加困难。在《Russia's RT Leads Global Disinformation to Bypass Censorship on Ukraine》话题中,作者检测到从2022年4月至今,俄罗斯RT社交媒体通过利用AI生成账号在Telegram、Twitter和新兴的平台上发表了20多种语言的虚假信息。

在《Security Implications of Artificial Intelligence Synthesizers》话题中,提到使用AI大模型的风险包括数据投毒、prompt注入、数据泄露、钓鱼、代码合成等。

GPT大模型下,如何实现网络自主防御

图1-2 ChatGPT prompt注入示例

在《Pentesting AI How to Hunt a Robot》话题中,同样提及了GPT大模型的注入攻击和AI模型的后门植入。

 

GPT大模型下,如何实现网络自主防御

图1-3 注入攻击

 

GPT大模型下,如何实现网络自主防御

 

图1-4 在AI模型中植入无法检测的后门

在《Do Attackers Use Algorithms To Evade ML》话题中,探讨了攻击者是否使用算法规避ML(Machine Learning,机器学习)?答案是YES!

在《Stay Ahead of Adversarial AI in OT ICS Environments Mitigating the Impact》中,针对OT(Operational Technology,运营技术)/ICS(Industrial Control System,工业控制系统)环境中可能面临的恶意AI攻击,最佳的预防措施是遵循主动规划、强调安全,通过测试和加固ML系统来有效地实施防御措施,在AI/ML的开发过程的几个重要阶段进行安全保护,使之能够具备先进的抗对抗性攻击性能。

 

GPT大模型下,如何实现网络自主防御

 

GPT大模型下,如何实现网络自主防御图1-5 工控系统攻击点

因此,人工智能渗透测试势在必行,以降低人工智能模型在潜在恶意代码方面的风险。

人工智能渗透测试势在必行

有过安全分析工作经验的人们对ATT&CK(Adversarial Tactics, Techniques, and Common Knowledge,对抗战术、技术与常识)矩阵并不陌生,ATLAS(Adversarial Threat Landscape for Artificial-Intelligence Systems,对抗性机器学习威胁矩阵)则是借鉴了ATT&CK矩阵技术的框架设计,在机器学习攻防技术博弈的基础上,该框架融入了一系列精心策划的漏洞和攻击行为,从而帮助安全分析师们发现机器学习系统上的攻击。

 GPT大模型下,如何实现网络自主防御

GPT大模型下,如何实现网络自主防御

图1-6 对抗性机器学习威胁矩阵ATLAS

ATLAS在今年的议题《Hardening AI ML Systems The Next Frontier of Cybersecurity》中,认为网络安全的下一个前沿热点是AI和ML系统加固。

而获得今年“创新沙盒”的新秀HiddenLayer公司也提供了AI和ML系统加固。HiddenLayer的核心技术包括:

机器学习风险评估

采用MITRE ATLAS框架,基于机器学习模型的整个运营流程,对关键模型的风险进行综合评估。同时,使用机器学习扫描技术,以了解模型是否受到攻击或被篡改。此外,攻击渗透团队也可以通过实战化的攻击渗透检测,评估机器学习系统的防御有效性。

MLDR(机器学习威胁检测与响应)服务

通过UEBA(User and Entity Behavior Analytics,用户实体行为分析)分析和收集可疑、有害或异常的数据,提供及早的攻击检测和应对措施。

结合图AI算法检测社交网络滥用和高级威胁

图AI算法可以为网络安全提供强大的支持。它可以帮助网络安全专家从大量数据中识别出异常行为,并建立对恶意行为的快速反应机制,从而提升网络安全的防护能力。

在《Detecting Influence Campaigns Across Social Media Platforms》中,作者分享了使用社交网络图谱的方式发现和还原Twitter媒体上的“brazilianspring”事件。

 

GPT大模型下,如何实现网络自主防御

图1-7 安全分析人员利用社交图谱发现brazilianspring

为了简化图AI算法的应用,诞生了DS4N6这样一个开源项目,旨在帮助数据科学家们更有效地进行数据科学实践。它提供了一系列模块,允许数据科学家们以更简单的方式去组织、管理和可视化数据科学实践。

在《Hunting Stealth Adversaries with Graphs AI》话题中,DS4N6提出了一种用来检测隐蔽的横移攻击的图AI算法,这就是基于图数据结构的神经网络。

 

GPT大模型下,如何实现网络自主防御

图1-8 使用图AI算法来检测横移攻击

以智能对抗智能,利用强化学习实现网络自主防御

随着攻防对抗更加激烈,以智能对抗智能是数字化时代下的安全趋势。

在《Reinforcement Learning for Autonomous Cyber Defense》话题中,专门探讨了如何利用强化学习,实现自主网络防御。作者提出网络防御强化学习的目的是创造一个自主作用的代理(强化学习Agent),能够做出一系列在不确定性场景下的安全决策。

 

GPT大模型下,如何实现网络自主防御

图1-9 强化学习Agent

 

GPT大模型下,如何实现网络自主防御

GPT大模型下,如何实现网络自主防御

图1-10 强化学习Agent部署在攻防安全各个环节

业界现有网络防御强化学习的框架如下图所示。

GPT大模型下,如何实现网络自主防御

图1-11 网络安全强化学习框架

其中,最受人关注的是CyberBattleSim,CyberBattleSim是微软发布的一个实验研究平台,用于研究自动代理在模拟抽象企业网络环境中的相互作用。该平台提供了计算机网络和网络安全概念的高层抽象,其基于Python的Open AI Gym接口,可用于使用强化学习算法训练自动代理。

GPT大模型下,如何实现网络自主防御

图1-12 CyberBattleSim模拟横移攻击

针对以上横移攻击场景,攻击者的目标是通过利用植入计算机节点中的漏洞来拥有网络的一部分资源。当攻击者试图在网络中传播时,防御代理会监视网络活动,并尝试检测发生的任何攻击以减轻系统受到的影响,然后驱逐攻击者。平台提供了基本的随机防御,该防御基于预定义的成功概率来检测和减轻正在进行的攻击。

 

结束语

随着人工智能合成器技术的发展,尤其是GPT大模型的出现,攻防对抗变得日益激烈。例如,利用人工智能合成器生成错误信息、仇恨言论和欺诈等威胁信息正在加剧,使得检测各种社交媒体平台上的影响力活动变得尤为重要又极具挑战,图AI算法识别社交网络滥用和高级威胁就是一种有效的检测手段。GPT大模型的注入攻击和AI模型的后门植入,使得人工智能渗透测试势在必行,以降低人工智能模型在潜在恶意代码方面的风险。智能对抗智能是数字化时代下的安全趋势,利用强化学习实现网络自主防御,是未来充满挑战而又值得期待的一个重要技术方向。

 

参考文献

本文作者对如下RSAC议题进行了深度解读,并引用了文中的图片,图片版权归原作者所有。本文仅供参考和学习,不构成任何投资或其他建议。作者不承担任何因使用本文所引起的直接或间接损失或法律责任。如有侵权,请联系作者删除。

  1. 《Russia's RT Leads Global Disinformation to Bypass Censorship on Ukraine》

  2. 《Security Implications of Artificial Intelligence Synthesizers》

  3. 《Pentesting AI How to Hunt a Robot》

  4. 《Do Attackers Use Algorithms To Evade ML》

  5. 《Stay Ahead of Adversarial AI in OT ICS Environments Mitigating the Impact》

  6. 《Hardening AI ML Systems The Next Frontier of Cybersecurity》

  7. 《Detecting Influence Campaigns Across Social Media Platforms》

  8. 《Reinforcement Learning for AutonosCyber Defense》文章来源地址https://www.toymoban.com/news/detail-470870.html

到了这里,关于GPT大模型下,如何实现网络自主防御的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

原文地址:https://www.cnblogs.com/bonelee/p/17455948.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 如何区分GPT-3.5模型与GPT-4模型?

    GPT-3.5 在经过大量数据训练后,成功地发展到可以考虑 1750 亿个参数以响应提示。这使其具备令人印象深刻的语言技能,以非常人性化的方式回应各种查询。然而,GPT-4 在更为庞大的训练数据基础上进行了进一步的发展,最终使其在生成响应时能够考虑超过 1 万亿个参数。与

    2024年01月17日
    浏览(11)
  • 【GPT,Flask】用Python Flask结合OpenAI的GPT API构建一个可自主搭建的内容生成应用网站

    自己构建模型并进行训练需要很高的知识,技能和资源门槛。如今,通过OpenAI提供的API,则可以快速通过GPT能力构建可以提供内容生成服务的在线网站。这套框架可以提供给用户,用户可以利用该框架在自己的环境(比如自己的公司内)构建内容生成服务。你也可以自己上线

    2024年02月11日
    浏览(21)
  • 如何把自有数据接入GPT大模型?

    ChatGPT引发了AI革命,大家都想探究如何让它发挥更大价值。 以它为代表的大模型并未完全掌握所有专业知识,这也正是我们创业的契机。 我们应该思考如何让AI在 专业领域 中释放更大的价值潜能。 就像开发者挖掘出某个鲜为人知的资源一样,我们可以开发出AI在特定领域的

    2023年04月23日
    浏览(11)
  • 【分享】比ChatGPT还厉害?可以自主解决复杂任务的Auto-GPT迅速走红(内含体验地址)

    哈喽,大家好,我是木易巷~ 最近木易巷在了解Auto GPT,今天给大家分享一下~ 自主解决复杂任务的Auto-GPT Auto-GPT 是一款开源 Python 应用程序,由开发者用户 Significant Gravitas 于 2023 年 3 月 30 日发布至 GitHub。 【体验地址在文末】 该应用程序以 GPT-4 为基础,允许 AI“自主”行动

    2023年04月23日
    浏览(11)
  • 基于大模型GPT,如何提炼出优质的Prompt

    在当今信息爆炸的时代AIGC时代的发展,自然语言处理技术的快速发展给人们带来了前所未有的机遇和挑战。作为其中的重要组成部分,大模型语言模型在多个领域展现了强大的能力。然而,随着模型的增长和复杂性的提升,如何引导模型生成准确、有价值的输出成为了一个关

    2024年02月07日
    浏览(8)
  • 访问控制模型--自主访问控制模型(基础篇)

    对于访问控制模型,大家都知道有三种,分别是“自主访问控制”、“强制访问控制”、“基于角色访问控制”,下面介绍一下自主访问控制模型。 一、访问控制三要素:主体、客体、访问控制策略 主体(Subject) 指主动对其它实体施加动作的实体 客体 (Object) 是被动接受其他

    2023年04月13日
    浏览(6)
  • Python 基于pytorch从头写GPT模型;实现gpt实战

            GPT(Generative Pre-trained Transformer)模型是一种基于Transformer架构的生成式预训练模型,由OpenAI开发。它采用了无监督学习的方式进行预训练,然后通过微调适应特定的任务。GPT模型的结构由多层Transformer解码器组成,每个解码器由多头自注意力机制和前馈神经网络组

    2024年01月23日
    浏览(7)
  • 大语言模型的预训练[2]:GPT、GPT2、GPT3、GPT3.5、GPT4相关理论知识和模型实现、模型应用以及各个版本之间的区别详解

    在自然语言处理问题中,可从互联网上下载大量无标注数据,而针对具体问题的有标注数据却非常少,GPT 是一种半监督学习方法,它致力于用大量无标注数据让模型学习 “常识”,以缓解标注信息不足的问题。其具体方法是在针对有标签数据训练 Fine-tune 之前,用无标签数据

    2024年02月16日
    浏览(6)
  • 如何利用GPT大语言模型来进行A股投资分析

    在当今的金融市场中,投资已经成为了许多人增加财富的重要途径。然而,投资并非易事,需要对市场有深入的理解和精准的判断。在这个过程中,工具的选择和使用就显得尤为重要。今天,我们将介绍一种结合了GPT大语言模型的投资策略回测工具《田扬神策》,帮助投资者

    2024年02月06日
    浏览(13)
  • GPT Prompt编写的艺术:如何提高AI模型的表现力

    随着AI技术的迅速发展,人工智能模型变得越来越强大,能够协助我们完成各种任务。然而,如何更好地利用AI的能力仍然存在很大的探索空间。在与AI进行交互的过程中,我们主要 依赖于Prompt ,不管是直接与大模型交互,还是基于一些工具开发大模型的应用,都需要涉及到

    2024年02月14日
    浏览(5)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包