网络安全专家使用生成式人工智能工具分析威胁。

生成式人工智能如何应用于网络安全？

介绍

生成式人工智能（Generative AI）——能够创建新内容或进行预测的人工智能系统——正在成为网络安全领域的一股变革力量。OpenAI 的 GPT-4 等工具已展现出分析复杂数据和生成类人文本的能力，从而为防御网络威胁提供了新的方法。各行各业的网络安全专业人士和商业决策者正在探索如何利用生成式人工智能来增强防御能力，抵御不断演变的攻击。从金融和医疗保健到零售和政府部门，各行各业的组织都面临着复杂的网络钓鱼攻击、恶意软件和其他威胁，而生成式人工智能或许能够帮助应对这些威胁。在本白皮书中，我们将探讨如何将生成式人工智能应用于网络安全，重点介绍其实际应用、未来发展潜力以及应用过程中需要考虑的重要事项。

生成式人工智能与传统的分析型人工智能不同，它不仅能够检测模式，还能创建内容——无论是模拟攻击以训练防御机制，还是为复杂的安全数据生成自然语言解释。这种双重能力使其成为一把双刃剑：它提供了强大的新型防御工具，但威胁行为者也可能利用它。以下章节将探讨生成式人工智能在网络安全领域的广泛用例，从自动化网络钓鱼检测到增强事件响应。我们还将讨论这些人工智能创新带来的优势，以及组织必须管理的风险（例如人工智能“幻觉”或对抗性滥用）。最后，我们将提供一些实用建议，帮助企业评估生成式人工智能，并负责任地将其融入其网络安全战略。

网络安全中的生成式人工智能：概述

网络安全中的生成式人工智能是指能够生成洞察、建议、代码甚至合成数据以辅助安全任务的人工智能模型（通常是大型语言模型或其他神经网络）。与纯粹的预测模型不同，生成式人工智能可以基于其训练数据模拟场景并生成人类可读的输出（例如报告、警报甚至恶意代码样本）。这种能力正被用于以比以往更动态的方式预测、检测和响应什么是网络安全中的生成式人工智能？ - Palo Alto Networks ）。例如，生成式模型可以分析海量日志或威胁情报库，并生成简明的摘要或建议的操作，其功能几乎就像安全团队的人工智能“助手”。

生成式人工智能在网络防御领域的早期应用已展现出良好的前景。2023 年，微软推出了Security Copilot ，这是一款由 GPT-4 驱动的安全分析师助手，可帮助识别漏洞并筛选微软每天处理的 65 万亿个信号（ Microsoft Security Copilot 是用于网络安全的全新 GPT-4 AI 助手 | The Verge ）。分析师可以用自然语言提示该系统（例如“总结过去 24 小时内的所有安全事件” ），然后 Copilot 将生成有用的叙述摘要。同样，谷歌的威胁情报 AIGemini的生成模型，通过谷歌庞大的威胁情报数据库实现对话式搜索，快速分析可疑代码并总结发现以帮助恶意软件搜寻者（生成式人工智能如何用于网络安全？10 个真实世界的例子）。这些例子说明了它的潜力：生成式人工智能可以消化复杂、大规模的网络安全数据，并以易于理解的形式呈现见解，从而加速决策。

与此同时，生成式人工智能可以创建高度逼真的虚假内容，这对于模拟和训练来说大有裨益（但不幸的是，这对攻击者进行社会工程攻击也大有裨益）。随着我们深入探讨具体用例，我们将看到生成式人工智能合成和分析信息支撑着其众多网络安全应用。下文将深入探讨关键用例，涵盖从网络钓鱼防御到安全软件开发等各个领域，并举例说明各个用例在各行各业的应用情况。

生成式人工智能在网络安全中的关键应用

图：生成式人工智能在网络安全领域的关键用例包括安全团队的人工智能副驾驶、代码漏洞分析、自适应威胁检测、零日攻击模拟、增强生物识别安全和网络钓鱼检测（网络安全中生成式人工智能的 6 个用例 [+ 示例] ）。

网络钓鱼检测与预防

网络钓鱼仍然是最普遍的网络威胁之一，它会诱骗用户点击恶意链接或泄露用户凭证。生成式人工智能正被用于检测网络钓鱼攻击并加强用户培训，以防止攻击得逞。在防御方面，人工智能模型可以分析电子邮件内容和发件人行为，从而发现基于规则的过滤器可能遗漏的细微网络钓鱼迹象。通过从大量合法和欺诈电子邮件的数据集中学习，生成模型可以标记出语气、措辞或上下文中的异常，这些异常表明存在诈骗，即使语法和拼写已无法识别。事实上，Palo Alto Networks 的研究人员指出，生成式人工智能可以识别“原本可能无法检测到的网络钓鱼电子邮件的细微迹象”，帮助组织领先诈骗者一步（网络安全中的生成式人工智能是什么？ - Palo Alto Networks ）。

安全团队也在使用生成式人工智能模拟网络钓鱼攻击，以进行训练和分析。例如，Ironscales 推出了一款由 GPT 驱动的网络钓鱼模拟工具，可自动生成针对组织员工定制的虚假网络钓鱼电子邮件（生成式人工智能如何应用于网络安全？10 个真实示例）。这些人工智能制作的电子邮件反映了最新的攻击者策略，让员工能够真实地练习识别网络钓鱼内容。这种个性化的训练至关重要，因为攻击者自己也会采用人工智能来制作更具说服力的诱饵。值得注意的是，虽然生成式人工智能可以生成非常精致的网络钓鱼消息（容易被发现的蹩脚英语的时代已经一去不复返了），但防御者发现人工智能并非不可战胜。2024 年，IBM 安全研究人员进行了一项实验，将人类编写的网络钓鱼电子邮件与人工智能生成的电子邮件进行比较， “令人惊讶的是，尽管人工智能生成的电子邮件语法正确，但它们仍然很容易被检测到” （生成式人工智能在网络安全中的 6 个用例 [+ 示例] ）。这表明，人类直觉与人工智能辅助检测相结合仍然可以识别人工智能编写的骗局中的细微不一致或元数据信号。

生成式人工智能还能以其他方式辅助网络钓鱼防御。模型可用于生成自动回复或过滤器，以测试可疑电子邮件。例如，人工智能系统可以使用某些查询回复电子邮件，以验证发件人的合法性，或者使用法学硕士 (LLM) 在沙盒中分析电子邮件的链接和附件，然后总结任何恶意意图。NVIDIA 的安全平台Morpheus与传统安全工具相比，它可将鱼叉式网络钓鱼电子邮件检测率提高21% 《网络安全中生成式人工智能的 6 个用例 [+ 示例]》 ）。Morpheus 甚至可以分析用户的通信模式，以检测异常行为（例如用户突然向多个外部地址发送电子邮件），这可能表明受感染的帐户正在发送网络钓鱼电子邮件。

在实践中，各行各业的公司都开始信赖人工智能来过滤电子邮件和网络流量，以防范社会工程攻击。例如，金融公司使用生成式人工智能扫描通信，以发现可能导致电信欺诈的冒充行为；而医疗保健提供商则部署人工智能来保护患者数据免受网络钓鱼相关泄露的侵害。通过生成逼真的网络钓鱼场景并识别恶意消息的特征，生成式人工智能为网络钓鱼防御策略增添了强大的保护层。关键在于：即使攻击者使用相同的技术来提升攻击水平，人工智能也能更快、更准确地检测和化解网络钓鱼攻击

恶意软件检测和威胁分析

现代恶意软件不断演变——攻击者会生成新的变种或混淆代码以绕过防病毒签名。生成式人工智能 (Generative AI) 为检测恶意软件和理解其行为提供了新颖的技术。一种方法是使用人工智能生成恶意软件的“邪恶双胞胎” ：安全研究人员可以将已知的恶意软件样本输入生成模型，从而创建该恶意软件的多个变异变种。通过这样做，他们可以有效地预测攻击者可能进行的调整。这些人工智能生成的变种随后可用于训练防病毒和入侵检测系统，这样即使是恶意软件的修改版本也能在野外被识别（生成式人工智能在网络安全中的 6 个用例 [+ 示例] ）。这种主动策略有助于打破黑客略微修改恶意软件以逃避检测，而防御者每次都必须费力编写新签名的循环。正如一个行业播客所指出的，安全专家现在使用生成式人工智能来“模拟网络流量并生成模仿复杂攻击的恶意负载”，从而对整个威胁系列而非单个威胁实例进行压力测试。这种自适应威胁检测意味着安全工具对原本可能被漏网的多态恶意软件具有更强的抵御能力。

除了检测之外，生成式 AI 还可以协助进行恶意软件分析和逆向工程，而这些任务传统上是威胁分析师的劳动密集型任务。大型语言模型可以负责检查可疑代码或脚本，并用通俗易懂的语言解释代码的用途。一个真实的例子是VirusTotal Code Insight ，这是 Google VirusTotal 的一项功能，它利用生成式 AI 模型（Google 的 Sec-PaLM）生成潜在恶意代码的自然语言摘要（生成式 AI 如何用于网络安全？10 个真实示例）。它本质上是“一种专用于安全编码的 ChatGPT”，充当 AI 恶意软件分析师，全天候工作，帮助人类分析师了解威胁（生成式 AI 在网络安全中的 6 个用例 [+ 示例] ）。安全团队成员无需费力钻研不熟悉的脚本或二进制代码，而是可以从人工智能中立即获得解释——例如， “此脚本尝试从 XYZ 服务器下载文件，然后修改系统设置，这表明存在恶意软件行为。”这大大加快了事件响应速度，因为分析师可以比以往更快地对新恶意软件进行分类和理解。

生成式人工智能还用于在海量数据集中定位恶意软件。传统的杀毒引擎会扫描文件以查找已知签名，而生成模型可以评估文件的特征，甚至根据学习到的模式预测文件是否为恶意文件。通过分析数十亿个文件（恶意和良性）的属性，人工智能可以在没有明确签名的情况下捕获恶意意图。例如，生成模型可以将一个可执行文件标记为可疑，因为其行为特征“看起来”像它在训练中看到的勒索软件的略微变体，即使该二进制文件是新的。这种基于行为的检测有助于对抗新型或零日恶意软件。据报道，谷歌的威胁情报人工智能（Chronicle/Mandiant 的一部分）使用其生成模型来分析潜在的恶意代码，并“更高效、更有效地协助安全专业人员打击恶意软件和其他类型的威胁”。 （生成式人工智能如何用于网络安全？10 个真实世界的例子）。

另一方面，我们必须承认，攻击者也可以利用生成式人工智能——自动创建能够自我调整的恶意软件。事实上，安全专家警告称，生成式人工智能可以帮助网络犯罪分子开发更难检测的恶意软件（《网络安全中的生成式人工智能是什么？ - Palo Alto Networks 》）。人工智能模型可以被指令反复变形恶意软件（更改其文件结构、加密方法等），直到它规避所有已知的防病毒检查。这种对抗性使用日益受到关注（有时被称为“人工智能驱动的恶意软件”或多态恶意软件即服务）。我们稍后会讨论此类风险，但它强调了生成式人工智能是这场猫捉老鼠游戏中的工具，防御者和攻击者都会使用。

总体而言，生成式人工智能 (Generative AI) 使安全团队能够像攻击者一样思考，从而在内部生成新的威胁和解决方案，从而增强恶意软件防御能力。无论是生成合成恶意软件以提高检测率，还是使用人工智能来解释和遏制网络中发现的真实恶意软件，这些技术都适用于各个行业。银行可能会使用人工智能驱动的恶意软件分析来快速分析电子表格中的可疑宏，而制造公司可能会依靠人工智能来检测针对工业控制系统的恶意软件。通过用生成式人工智能 (Generative AI) 增强传统的恶意软件分析，组织可以比以往更快、更主动地应对恶意软件活动。

威胁情报和自动化分析

每天，组织都会被海量的威胁情报数据轰炸——从新发现的入侵指标 (IOC) 到有关新兴黑客策略的分析师报告。安全团队面临的挑战是如何筛选这些海量信息，并从中提取切实可行的洞察。事实证明，生成式人工智能在自动化威胁情报分析和使用方面。分析师无需手动阅读数十份报告或数据库条目，而是可以运用人工智能以机器速度汇总和分析威胁情报。

一个具体的例子是谷歌的威胁情报套件，它将生成式人工智能（Gemini 模型）与谷歌从 Mandiant 和 VirusTotal 获取的海量威胁数据相集成。该人工智能提供“在谷歌庞大的威胁情报库中进行对话式搜索”的功能，允许用户提出有关威胁的自然问题并获得精炼答案（生成式人工智能如何用于网络安全？10 个真实世界的例子）。例如，分析师可以问： “我们是否看到任何与威胁组织 X 相关的恶意软件针对我们的行业？”人工智能将提取相关信息，可能会指出“是的，威胁组织 X 与上个月使用恶意软件 Y 的网络钓鱼活动有关” ，同时提供该恶意软件行为的摘要。这大大减少了收集洞察的时间，否则将需要查询多个工具或阅读长篇报告。

生成式人工智能还可以关联和总结威胁趋势。它可以梳理数千条安全博客文章、漏洞新闻和暗网聊天，然后为 CISO 的简报生成“本周最大网络威胁”的执行摘要。传统上，这种级别的分析和报告需要大量人力；现在，一个经过精心调整的模型可以在几秒钟内完成，人工只需对输出进行改进。像 ZeroFox 这样的公司开发了FoxGPT ，这是一种生成式人工智能工具，专门用于“加速跨大型数据集的情报分析和汇总”，包括恶意内容和网络钓鱼数据（生成式人工智能如何用于网络安全？10 个真实世界的例子）。通过自动执行读取和交叉引用数据的繁重工作，人工智能使威胁情报团队能够专注于决策和响应。

另一个用例是对话式威胁搜寻。想象一下，一位安全分析师与人工智能助手互动： “显示过去 48 小时内数据泄露的任何迹象”或“本周攻击者正在利用的最大新漏洞是什么？”人工智能可以解释查询，搜索内部日志或外部情报来源，并提供明确的答案甚至相关事件列表。这并非牵强附会——现代安全信息和事件管理 (SIEM) 系统开始融入自然语言查询。例如，IBM 的 QRadar 安全套件将在 2024 年添加生成式人工智能功能，让分析师可以“询问有关事件的总结攻击路径的具体问题”并获得详细答案。它还可以自动“解释和总结高度相关的威胁情报” 生成式人工智能如何用于网络安全？10 个现实世界的例子）。本质上，生成式人工智能可以根据需求将海量技术数据转化为聊天大小的洞察。

这对于各个行业都具有重大意义。医疗保健提供商可以利用人工智能随时了解针对医院的最新勒索软件攻击，而无需专门指派分析师进行全职研究。零售公司的安全运营中心 (SOC) 可以在向门店 IT 员工汇报时快速总结新的 POS 恶意软件攻击策略。在政府部门，需要整合来自各个机构的威胁数据，而人工智能可以生成统一的报告，重点突出关键警告。通过自动化威胁情报收集和解读，生成式人工智能可以帮助组织更快地应对新兴威胁，并降低错过隐藏在噪音中的关键警告的风险。

安全运营中心 (SOC) 优化

安全运营中心 (SOC) 因警报疲劳和海量数据而臭名昭著。典型的 SOC 分析师每天可能需要处理数千条警报和事件，调查潜在事件。生成式人工智能 (Generative AI) 通过自动化日常工作、提供智能摘要，甚至协调某些响应，在 SOC 中发挥着倍增器的作用。其目标是优化 SOC 工作流程，使人类分析师能够专注于最关键的问题，而 AI 则负责处理其余部分。

一个主要的应用是将生成式人工智能用作“分析师的副驾驶” 。前面提到的微软安全副驾驶就是一个很好的例子：它“旨在协助安全分析师的工作，而不是取代它”，帮助进行事件调查和报告（微软安全副驾驶是用于网络安全的新型 GPT-4 人工智能助手 | The Verge ）。在实践中，这意味着分析师可以输入原始数据——防火墙日志、事件时间线或事件描述——并要求人工智能对其进行分析或总结。副驾驶可能会输出这样的叙述： “看来在凌晨 2:35，来自 IP X 的可疑登录在服务器 Y 上成功，随后发生了异常的数据传输，这表明该服务器可能存在漏洞。”在时间至关重要的时候，这种即时的语境化是非常宝贵的。

AI 副驾驶员也有助于减轻一级分类的负担。根据行业数据，一个安全团队每周可能要花费 15 个小时来整理大约 22,000 条警报和误报（网络安全中生成式 AI 的 6 个用例 [+ 示例] ）。借助生成式 AI，许多此类警报可以自动分类 - AI 可以忽略那些明显无害的警报（给出理由），并突出显示那些真正需要关注的警报，有时甚至会提示优先级。事实上，生成式 AI 在理解上下文方面的优势意味着它可以将那些孤立地看起来无害但集合在一起却表明存在多阶段攻击的警报进行交叉关联。这减少了由于“警报疲劳”而错过攻击的可能性。

SOC 分析师还将自然语言与 AI 结合使用，以加快搜寻和调查速度。例如，SentinelOne 的Purple AI平台将基于 LLM 的界面与实时安全数据相结合，使分析师能够“用简单的英语提出复杂的威胁搜寻问题并获得快速、准确的答案” （生成式 AI 如何用于网络安全？10 个真实世界的例子）。分析师可以输入“上个月是否有任何端点与域 badguy123[.]com 进行过通信？” ，Purple AI 将搜索日志并做出响应。这使分析师无需编写数据库查询或脚本——AI 会在后台完成这些工作。这也意味着初级分析师可以处理以前需要精通查询语言的经验丰富的工程师才能完成的任务，从而通过 AI 的帮助有效地提升团队的技能。事实上，分析师报告称，生成式人工智能指导“提高了他们的技能和熟练程度” ，因为初级员工现在可以从人工智能中获得按需编码支持或分析技巧，从而减少对总是向高级团队成员寻求帮助的依赖（网络安全中生成式人工智能的 6 个用例 [+ 示例] ）。

SOC 的另一项优化是自动事件汇总和文档记录。处理完事件后，必须有人撰写报告，而很多人觉得这项任务很繁琐。生成式 AI 可以获取取证数据（系统日志、恶意软件分析、操作时间表）并生成事件报告初稿。IBM 正在将此功能构建到 QRadar 中，以便只需“单击”即可为不同的利益相关者（高管、IT 团队等）生成事件摘要（生成式 AI 如何用于网络安全？10 个真实示例）。这不仅节省时间，而且还确保报告中不会遗漏任何内容，因为 AI 可以始终如一地包含所有相关细节。同样，对于合规性和审计，AI 可以根据事件数据填写表格或证据表。

现实世界的结果令人信服。Swimlane 的 AI 驱动 SOAR（安全编排、自动化和响应）的早期采用者报告了巨大的生产力提升——例如，Global Data Systems 发现他们的 SecOps 团队管理的案例量大得多；一位主管表示， AI 驱动的自动化，我今天用 7 名分析师完成的工作可能需要 20 名员工” 生成式 AI 如何用于网络安全）。换句话说， SOC 中的 AI 可以成倍增加容量。在各个行业，无论是处理云安全警报的科技公司还是监控 OT 系统的制造工厂，SOC 团队都可以通过采用生成式 AI 助手获得更快的检测和响应、更少的漏报事件和更高效的运营。这是关于更智能地工作——让机器处理重复性和数据密集型任务，以便人类可以在最重要的地方运用他们的直觉和专业知识。

漏洞管理和威胁模拟

识别和管理漏洞（即软件或系统中可能被攻击者利用的弱点）是网络安全的核心功能。生成式人工智能 (Generative AI) 通过加速漏洞发现、协助确定补丁优先级，甚至模拟针对这些漏洞的攻击来增强漏洞管理，从而提高防范能力。本质上，人工智能正在帮助组织更快地发现并修复其防御漏洞，并主动测试防御措施。

一个重要的应用是使用生成式人工智能进行自动代码审查和漏洞发现。大型代码库（尤其是遗留系统）通常隐藏着一些容易被忽视的安全漏洞。生成式人工智能模型可以接受安全编码实践和常见错误模式的训练，然后将其应用于源代码或编译后的二进制文件，以查找潜在漏洞。例如，NVIDIA 的研究人员开发了一种生成式人工智能流程，可以分析遗留软件容器并识别漏洞， “准确率高达人类专家的 4 倍”。 (网络安全中生成式人工智能的 6 个用例 [+ 示例] )。该人工智能本质上了解了不安全代码的本质，并能够扫描数十年前的软件，标记出存在风险的函数和库，从而大大加快了通常缓慢的手动代码审计流程。对于依赖大型旧代码库的金融或政府等行业来说，这种工具可能会带来翻天覆地的变化——人工智能可以通过挖掘员工可能需要数月甚至数年才能发现（甚至可能永远找不到）的问题来帮助实现安全现代化。

可以通过处理漏洞扫描结果并确定其优先级来协助漏洞管理工作流程ExposureAI使用生成式人工智能，让分析师以通俗易懂的语言查询漏洞数据并立即获得答案（生成式人工智能如何应用于网络安全？10 个真实案例）。ExposureAI 可以“以叙述形式总结完整的攻击路径” ，解释攻击者如何将其与其他漏洞串联起来以破坏系统。它甚至会建议补救措施并回答有关风险的后续问题。这意味着，当一个新的关键 CVE（通用漏洞和暴露）发布时，分析师可以询问人工智能： “我们的服务器是否有受到此 CVE 的影响？如果我们不修补，最坏的情况会是什么？”并获得根据组织自身的扫描数据得出的明确评估。通过将漏洞情境化（例如，这个漏洞暴露在互联网上和高价值服务器上，因此它是首要任务），生成式人工智能可以帮助团队在有限的资源下智能地修补。

除了查找和管理已知漏洞外，生成式人工智能 (GAN) 还有助于渗透测试和攻击模拟——本质上是发现未知漏洞或测试安全控制。生成对抗网络 (GAN) 是一种生成式人工智能，已被用于创建模拟真实网络流量或用户行为的合成数据，其中可能包含隐藏的攻击模式。2023 年的一项研究建议使用 GAN 生成逼真的零日攻击流量，以训练入侵检测系统（网络安全中生成式人工智能的 6 个用例 [+ 示例] ）。通过向入侵检测系统 (IDS) 输入人工智能设计的攻击场景（不会在生产网络上使用实际恶意软件），组织可以训练其防御系统识别新型威胁，而无需等待在现实中受到攻击。同样，人工智能可以模拟攻击者探测系统——例如，在安全的环境中自动尝试各种漏洞利用技术，看看是否有任何一种会成功。美国国防高级研究计划局 (DARPA) 看到了其中的潜力：其 2023 年人工智能网络挑战赛明确使用生成式人工智能（如大型语言模型）来“自动查找和修复开源软件中的漏洞”，作为竞赛的一部分（ DARPA 旨在开发作战人员可以信赖的人工智能自主应用程序 > 美国国防部 > 国防部新闻）。这项举措强调，人工智能不仅仅是帮助修补已知漏洞；它还能积极发现新漏洞并提出修复方案，而这项任务传统上仅限于熟练（且费用昂贵）的安全研究人员。

生成式人工智能甚至可以创建智能蜜罐和数字孪生。初创公司正在开发人工智能驱动的诱饵系统，以令人信服地模拟真实的服务器或设备。正如一位首席执行官所解释的那样，生成式人工智能可以“克隆数字系统来模仿真实系统并引诱黑客” （网络安全中生成式人工智能的 6 个用例 [+ 示例] ）。这些人工智能生成的蜜罐行为类似于真实环境（例如，发送正常遥测数据的假物联网设备），但其存在的唯一目的是吸引攻击者。当攻击者瞄准诱饵时，人工智能基本上已经诱骗他们透露了他们的方法，然后防御者可以研究并使用这些方法来强化真实系统。这一概念由生成式建模提供支持，提供了一种前瞻性的方法，利用人工智能增强的欺骗手段扭转攻击者的局面

在各个行业，更快、更智能的漏洞管理意味着更少的违规行为。例如，在医疗IT领域，人工智能可以快速发现医疗设备中存在漏洞的过时库，并在攻击者利用之前提示固件修复。在银行业，人工智能可以模拟对新应用程序的内部攻击，以确保客户数据在任何情况下都安全无虞。因此，生成式人工智能既可以充当组织安全态势的显微镜，也可以充当压力测试仪：它可以揭示隐藏的缺陷，并以富有想象力的方式对系统施加压力，以确保系统的弹性。

安全代码生成和软件开发

生成式人工智能的能力不仅限于检测攻击，它还能从一开始就构建更安全的系统。在软件开发领域，人工智能代码生成器（例如 GitHub Copilot、OpenAI Codex 等）可以通过建议代码片段甚至整个函数来帮助开发人员更快地编写代码。网络安全角度在于确保这些人工智能建议的代码片段是安全的，并利用人工智能来改进编码实践。

一方面，生成式人工智能可以充当嵌入安全最佳实践的编码助手。开发人员可以提示人工智能工具“用 Python 生成密码重置函数” ，理想情况下，它会返回不仅可运行而且遵循安全指南（例如，正确的输入验证、日志记录、错误处理而不泄露信息等）的代码。经过大量安全代码示例训练的此类助手有助于减少导致漏洞的人为错误。例如，如果开发人员忘记清理用户输入（为 SQL 注入或类似问题打开大门），人工智能可以默认包含该输入或发出警告。一些人工智能编码工具现在正在使用以安全为中心的数据进行微调，以实现这一目的——本质上，就是具有安全意识的人工智能结对编程。

然而，生成式人工智能也有其弊端：如果管理不当，生成式人工智能也很容易引入漏洞。正如 Sophos 安全专家 Ben Verschaeren 所指出的，使用生成式人工智能进行编码“对于简短、可验证的代码来说没有问题，但当未经检查的代码被集成到生产系统中时，就会存在风险”。风险在于，人工智能可能会生成逻辑正确但并不安全的代码，而非专业人士可能无法察觉。此外，恶意行为者可能会故意影响公共人工智能模型，通过在模型中植入易受攻击的代码模式（一种数据中毒形式），使人工智能建议不安全的代码。大多数开发人员并非安全专家，因此，如果人工智能建议一个便捷的解决方案，他们可能会盲目使用，而没有意识到它存在缺陷（生成式人工智能在网络安全中的 6 个用例 [+ 示例] ）。这种担忧是真实存在的——事实上，现在有一个针对 LLM（大型语言模型）的 OWASP 十大风险列表，概述了使用人工智能进行编码的常见此类风险。

为了应对这些问题，专家建议“以生成式AI对抗生成式AI” 。实际上，这意味着使用AI来审查和测试其他AI（或人类）编写的代码。AI可以比人类代码审查者更快地扫描新提交的代码，并标记潜在的漏洞或逻辑问题。我们已经看到一些新兴工具集成到软件开发生命周期中：代码编写完成（可能借助AI），然后经过安全代码原则训练的生成模型对其进行审查，并生成任何问题的报告（例如，使用弃用函数、缺少身份验证检查等）。前面提到的NVIDIA的研究实现了代码漏洞检测速度提高4倍，这是利用AI进行安全代码分析的一个例子（网络安全中生成式AI的6个用例[+示例] ）。

此外，生成式人工智能可以协助创建安全的配置和脚本。例如，如果一家公司需要部署安全的云基础设施，工程师可以要求人工智能生成配置脚本（基础设施即代码），并嵌入安全控制措施（例如适当的网络分段、最小权限 IAM 角色）。经过数千个此类配置的训练，人工智能可以生成一个基准，供工程师进行微调。这可以加速系统的安全设置，并减少配置错误——云安全事件的常见根源。

一些组织还利用生成式人工智能来维护安全编码模式知识库。如果开发人员不确定如何安全地实现某个功能，他们可以查询从公司过去的项目和安全指南中学习过的内部人工智能。人工智能可能会返回推荐的方法，甚至是符合功能需求和公司安全标准的代码片段。Secureframe的问卷自动化，它从公司的政策和过去的解决方案中提取答案，以确保一致和准确的答复（本质上是生成安全文档）（生成式人工智能如何用于网络安全？10 个现实世界的例子）。这个概念转化为编码：一种“记住”你以前如何安全地实现某些事情并指导你再次这样做的人工智能。

总而言之，生成式人工智能正在通过使安全编码辅助更容易获得来。开发大量定制软件的行业——科技、金融、国防等——将从拥有人工智能“副驾驶员”中受益，这些副驾驶员不仅可以加快编码速度，还能充当时刻警惕的安全审查员。如果管理得当，这些人工智能工具可以减少新漏洞的产生，并帮助开发团队遵循最佳实践，即使团队并非每一步都有安全专家参与。最终结果是，软件从第一天起就具备更强的抵御攻击的能力。

事件响应支持

当网络安全事件发生时——无论是恶意软件爆发、数据泄露，还是攻击导致的系统中断——时间都至关重要。生成式人工智能正越来越多地被用于支持事件响应 (IR) 团队更快地控制和补救事件，并获取更多信息。其理念是，人工智能可以在事件发生期间承担部分调查和文档工作，甚至建议或自动执行某些响应操作。

人工智能在 IR 中的一个关键作用是实时事件分析和总结。在事件发生时，响应者可能需要回答诸如“攻击者是如何进入的？” ， “哪些系统受到影响？”和“哪些数据可能被泄露？”。生成式人工智能可以分析受影响系统的日志、警报和取证数据，并快速提供见解。例如，Microsoft Security Copilot 允许事件响应者输入各种证据（文件、URL、事件日志）并要求提供时间表或摘要（ Microsoft Security Copilot 是一款新的 GPT-4 网络安全人工智能助手 | The Verge ）。人工智能可能会这样回应： “此次入侵很可能始于格林威治标准时间 10:53 发送给用户 JohnDoe 的一封包含恶意软件 X 的钓鱼邮件。恶意软件执行后会创建一个后门，两天后该后门会横向移动到财务服务器，并在那里收集数据。”在几分钟而不是几小时内获得这种连贯的图像，使团队能够更快地做出明智的决策（例如隔离哪些系统）。

生成式人工智能还可以建议遏制和补救措施。例如，如果某个端点感染了勒索软件，人工智能工具可以生成一个脚本或一组指令来隔离该机器，禁用某些帐户，并在防火墙上阻止已知的恶意 IP — — 本质上是一个剧本执行。Palo Alto Networks 指出，生成式人工智能能够“根据事件的性质生成适当的操作或脚本” ，自动执行初始响应步骤（网络安全中的生成式人工智能是什么？ - Palo Alto Networks ）。在安全团队不堪重负的情况下（比如数百台设备受到大范围攻击），人工智能甚至可能在预先批准的条件下直接执行其中一些操作，就像一个不知疲倦的初级响应者。例如，人工智能代理可以自动重置它认为已被泄露的凭据，或隔离表现出与事件配置文件相符的恶意活动的主机。

在事件响应期间，沟通至关重要——无论是团队内部还是与利益相关者之间。生成式人工智能可以提供帮助，即时起草事件更新报告或简报。工程师不必停下故障排除来撰写电子邮件更新，而是可以要求人工智能“总结到目前为止此事件中发生的事情，以通知高管”。人工智能在获取事件数据后，可以生成一份简明的摘要： “截至下午 3 点，攻击者已访问了 2 个用户帐户和 5 台服务器。受影响的数据包括数据库 X 中的客户端记录。遏制措施：已撤销受损帐户的 VPN 访问权限并隔离服务器。后续步骤：扫描任何持久性机制。”然后，响应者可以快速验证或调整此摘要并将其发送出去，确保利益相关者随时了解准确、最新的信息。

尘埃落定后，通常需要准备一份详细的事件报告，并总结经验教训。这是人工智能支持的另一个亮点。它可以审查所有事件数据，并生成一份涵盖根本原因、事件发生时间、影响和建议的事件后报告。例如，IBM 正在整合生成式人工智能，只需按下按钮“可与利益相关者共享的安全案例和事件的简单摘要” 生成式人工智能如何应用于网络安全？10 个真实案例）。通过简化事后报告，组织可以更快地实施改进，并获得更完善的合规性文档。

一种创新的前瞻性应用是人工智能驱动的事件模拟。类似于消防演习，一些公司正在使用生成式人工智能来演练“假设”事件场景。人工智能可以模拟勒索软件在特定网络布局下的传播方式，或者内部人员如何窃取数据，然后评估当前响应计划的有效性。这有助于团队在实际事件发生之前准备和完善应对方案。这就像拥有一个不断改进的事件响应顾问，不断测试你的准备程度。

在金融或医疗保健等高风险行业，事故造成的停机或数据丢失成本尤其高昂，这些人工智能驱动的事件响应 (IR) 功能极具吸引力。遭遇网络事件的医院无法承受长时间的系统中断——能够快速协助控制事件的人工智能或许真的能挽救生命。同样，金融机构可以在凌晨 3 点使用人工智能对疑似欺诈入侵进行初步分类，这样，当值班人员上线时，大量的基础工作（注销受影响的账户、阻止交易等）就已经完成了。通过使用生成式人工智能增强事件响应团队，组织可以显著缩短响应时间并提高处理工作的彻底性，最终减轻网络事件造成的损害。

行为分析和异常检测

许多网络攻击可以通过发现异常行为来发现——无论是用户帐户下载异常量的数据，还是网络设备突然与陌生主机通信。生成式人工智能提供先进的行为分析和异常检测，学习用户和系统的正常模式，并在出现异常时发出警报。

传统的异常检测通常使用统计阈值或简单的机器学习来处理特定指标（例如 CPU 使用率峰值、非正常时间登录等）。而生成式 AI 可以更进一步，创建更细致的行为档案。例如，AI 模型可以收集员工一段时间内的登录信息、文件访问模式和电子邮件习惯，从而对该用户的“正常”行为形成多维度的理解。如果该账户之后执行了某些严重超出其正常范围的操作（例如，从新的国家/地区登录并在午夜访问大量人力资源文件），AI 不仅会检测到某个指标的偏差，还会检测到与用户档案不符的整体行为模式。从技术角度来看，生成模型（例如自动编码器或序列模型）可以模拟“正常”行为，然后生成预期的行为范围。当实际情况超出该范围时，就会被标记为异常（网络安全中的生成式 AI 是什么？ - Palo Alto Networks ）。

一种实际的应用是网络流量监控。根据 2024 年的一项调查，54% 的美国组织将监控网络流量列为人工智能在网络安全领域的首要用例（北美：2024 年全球网络安全领域的首要人工智能用例）。生成式人工智能可以学习企业网络的正常通信模式——哪些服务器通常相互通信，工作时间和夜间的数据量是多少，等等。如果攻击者开始从服务器窃取数据，即使速度很慢以避免被发现，基于人工智能的系统也可能会注意到“服务器 A 从未在凌晨 2 点向外部 IP 发送 500MB 的数据”并发出警报。由于人工智能不仅仅使用静态规则，而是一种不断发展的网络行为模型，因此它可以捕捉到静态规则（例如“数据 > X MB 时发出警报”）可能遗漏或错误标记的细微异常。这种自适应特性使得人工智能驱动的异常检测在银行交易网络、云基础设施或物联网设备群等环境中非常强大，在这些环境中定义正常与异常的固定规则极其复杂。

生成式人工智能还能帮助进行用户行为分析 (UBA) ，这对于发现内部威胁或受损账户至关重要。通过生成每个用户或实体的基线，人工智能可以检测到诸如凭证滥用之类的行为。例如，如果会计部门的鲍勃突然开始查询客户数据库（这是他以前从未做过的事情），那么针对鲍勃行为的人工智能模型就会将此标记为异常。这可能不是恶意软件——可能是鲍勃的凭证被攻击者窃取和使用，或者鲍勃在进行不该进行的操作。无论哪种情况，安全团队都会得到通知并展开调查。这种人工智能驱动的 UBA 系统存在于各种安全产品中，而生成建模技术通过考虑上下文（也许鲍勃正在参与一个特殊项目等，人工智能有时可以从其他数据中推断出这些信息），提高了产品的准确性并减少了误报。

在身份和访问管理领域，深度伪造检测的需求日益增长——生成式人工智能可以创建合成语音和视频，从而绕过生物识别安全机制。有趣的是，生成式人工智能还可以通过分析音频或视频中人类难以察觉的细微伪像来检测这些深度伪造。我们看到了埃森哲的一个例子，该公司使用生成式人工智能模拟了无数的面部表情和状态，以训练其生物识别系统区分真实用户和人工智能生成的深度伪造。五年来，这种方法帮助埃森哲消除了90%系统的密码（转向生物识别和其他因素），并将攻击减少了60%（网络安全中生成式人工智能的6个用例[+示例] ）。本质上，他们使用生成式人工智能来加强生物识别身份验证，使其能够抵御生成式攻击（这是人工智能对抗人工智能的绝佳例证）。这种行为建模——在本例中是识别真人脸和人工智能合成脸之间的差异——至关重要，因为我们在身份验证中越来越依赖人工智能。

生成式人工智能驱动的异常检测可应用于各行各业：在医疗保健领域，监控医疗设备行为以发现黑客攻击迹象；在金融领域，监控交易系统中可能存在欺诈或算法操纵的异常模式；在能源/公用事业领域，观察控制系统信号以发现入侵迹象。广度（审视行为的各个方面）和深度（理解复杂模式），使其成为识别网络事件潜在指标的有力工具。随着威胁变得更加隐蔽，隐藏在正常运营之中，这种精准定义“正常”并在出现异常时发出警报的能力变得至关重要。因此，生成式人工智能如同不知疲倦的哨兵，不断学习和更新其对“正常”的定义，以跟上环境的变化，并向安全团队发出需要更仔细检查的异常警报。

生成式人工智能在网络安全领域的机遇和优势

生成式人工智能在网络安全领域的应用，为愿意采用这些工具的组织带来了众多机遇和益处。以下，我们总结了生成式人工智能成为网络安全项目引人注目的补充的关键优势：

  • 更快的威胁检测和响应：生成式人工智能系统能够实时分析海量数据，识别威胁的速度远超人工分析。这种速度优势意味着能够更早地发现攻击并更快地控制事件。在实践中，人工智能驱动的安全监控可以捕获人类需要更长时间才能识别的威胁。通过及时响应事件（甚至自主执行初始响应），组织可以显著减少攻击者在其网络中的停留时间，从而最大限度地减少损失。

  • 提升准确性和威胁覆盖率：由于生成模型能够不断从新数据中学习，因此能够适应不断变化的威胁，并捕捉到更细微的恶意活动迹象。与静态规则相比，这能够提高检测准确性（减少误报和漏报）。例如，学习了网络钓鱼电子邮件或恶意软件行为特征的人工智能可以识别出从未见过的变体。这能够更广泛地覆盖威胁类型，包括新型攻击，从而增强整体安全态势。安全团队还可以从人工智能分析中获得详细的洞察（例如，对恶意软件行为的解释），从而实现更精准、更有针对性的防御（什么是网络安全中的生成式人工智能？ - Palo Alto Networks ）。

  • 重复性任务的自动化：生成式人工智能擅长自动化日常劳动密集型安全任务——从梳理日志、编写报告到编写事件响应脚本。这种自动化减轻了人类分析师的负担，使他们能够专注于高级战略和复杂的决策（生成式人工智能在网络安全中的作用是什么？ - Palo Alto Networks ）。诸如漏洞扫描、配置审计、用户活动分析和合规性报告等日常但重要的工作都可以由人工智能处理（或至少是初步起草）。通过以机器速度处理这些任务，人工智能不仅提高了效率，还减少了人为错误（这是导致数据泄露的重要因素）。

  • 主动防御与模拟：生成式人工智能使组织能够从被动安全转变为主动安全。通过攻击模拟、合成数据生成和基于场景的训练等技术，防御者可以在威胁之前。安全团队可以在安全的环境中模拟网络攻击（网络钓鱼活动、恶意软件爆发、DDoS 等），以测试他们的响应能力并弥补任何弱点。这种持续的训练通常无法仅凭人力完成，但却能保持防御系统的敏锐性和最新状态。这类似于网络“消防演习”——人工智能可以向您的防御系统抛出许多假设威胁，以便您进行练习和改进。

  • 增强人类专业知识（AI 作为力量倍增器）：生成式 AI 集不知疲倦的初级分析师、顾问和助手于一身。它可以为经验不足的团队成员提供通常由经验丰富的专家提供的指导和建议，从而有效地整个团队专业知识的民主化网络安全中生成式 AI 的 6 个用例 [+ 示例] ）。鉴于网络安全领域的人才短缺，这一点尤为重要——AI 可以帮助小型团队事半功倍。另一方面，经验丰富的分析师受益于 AI 处理繁琐的工作并挖掘不明显的洞察，然后他们可以验证这些洞察并采取行动。总体而言，安全团队的效率和能力都得到了显著提升，因为 AI 放大了每位成员的影响力（如何将生成式 AI 用于网络安全）。

  • 增强决策支持和报告：通过将技术数据转化为自然语言洞察，生成式人工智能可以改善沟通和决策。安全领导者可以通过人工智能生成的摘要更清晰地洞察问题，无需解析原始数据即可做出明智的战略决策。同样，当人工智能能够编写通俗易懂的安全态势和事件报告时，跨职能部门（与高管、合规官等）的沟通也会得到改善（生成式人工智能如何应用于网络安全？10 个真实案例）。这不仅可以在领导层建立对安全问题的信心和共识，还可以通过清晰地阐明风险和人工智能发现的差距，帮助证明投资和变革的合理性。

综合起来，这些优势意味着，在网络安全领域利用生成式人工智能的组织可以实现更强大的安全态势，并可能降低运营成本。他们可以应对此前难以应对的威胁，弥补未受监控的漏洞，并通过人工智能驱动的反馈循环持续改进。最终，生成式人工智能能够以与速度、规模和复杂程度相当的防御手段，提供领先于对手的机会。一项调查发现，超过一半的企业和网络领导者预计，通过使用生成式人工智能，可以更快地检测威胁并提高准确性（ [PDF] 2025年全球网络安全展望 | 世界经济论坛）（网络安全中的生成式人工智能：法学硕士综合评论…… ）——这证明了人们对这些技术优势的乐观态度。

在网络安全中使用生成式人工智能的风险与挑战

虽然机遇巨大，但在网络安全领域运用生成式人工智能时，务必谨慎看待风险和挑战。盲目信任或滥用人工智能可能会带来新的漏洞。下文将概述主要的担忧和陷阱，并分别介绍其背景：

  • 网络犯罪分子的对抗性使用：生成能力既能帮助防御者，也能帮助攻击者。威胁行为者已经在使用生成式人工智能来制作更具说服力的网络钓鱼邮件、创建虚假人物和深度伪造视频用于社会工程学、开发不断变化以逃避检测的多态恶意软件，甚至自动化某些黑客攻击行为（《网络安全中的生成式人工智能是什么？》 - Palo Alto Networks ）。近一半（46%）的网络安全领导者担心生成式人工智能会导致更高级的对抗性攻击（《生成式人工智能安全：趋势、威胁和缓解策略》）。这场“人工智能军备竞赛”意味着，随着防御者采用人工智能，攻击者也紧随其后（事实上，他们可能在某些领域领先，使用不受监管的人工智能工具）。组织必须做好准备，应对更频繁、更复杂、更难以追踪的人工智能增强型威胁。

  • AI 幻觉与不准确性：生成式 AI 模型可能会产生看似合理，但实际上却不正确或具有误导性的输出——这种现象被称为幻觉。在安全场景中，AI 可能会分析某个事件并错误地认定某个漏洞是事件原因，或者生成一个存在缺陷的修复脚本，导致无法遏制攻击。如果仅从表面上看，这些错误可能非常危险。正如 NTT Data 警告的那样， “生成式 AI 可能会输出不真实的内容，这种现象被称为幻觉……目前很难完全消除它们” （《生成式 AI 的安全风险与对策及其对网络安全的影响》| NTT DATA 集团）。过度依赖未经验证的 AI 可能会导致误入歧途或产生虚假的安全感。例如，AI 可能会将关键系统误认为安全，而实际上并非如此；或者相反，通过“检测到”从未发生的漏洞来引发恐慌。严格验证人工智能输出并让人类参与关键决策对于降低这种风险至关重要。

  • 误报和漏报：与幻觉类似，如果 AI 模型训练或配置不佳，可能会将良性活动过度报告为恶意活动（误报） ，或者更糟的是，错过真正的威胁（误报） （生成式 AI 如何用于网络安全）。过多的误报可能会使安全团队不堪重负并导致警报疲劳（抵消 AI 承诺的效率提升），而漏检会使组织暴露在风险之中。调整生成模型以达到适当的平衡是一项挑战。每个环境都是独一无二的，AI 可能无法立即达到最佳性能。持续学习也是一把双刃剑——如果 AI 从有偏差的反馈或变化的环境中学习，其准确性可能会波动。安全团队必须监控 AI 性能并调整阈值或向模型提供纠正反馈。在高风险环境中（例如关键基础设施的入侵检测），在一段时间内将人工智能建议与现有系统并行运行可能是明智的，以确保它们协调和互补而不是冲突。

  • 数据隐私与泄露：生成式人工智能系统通常需要大量数据进行训练和运行。如果这些模型基于云端或未得到妥善隔离，则存在敏感信息泄露的风险。用户可能会无意中将专有数据或个人数据输入人工智能服务（例如，要求 ChatGPT 总结一份机密事件报告），而这些数据可能会成为模型知识的一部分。事实上，最近的一项研究发现， 55% 的生成式人工智能工具输入包含敏感信息或个人身份信息，这引发了人们对数据泄露的严重担忧（《生成式人工智能安全：趋势、威胁与缓解策略》 ）。此外，如果人工智能已经使用内部数据进行训练，并且以某些方式对其进行查询，它可能会将输出给其他人。组织必须实施严格的数据处理策略（例如，使用本地或私有人工智能实例处理敏感材料），并教育员工不要将机密信息粘贴到公共人工智能工具中。隐私法规（GDPR 等）也发挥着作用——在未经适当同意或保护的情况下使用个人数据来训练人工智能可能会违反法律。

  • 模型安全与操控：生成式人工智能模型本身可能成为攻击目标。攻击者可能会尝试模型投毒，在训练或再训练阶段输入恶意或误导性数据，使人工智能学习到错误的模式（生成式人工智能如何应用于网络安全）。例如，攻击者可能会巧妙地毒害威胁情报数据，使人工智能无法将攻击者自己的恶意软件识别为恶意软件。另一种策略是即时注入或输出操控，攻击者会找到一种方法向人工智能发出输入，使其以非预期的方式运行——例如忽略其安全防护栏或泄露其不应泄露的信息（例如内部提示或数据）。此外，还存在模型规避：攻击者精心设计专门用于欺骗人工智能的输入。我们在对抗性案例中看到了这种情况——略微扰动的数据在人类看来是正常的，但人工智能却对其进行了错误分类。在部署这些工具时，确保 AI 供应链的安全（数据完整性、模型访问控制、对抗性稳健性测试）是网络安全的一个新但必要的部分（网络安全中的生成式 AI 是什么？ - Palo Alto Networks ）。

  • 过度依赖和技能流失：组织可能过度依赖人工智能，导致人类技能萎缩，这是一种较为隐蔽的风险。如果初级分析师盲目信任人工智能的输出，他们可能无法培养在人工智能不可用或出错时所需的批判性思维和直觉。需要避免的情况是，安全团队拥有强大的工具，但却不知道这些工具一旦出现故障该如何操作（就像飞行员过度依赖自动驾驶仪一样）。定期进行没有人工智能辅助的训练，并培养人工智能只是助手而非可靠预言家的心态，对于保持人类分析师的敏锐性至关重要。人类必须始终是最终的决策者，尤其是在影响重大的判断中。

  • 道德与合规挑战：人工智能在网络安全领域的应用引发了道德问题，并可能引发监管合规问题。例如，如果人工智能系统因异常情况错误地将员工认定为恶意内部人员，则可能会不公正地损害此人的声誉或职业生涯。人工智能的决策可能不透明（“黑匣子”问题），难以向审计师或监管机构解释采取某些行动的原因。随着人工智能生成内容的日益普及，确保透明度和问责制至关重要。监管机构开始对人工智能进行审查——例如，欧盟的《人工智能法案》将对“高风险”人工智能系统提出要求，而网络安全人工智能可能就属于此类。公司需要遵循这些法规，并可能遵守NIST人工智能风险管理框架等标准，以负责任地使用生成人工智能（如何将生成人工智能应用于网络安全？10个真实案例）。合规性也延伸到许可：使用开源或第三方模型可能会受到限制某些用途或要求共享改进的条款。

总而言之，生成式人工智能并非灵丹妙药——如果实施不当，即使解决了其他问题，也可能带来新的弱点。2024 年世界经济论坛的一项研究强调，约 47% 的组织将攻击者在生成式人工智能方面的进步列为首要担忧，使其成为“生成式人工智能最令人担忧的影响” （ [PDF] 2025 年全球网络安全展望 | 世界经济论坛）（网络安全中的生成式人工智能：法学硕士综合评论…… ）。因此，组织必须采取平衡的方法：充分利用人工智能的优势，同时通过治理、测试和人工监督严格管理这些风险。接下来，我们将讨论如何切实实现这种平衡。

未来展望：生成式人工智能在网络安全中不断演变的角色

展望未来，生成式人工智能有望成为网络安全战略不可或缺的一部分，同时也将成为网络攻击者持续利用的工具。这场猫捉老鼠的竞争将加速，人工智能将参与其中。以下是一些关于生成式人工智能未来几年将如何塑造网络安全的前瞻性见解：

  • 人工智能增强型网络防御成为标配：到2025年及以后，我们预计大多数大中型企业都将在其安全运营中融入人工智能驱动的工具。正如杀毒软件和防火墙如今已成为标配一样，人工智能副驾驶和异常检测系统未来或将成为安全架构的基础组件。这些工具可能会变得更加专业化——例如，针对云安全、物联网设备监控、应用程序代码安全等进行微调的独特人工智能模型将协同工作。正如一项预测指出的那样， “到2025年，生成式人工智能将成为网络安全不可或缺的一部分，使企业能够主动防御复杂且不断演变的威胁” （生成式人工智能如何应用于网络安全）。人工智能将增强实时威胁检测，自动化许多响应操作，并帮助安全团队管理远超手动操作的数据量。

  • 持续学习与适应：未来网络领域的生成式人工智能系统将能够更好地实时学习，近乎实时地更新其知识库。这或许能够带来真正自适应的防御——想象一下，一个人工智能系统在早上得知另一家公司正在遭受新的网络钓鱼攻击，到了下午就已调整了贵公司的电子邮件过滤器。基于云的人工智能安全服务或许能够促进这种集体学习，让一个组织的匿名洞察惠及所有订阅者（类似于威胁情报共享，但实现了自动化）。然而，这需要谨慎处理，以避免敏感信息被共享，并防止攻击者将恶意数据输入共享模型。

  • 人工智能与网络安全人才的融合：网络安全专业人员的技能组合将不断发展，涵盖人工智能和数据科学的精通。正如当今的分析师学习查询语言和脚本一样，未来的分析师可能会定期微调人工智能模型或编写供人工智能执行的“剧本”。我们可能会看到诸如“人工智能安全培训师”或“网络安全人工智能工程师”——他们专门根据组织需求调整人工智能工具，验证其性能并确保其安全运行。另一方面，网络安全考量将日益影响人工智能的发展。人工智能系统将从头构建，并具备安全特性（安全架构、篡改检测、人工智能决策的审计日志等），而可信人工智能（公平、可解释、稳健和安全）将指导其在安全关键环境中的部署。

  • 更复杂的人工智能攻击：不幸的是，威胁格局也将随着人工智能的发展而演变。我们预计人工智能将更频繁地用于发现零日漏洞、设计高度精准的鱼叉式网络钓鱼（例如，人工智能抓取社交媒体数据以创建精准的诱饵），以及生成逼真的深度伪造语音或视频以绕过生物特征认证或实施欺诈。自动化黑客代理可能会出现，它们可以在极少的人工监督下独立执行多阶段攻击（侦察、漏洞利用、横向移动等）。这将迫使防御者也依赖人工智能——本质上是自动化与自动化的对决。某些攻击可能以机器速度进行，例如人工智能机器人会尝试一千种网络钓鱼邮件排列组合，以确定哪种能够绕过过滤器。网络防御需要以类似的速度和灵活性运行才能跟上（网络安全中的生成式人工智能是什么？ - Palo Alto Networks ）。

  • 安全领域的监管与伦理人工智能：随着人工智能在网络安全功能中的深度嵌入，相关审查将更加严格，监管也可能会出台，以确保这些人工智能系统得到负责任的使用。我们可以期待针对安全领域人工智能的框架和标准。各国政府可能会制定透明度准则——例如，规定重大安全决策（例如，因涉嫌恶意活动而终止员工访问权限）必须经过人工审核，才能由人工智能单独做出。人工智能安全产品也可能获得认证，以向买家保证其已通过偏见、稳健性和安全性评估。此外，围绕人工智能相关的网络威胁的国际合作可能会加强；例如，就处理人工智能制造的虚假信息达成协议，或针对某些人工智能驱动的网络武器制定规范。

  • 与更广泛的人工智能和IT生态系统的整合：网络安全领域的生成式人工智能很可能与其他人工智能系统和IT管理工具相集成。例如，管理网络优化的人工智能可以与安全人工智能协同工作，确保变更不会留下漏洞。人工智能驱动的业务分析可能会与安全人工智能共享数据，以关联异常情况（例如，销售额的突然下降与攻击导致的网站问题）。本质上，人工智能不会孤立存在——它将成为组织运营中更广阔的智能结构的一部分。这为整体风险管理创造了机会，其中运营数据、威胁数据甚至物理安全数据可以通过人工智能整合，从而提供组织安全态势的360度视图。

从长远来看，我们希望生成式人工智能能够帮助防御者占据优势。通过处理现代IT环境的规模和复杂性，人工智能可以使网络空间更具防御性。然而，这是一个漫长的过程，随着我们不断改进这些技术并学会适当地信任它们，我们将会经历成长的阵痛。那些时刻保持知情并投资于负责任的安全人工智能的，很可能才是最有能力应对未来威胁的组织。

正如Gartner最近的网络安全趋势报告所指出的， “生成式人工智能用例（及风险）的出现正在为转型带来压力” （ 《网络安全趋势：转型中的韧性——Gartner 》）。那些适应者将利用人工智能作为强大的盟友；那些落后者则可能被人工智能赋能的对手超越。未来几年将是定义人工智能如何重塑网络战场的关键时期。

在网络安全中采用生成式人工智能的实用要点

对于评估如何在其网络安全战略中利用生成式人工智能的企业，以下是一些实用的要点和建议，以指导负责任和有效地采用：

  1. 从教育和培训入手：确保您的安全团队（以及更广泛的IT员工）了解生成式AI的能做什么和不能做什么。提供AI驱动安全工具基础知识的培训，并更新安全意识计划，以应对AI带来的威胁。例如，教导员工如何利用AI生成极具说服力的网络钓鱼诈骗和深度伪造电话。同时，培训员工如何在工作中安全且合法地使用AI工具。信息充分的用户不太可能误操作AI或成为AI增强型攻击的受害者（生成式AI如何应用于网络安全？10个真实案例）。

  2. 定义清晰的人工智能使用策略：像对待任何强大的技术一样，对生成式人工智能进行治理。制定策略，明确谁可以使用人工智能工具、哪些工具获得批准以及用于何种目的。并纳入敏感数据处理指南（例如，不得将机密数据输入外部人工智能服务），以防止泄露。例如，您可能只允许安全团队成员使用内部人工智能助手进行事件响应，市场营销部门可以使用经过审查的人工智能进行内容处理——其他所有人都受到限制。许多组织现在在其IT策略中明确提及生成式人工智能，领先的标准机构也鼓励安全使用策略，而不是彻底禁止（《生成式人工智能如何应用于网络安全？10个真实案例》）。务必将这些规则及其背后的原理传达给所有员工。

  3. 缓解“影子AI”并监控使用情况：与影子IT类似，“影子AI”是指员工在未经IT部门知情的情况下开始使用AI工具或服务（例如，开发人员使用未经授权的AI代码助手）。这可能会带来看不见的风险。采取措施检测和控制未经批准的AI使用情况。网络监控可以标记与流行AI API的连接，而调查或工具审计可以发现员工正在使用哪些工具。提供经批准的替代方案，以防止员工试图违规操作（例如，如果员工觉得ChatGPT Enterprise官方帐户有用，则提供该帐户）。通过公开AI的使用情况，安全团队可以评估和管理风险。监控也至关重要——尽可能多地记录AI工具的活动和输出，以便对受AI影响的决策进行审计跟踪（生成式AI如何用于网络安全？10个真实案例）。

  4. 利用人工智能进行防御——不落后：认识到攻击者会使用人工智能，你的防御也应该如此。确定几个高影响力领域，在这些领域中，生成式人工智能可以立即协助你的安全运营（例如警报分类或自动日志分析），并运行试点项目。利用人工智能的速度和规模增强你的防御能力，以应对快速变化的威胁（生成式人工智能如何应用于网络安全？10 个真实案例）。即使是简单的集成，例如使用人工智能汇总恶意软件报告或生成威胁搜寻查询，也可以节省分析师的时间。从小处着手，评估结果并不断迭代。成功将为更广泛地采用人工智能奠定基础。目标是将人工智能用作力量倍增器——例如，如果网络钓鱼攻击让你的帮助台不堪重负，可以部署一个人工智能电子邮件分类器来主动减少攻击数量。

  5. 投资安全且符合道德规范的人工智能实践：在实施生成式人工智能时，请遵循安全的开发和部署实践。对于敏感任务，请使用私有或自托管模型来保留对数据的控制。如果使用第三方人工智能服务，请审查其安全和隐私措施（加密、数据保留策略等）。整合人工智能风险管理框架（例如 NIST 的人工智能风险管理框架或 ISO/IEC 指南），系统地解决人工智能工具中的偏见、可解释性和鲁棒性等问题（生成式人工智能如何应用于网络安全？10 个真实案例）。此外，还要规划模型更新/补丁作为维护的一部分——人工智能模型也可能存在“漏洞”（例如，如果它们开始出现偏差或发现针对模型的新型对抗性攻击，它们可能需要重新训练）。将安全性和道德规范融入到人工智能的使用中，您可以建立对结果的信任，并确保遵守新兴法规。

  6. 让人类参与其中：在网络安全领域，使用人工智能辅助而非完全取代人类判断。确定需要人工验证的决策点（例如，人工智能可能起草一份事件报告，但分析师在分发前会对其进行审核；或者人工智能可能建议屏蔽用户账户，但人类会批准该操作）。这不仅可以防止人工智能错误被忽略，还能帮助您的团队向人工智能学习，反之亦然。鼓励协作式工作流程：分析师应该能够自如地质疑人工智能的输出并进行健全性检查。随着时间的推移，这种对话可以提升人工智能（通过反馈）和分析师的技能。本质上，设计您的流程时，应使人工智能和人类的优势互补——人工智能负责处理数量和速度，人类负责处理模糊性和最终决策。

  7. 衡量、监控和调整：最后，将您的生成式人工智能工具视为安全生态系统的活跃组件。持续衡量它们的性能——它们是否缩短了事件响应时间？是否更早地发现威胁？误报率趋势如何？征求团队的反馈意见：人工智能的建议是否有用，还是会产生干扰？使用这些指标来改进模型、更新训练数据或调整人工智能的集成方式。网络威胁和业务需求不断发展，您的人工智能模型应该定期更新或重新训练，以保持其有效性。制定模型治理计划，包括由谁负责维护以及审查频率。通过积极管理人工智能的生命周期，您可以确保它始终是一项资产，而不是负担。

总而言之，生成式人工智能可以显著提升网络安全能力，但成功应用需要周密的规划和持续的监督。企业如果能够对员工进行培训、制定清晰的指导方针，并以平衡、安全的方式整合人工智能，就能获得更快、更智能的威胁管理。这些经验为我们提供了路线图：将人类的专业知识与人工智能自动化相结合，涵盖治理的基础知识，并在人工智能技术和威胁形势不断发展变化的过程中保持敏捷性。

通过采取这些切实可行的步骤，各组织机构可以自信地回答“生成式人工智能如何应用于网络安全？”——不仅在理论上，而且在日常实践中——从而在日益数字化和人工智能驱动的世界中加强防御能力。（生成式人工智能如何应用于网络安全）

您可能想阅读以下白皮书：

🔗哪些工作是人工智能无法取代的，哪些工作会被人工智能取代？
探索全球视野，看看哪些工作可以免受自动化的影响，哪些不能。

🔗人工智能能预测股市吗？
深入探讨人工智能预测市场走势的局限性、突破和误区。

🔗在没有人类干预的情况下，生成式人工智能可以做什么？
了解人工智能在哪些方面可以独立运作，以及哪些方面仍然需要人类监督。

返回博客