生成式人工智能如何在网络安全领域应用？

介绍

生成式人工智能（Generationative AI）——能够创建新内容或进行预测的人工智能系统——正在成为网络安全领域的一股变革力量。诸如 OpenAI 的 GPT-4 等工具已展现出分析复杂数据并生成类人文本的能力，从而为防御网络威胁开辟了新的途径。各行各业的网络安全专家和业务决策者都在探索如何利用生成式人工智能来加强防御，抵御不断演变的攻击。从金融、医疗保健到零售和政府部门，各行各业的组织都面临着复杂的网络钓鱼攻击、恶意软件和其他威胁，而生成式人工智能或许能够帮助应对这些威胁。在本白皮书中，我们将探讨生成式人工智能在网络安全领域的应用，重点介绍其在现实世界中的应用、未来的发展前景以及采用时需要考虑的重要因素。

生成式人工智能与传统分析型人工智能的区别在于，它不仅能够检测模式，还能生成内容——无论是模拟攻击以训练防御系统，还是为复杂的安全数据生成自然语言解释。这种双重能力使其成为一把双刃剑：它提供了强大的新型防御工具，但攻击者也可能利用它。以下章节将探讨生成式人工智能在网络安全领域的广泛应用案例，从自动化网络钓鱼检测到增强事件响应。我们还将讨论这些人工智能创新带来的益处，以及企业必须应对的风险（例如人工智能“幻觉”或对抗性滥用）。最后，我们将提供一些实用建议，帮助企业评估生成式人工智能并将其负责任地整合到网络安全战略中。

网络安全中的生成式人工智能：概述

网络安全领域的生成式人工智能指的是能够生成洞察、建议、代码，甚至是合成数据的AI模型——通常是大型语言模型或其他神经网络——以辅助安全任务。与纯粹的预测模型不同，生成式人工智能可以模拟各种场景，并基于其训练数据生成人类可读的输出（例如报告、警报，甚至是恶意代码样本）。这种能力正被用于以比以往更加动态的方式预测、检测和应对什么是网络安全领域的生成式人工智能？ - Palo Alto Networks ）。例如，生成式模型可以分析海量日志或威胁情报库，并生成简洁的摘要或建议的操作，几乎就像安全团队的AI“助手”。

早期将生成式人工智能应用于网络防御已展现出巨大潜力。2023年，微软推出了基于GPT-4的安全分析助手Security Copilot 微软Security Copilot是一款面向网络安全的全新GPT-4人工智能助手 | The Verge ）。分析人员可以使用自然语言向该系统发出指令（例如“总结过去24小时内的所有安全事件” ），Security Copilot将生成一份有用的叙述性摘要。同样，谷歌的威胁情报人工智能Gemini生成式模型，通过谷歌庞大的威胁情报数据库实现对话式搜索，快速分析可疑代码并总结结果，以帮助恶意软件猎手（生成式人工智能如何在网络安全领域应用？10个真实案例）。这些案例表明了其潜力：生成式人工智能能够处理复杂的大规模网络安全数据，并以易于理解的形式呈现分析结果，从而加速决策过程。

与此同时，生成式人工智能能够创建高度逼真的虚假内容，这对于模拟和训练来说是一大福音（但不幸的是，对于攻击者进行社会工程攻击来说也是如此）。随着我们深入探讨具体应用案例，我们将看到生成式人工智能合成和分析信息的能力是其众多网络安全应用的基础。下文将深入探讨关键应用案例，涵盖从网络钓鱼预防到安全软件开发等各个方面，并举例说明它们在各行业的应用情况。

生成式人工智能在网络安全领域的关键应用

图：生成式人工智能在网络安全中的关键用例包括安全团队的人工智能副驾驶、代码漏洞分析、自适应威胁检测、零日攻击模拟、增强生物识别安全和网络钓鱼检测（ 6 个生成式人工智能在网络安全中的用例 [+ 示例] ）。

网络钓鱼检测与预防

网络钓鱼仍然是最普遍的网络威胁之一，它诱骗用户点击恶意链接或泄露凭证。生成式人工智能 (AI) 正被部署用于检测网络钓鱼攻击并加强用户培训，以预防攻击成功。在防御方面，AI 模型可以分析电子邮件内容和发件人行为，从而发现基于规则的过滤器可能遗漏的细微网络钓鱼迹象。通过学习大量合法电子邮件和欺诈电子邮件的数据集，生成式模型可以标记语气、措辞或上下文中的异常情况，这些异常情况表明存在诈骗——即使语法和拼写不再能提供线索。事实上，Palo Alto Networks 的研究人员指出，生成式 AI 可以识别“可能被忽略的网络钓鱼电子邮件的细微迹象”，帮助组织始终领先于诈骗者一步（什么是网络安全中的生成式 AI？ - Palo Alto Networks ）。

安全团队也在利用生成式人工智能来模拟网络钓鱼攻击，以进行训练和分析。例如，Ironscales 推出了一款基于 GPT 的网络钓鱼模拟工具，它可以自动生成针对企业员工定制的虚假钓鱼邮件（《如何将生成式人工智能应用于网络安全？10 个真实案例》）。这些由人工智能生成的邮件反映了攻击者最新的策略，使员工能够获得识别钓鱼内容的真实练习机会。这种个性化训练至关重要，因为攻击者自身也在利用人工智能来创建更具说服力的诱饵。值得注意的是，虽然生成式人工智能可以生成非常精良的钓鱼邮件（过去那种容易被识破的蹩脚英语已经不复存在），但防御者发现人工智能并非无懈可击。2024 年，IBM 安全研究人员进行了一项实验，比较了人工撰写的钓鱼邮件和人工智能生成的钓鱼邮件， “令人惊讶的是，尽管人工智能生成的邮件语法正确，但仍然很容易被识别出来” （ 《网络安全中生成式人工智能的 6 个用例 [+ 示例] 》）。这表明，人类直觉与人工智能辅助检测相结合，仍然可以识别人工智能编写的诈骗邮件中的细微不一致之处或元数据信号。

生成式人工智能还能以其他方式辅助网络钓鱼防御。模型可用于生成自动回复或过滤器，以测试可疑电子邮件。例如，人工智能系统可以回复包含特定查询的电子邮件，以验证发件人的合法性；或者使用逻辑层级模型 (LLM) 在沙箱环境中分析电子邮件的链接和附件，然后总结任何恶意意图。NVIDIA 的安全平台Morpheus展示了人工智能在该领域的强大功能——它使用生成式自然语言处理 (NLP) 模型快速分析和分类电子邮件，并且与传统安全工具相比，21% 参见《网络安全领域生成式人工智能的 6 个用例及示例》 ）。Morpheus 甚至可以分析用户通信模式，以检测异常行为（例如用户突然向大量外部地址发送电子邮件），这可能表明某个帐户已被盗用并正在发送网络钓鱼邮件。

在实践中，各行各业的公司都开始信赖人工智能（AI）来过滤电子邮件和网络流量，防范社交工程攻击。例如，金融公司利用生成式人工智能扫描通信内容，识别可能导致电信诈骗的冒充行为；而医疗机构则部署人工智能来保护患者数据免受网络钓鱼攻击。通过生成逼真的网络钓鱼场景并识别恶意信息的特征，生成式人工智能为网络钓鱼防范策略增添了强大的保障。由此可见，即使攻击者也在利用同样的技术不断提升攻击手段，人工智能仍然能够更快、更准确地帮助检测和防御网络钓鱼攻击

恶意软件检测与威胁分析

现代恶意软件不断演变——攻击者会生成新的变种或混淆代码以绕过反病毒特征码。生成式人工智能为检测恶意软件和理解其行为提供了新的技术。一种方法是利用人工智能生成恶意软件的“邪恶双胞胎” ：安全研究人员可以将已知的恶意软件样本输入生成模型，从而创建该恶意软件的多个变异变种。通过这种方式，他们能够有效地预测攻击者可能进行的修改。这些人工智能生成的变种随后可用于训练反病毒和入侵检测系统，以便即使是经过修改的恶意软件版本也能在实际环境中被识别（网络安全领域生成式人工智能的 6 个用例 [+ 示例] ）。这种主动策略有助于打破黑客通过轻微修改恶意软件来逃避检测，而防御者每次都必须匆忙编写新特征码的恶性循环。正如某个行业播客中提到的，安全专家现在使用生成式人工智能来“模拟网络流量并生成模仿复杂攻击的恶意载荷”，从而对整个威胁家族而非单一实例进行压力测试，以检验其防御能力。这种自适应威胁检测意味着安全工具能够更好地抵御原本会漏网的多态恶意软件。

除了检测之外，生成式人工智能还能辅助恶意软件分析和逆向工程，这些工作传统上都是威胁分析师耗费大量人力的任务。大型语言模型可以用于检查可疑代码或脚本，并用通俗易懂的语言解释代码的意图。一个实际的例子是Code Insight功能，它利用生成式人工智能模型（谷歌的 Sec-PaLM）生成潜在恶意代码的自然语言摘要（《如何在网络安全中使用生成式人工智能？10 个真实案例》）。它本质上是“一种专门用于安全编码的 ChatGPT”，充当全天候工作的 AI 恶意软件分析师，帮助人类分析师理解威胁（ 《网络安全中生成式人工智能的 6 个用例 [+ 示例] 》）。安全团队成员无需费力研究陌生的脚本或二进制代码，即可立即从人工智能获得解释——例如， “此脚本尝试从 XYZ 服务器下载文件，然后修改系统设置，这表明存在恶意软件行为。”这极大地加快了事件响应速度，因为分析人员可以比以往任何时候都更快地对新型恶意软件进行分类和理解。

生成式人工智能也被用于从海量数据集中精准识别恶意软件。传统的杀毒引擎会扫描文件以查找已知的特征码，而生成式模型则可以评估文件的特征，甚至基于学习到的模式预测其是否恶意。通过分析数十亿个文件（包括恶意文件和良性文件）的属性，人工智能可以在没有明确特征码的情况下捕捉到恶意意图。例如，即使二进制文件是新的，生成式模型也可以将其标记为可疑，因为它的行为特征“看起来”像是训练期间遇到的勒索软件的略微变体。这种基于行为的检测有助于对抗新型或零日恶意软件。据报道，谷歌的威胁情报人工智能（隶属于 Chronicle/Mandiant）使用其生成式模型来分析潜在的恶意代码，并“更高效、更有效地协助安全专业人员对抗恶意软件和其他类型的威胁”。 （《如何将生成式人工智能应用于网络安全？10 个真实案例》）

另一方面，我们也必须承认攻击者同样可以利用生成式人工智能来自动创建能够自我适应的恶意软件。事实上，安全专家警告称，生成式人工智能可以帮助网络犯罪分子开发更难检测的恶意软件（ 《网络安全中的生成式人工智能是什么？》- Palo Alto Networks ）。人工智能模型可以被指示反复修改恶意软件（例如改变其文件结构、加密方法等），直到它能够绕过所有已知的反病毒检测。这种对抗性用途正日益令人担忧（有时被称为“人工智能驱动的恶意软件”或“多态恶意软件即服务”）。我们将在后面讨论这些风险，但这凸显了生成式人工智能是防御者和攻击者在这场猫鼠游戏中都会用到的工具。

总体而言，生成式人工智能通过使安全团队能够像攻击者一样思考——在内部生成新的威胁和解决方案——从而增强恶意软件防御能力。无论是生成合成恶意软件以提高检测率，还是利用人工智能来解释和遏制网络中发现的真实恶意软件，这些技术都适用于各个行业。例如，银行可以使用人工智能驱动的恶意软件分析来快速分析电子表格中的可疑宏，而制造企业则可以依靠人工智能来检测针对工业控制系统的恶意软件。通过将生成式人工智能与传统的恶意软件分析相结合，企业可以比以往更快、更主动地应对恶意软件攻击。

威胁情报与自动化分析

每天，企业都会被海量的威胁情报数据所淹没——从新发现的入侵指标 (IOC) 到分析师关于新兴黑客策略的报告。安全团队面临的挑战是如何从这些海量信息中筛选出可操作的洞察。生成式人工智能在自动化威胁情报分析和利用方面。分析师无需手动阅读数十份报告或数据库条目，即可利用人工智能以机器速度对威胁情报进行总结和背景分析。

一个具体的例子是谷歌的威胁情报套件，它将生成式人工智能（Gemini 模型）与谷歌从 Mandiant 和 VirusTotal 获取的海量威胁数据相结合。该人工智能提供“在谷歌庞大的威胁情报库中进行对话式搜索”的功能，使用户能够提出关于威胁的自然问题并获得精简的答案（生成式人工智能如何在网络安全中应用？10 个真实案例）。例如，分析师可以问： “我们是否发现任何与威胁组织 X 相关的、针对我们行业的恶意软件？”人工智能会提取相关情报，并可能指出“是的，威胁组织 X 上个月使用恶意软件 Y 发起了一场网络钓鱼活动” ，以及该恶意软件行为的摘要。这大大缩短了收集信息所需的时间，否则需要查询多个工具或阅读冗长的报告。

生成式人工智能还可以关联和总结威胁趋势。它可以梳理成千上万篇安全博客文章、泄露新闻和暗网讨论，然后生成一份“本周主要网络威胁”的概要，供首席信息安全官 (CISO) 汇报。传统上，这种级别的分析和报告需要耗费大量人力；现在，一个经过精心调校的模型可以在几秒钟内生成概要，人工只需对输出结果进行润色即可。像 ZeroFox 这样的公司开发了FoxGPT ，这是一款专门用于“加速分析和总结大型数据集（包括恶意内容和网络钓鱼数据）的情报”的生成式人工智能工具（《如何在网络安全中使用生成式人工智能？10 个真实案例》）。通过自动化读取和交叉引用数据的繁重工作，人工智能使威胁情报团队能够专注于决策和响应。

另一个应用场景是对话式威胁狩猎。想象一下，一位安全分析师与人工智能助手互动： “请告诉我过去 48 小时内是否有任何数据泄露的迹象”或“攻击者本周正在利用哪些主要的新漏洞？”人工智能可以解读查询，搜索内部日志或外部情报来源，并给出清晰的答案，甚至提供相关事件列表。这并非天方夜谭——现代安全信息和事件管理 (SIEM) 系统正开始整合自然语言查询功能。例如，IBM 的 QRadar 安全套件计划在 2024 年添加生成式人工智能功能，使分析师能够事件的攻击路径概要提出具体问题” 自动“解读和总结高度相关的威胁情报” 如何在网络安全中使用生成式人工智能？10 个真实案例》）。本质上，生成式人工智能能够按需将海量技术数据转化为便于交流的洞察信息。

这在各行各业都具有重大意义。医疗机构可​​以利用人工智能随时掌握针对医院的最新勒索软件组织动态，而无需安排分析师进行全职研究。零售公司的安全运营中心 (SOC) 可以在向门店 IT 人员汇报时快速总结最新的 POS 机恶意软件攻击策略。在政府部门，由于需要整合来自各个机构的威胁数据，人工智能可以生成统一的报告，突出显示关键警告。通过自动化威胁情报的收集和解读，生成式人工智能可以帮助组织更快地应对新出现的威胁，并降低错过隐藏在海量信息中的关键警告的风险。

安全运营中心 (SOC) 优化

安全运营中心 (SOC) 因警报疲劳和海量数据而臭名昭著。一名典型的 SOC 分析师每天可能要处理成千上万条警报和事件，调查潜在的安全事件。生成式人工智能 (AI) 通过自动化日常工作、提供智能摘要，甚至协调部分响应，在 SOC 中发挥着倍增器的作用。其目标是优化 SOC 工作流程，使分析师能够专注于最关键的问题，而其余工作则由 AI 副驾驶处理。.

生成式人工智能的一项重要应用是将其用作“分析师的副驾驶” 。前文提到的微软安全副驾驶（Security Copilot）便是一个很好的例子：它“旨在辅助安全分析师的工作，而非取代他们”，帮助进行事件调查和报告（微软安全副驾驶是一款面向网络安全的新型 GPT-4 人工智能助手 | The Verge ）。在实践中，这意味着分析师可以输入原始数据——例如防火墙日志、事件时间线或事件描述——并要求人工智能对其进行分析或总结。副驾驶可能会输出类似这样的叙述： “凌晨 2:35，来自 IP 地址 X 的可疑登录成功，随后出现了异常数据传输，表明该服务器可能遭到入侵。”这种即时上下文信息在时间紧迫的情况下至关重要。

AI 辅助系统还能帮助减轻一级警报处理的压力。据行业数据显示，一个安全团队每周可能要花费 15 个小时来处理大约 22,000 条警报和误报（ 《网络安全领域生成式 AI 的 6 个应用案例 [+ 示例] 》）。借助生成式 AI，许多此类警报可以自动进行分类——AI 可以忽略那些明显无害的警报（并给出理由），并突出显示真正需要关注的警报，有时甚至会建议优先级。事实上，生成式 AI 在理解上下文方面的优势意味着它可以将看似无害的警报进行交叉关联，这些警报组合在一起可能表明存在多阶段攻击。这降低了因“警报疲劳”而漏掉攻击的可能性。

安全运营中心 (SOC) 分析师也正在利用自然语言和人工智能来加速威胁搜寻和调查。例如，SentinelOne 的Purple AI平台将基于语言学习模型 (LLM) 的界面与实时安全数据相结合，使分析师能够“用简单的英语提出复杂的威胁搜寻问题，并获得快速准确的答案” （《如何将生成式人工智能应用于网络安全？10 个真实案例》）。分析师可以输入“过去一个月内是否有任何端点与域名 badguy123[.]com 通信？” ，Purple AI 将搜索日志并给出答案。这使分析师无需编写数据库查询或脚本——人工智能会在后台自动完成这些工作。这也意味着初级分析师可以处理以前需要经验丰富的、精通查询语言的工程师才能完成的任务，从而有效地通过人工智能辅助提升团队技能。事实上，分析师报告称，生成式人工智能指导“提高了他们的技能和熟练程度” ，因为初级员工现在可以从人工智能获得按需编码支持或分析技巧，从而减少了总是向高级团队成员寻求帮助的依赖（网络安全中生成式人工智能的 6 个用例[+ 示例] ）。

安全运营中心 (SOC) 的另一项优化是自动化事件摘要和文档生成。事件处理完毕后，必须有人撰写报告——这项工作对许多人来说都很繁琐。生成式人工智能 (AI) 可以利用取证数据（系统日志、恶意软件分析、操作时间线）生成事件报告初稿。IBM 正在将此功能集成到 QRadar 中，只需“单击”即可为不同的利益相关者（高管、IT 团队等）生成事件摘要（生成式人工智能如何在网络安全领域应用？10 个真实案例）。这不仅节省了时间，而且由于 AI 可以始终如一地包含所有相关细节，因此可以确保报告中不会遗漏任何内容。同样，对于合规性和审计，AI 可以根据事件数据自动填写表格或证据表。

实际应用效果令人信服。Swimlane 的 AI 驱动型 SOAR（安全编排、自动化和响应）的早期采用者报告称，生产力大幅提升——例如，Global Data Systems 的安全运营团队 (SecOps) 处理的工作量显著增加；一位主管表示， AI 驱动的自动化，我今天只需 7 位分析师就能完成的工作可能需要 20 位员工才能完成” 生成式 AI 如何在网络安全领域应用》）。换句话说，运营中心 (SOC) 中使用 AI 可以成倍提升处理能力。无论是处理云安全警报的科技公司，还是监控 OT 系统的制造工厂，各行各业的 SOC 团队都可以通过采用生成式 AI 助手，实现更快的检测和响应速度、更少的漏报事件以及更高效的运营。关键在于更智能地工作——让机器处理重复性和数据密集型任务，从而使人类能够将他们的直觉和专业知识运用到最关键的领域。

漏洞管理和威胁模拟

识别和管理漏洞——即攻击者可能利用的软件或系统缺陷——是网络安全的核心职能。生成式人工智能通过加速漏洞发现、辅助确定补丁优先级，甚至模拟针对这些漏洞的攻击来增强漏洞管理，从而提高防御能力。本质上，人工智能正在帮助组织更快地发现并修复其防御体系中的漏洞，并在真正的攻击者到来之前主动

生成式人工智能的一项重要应用是将其用于自动化代码审查和漏洞发现。大型代码库（尤其是遗留系统）通常隐藏着许多不易察觉的安全漏洞。生成式人工智能模型可以基于安全编码实践和常见错误模式进行训练，然后应用于源代码或编译后的二进制文件，以发现潜在的漏洞。例如，NVIDIA 的研究人员开发了一种生成式人工智能流水线，可以分析遗留软件容器并识别漏洞， “准确率极高——比人类专家快 4 倍”。 （ 《网络安全领域生成式人工智能的 6 个用例 [+ 示例] 》）。该人工智能能够学习不安全代码的特征，并扫描数十年前的软件，标记出存在风险的函数和库，从而极大地加快了通常缓慢的人工代码审计过程。对于依赖大型老旧代码库的行业（例如金融或政府部门），这种工具可以带来颠覆性的变革——人工智能能够挖掘出工作人员可能需要数月甚至数年才能发现的问题，从而帮助实现安全现代化。

通过处理漏洞扫描结果并确定优先级来辅助漏洞管理工作流程ExposureAI就利用生成式人工智能，让分析师能够用简单的语言查询漏洞数据并立即获得答案（生成式人工智能如何在网络安全领域应用？10 个真实案例）。ExposureAI 可以“以叙述的形式总结完整的攻击路径” ，解释攻击者如何将其与其他漏洞结合起来以入侵系统。它甚至会推荐修复措施并回答有关风险的后续问题。这意味着，当一个新的关键 CVE（通用漏洞披露）发布时，分析师可以向人工智能询问： “我们的服务器是否受到此 CVE 的影响？如果我们不打补丁，最坏的情况是什么？”并获得基于组织自身扫描数据的清晰评估。通过对漏洞进行情境化处理（例如，这个漏洞暴露在互联网上，并且位于高价值服务器上，因此它是首要任务），生成式人工智能可以帮助团队在资源有限的情况下智能地进行修补。

除了发现和管理已知漏洞外，生成式人工智能还能助力渗透测试和攻击模拟——本质上是发现未知漏洞或测试安全控制措施。生成对抗网络（GAN）是一种生成式人工智能，已被用于创建模拟真实网络流量或用户行为的合成数据，其中可能包含隐藏的攻击模式。2023 年的一项研究建议使用 GAN 生成逼真的零日攻击流量来训练入侵检测系统（ 《网络安全中生成式人工智能的 6 个用例 [+ 示例] 》）。通过向入侵检测系统输入人工智能生成的攻击场景（这些场景不会在生产网络中使用实际恶意软件），企业可以训练其防御系统识别新型威胁，而无需等到实际遭受攻击。同样，人工智能可以模拟攻击者探测系统——例如，在安全的环境中自动尝试各种攻击技术，以查看是否有任何技术能够成功。美国国防高级研究计划局 (DARPA) 对此充满信心：其 2023 年人工智能网络挑战赛明确采用生成式人工智能（例如大型语言模型）来“自动查找并修复开源软件中的漏洞”，作为一项竞赛的一部分（ DARPA 旨在开发值得信赖的人工智能和自主应用 > 美国国防部 > 国防部新闻）。这项举措强调，人工智能不仅有助于修补已知漏洞，还能积极发现新漏洞并提出修复方案，而这项任务传统上仅限于技术娴熟（且成本高昂）的安全研究人员。

生成式人工智能甚至可以创建智能蜜罐和数字孪生用于防御。初创公司正在开发人工智能驱动的诱饵系统，这些系统能够逼真地模拟真实的服务器或设备。正如一位首席执行官解释的那样，生成式人工智能可以“克隆数字系统来模仿真实系统，并引诱黑客” （ 《网络安全领域生成式人工智能的6个应用案例[及示例] 》）。这些人工智能生成的蜜罐的行为与真实环境（例如，发送正常遥测数据的虚假物联网设备）类似，但其存在的唯一目的就是吸引攻击者。当攻击者攻击诱饵时，人工智能实际上已经诱使他们暴露了攻击方法，防御者随后可以研究这些信息并用于加强真实系统。这一由生成式建模驱动的概念，提供了一种前瞻性的方法，利用人工智能增强的欺骗手段来扭转局势，对抗攻击者。

在各行各业，更快、更智能的漏洞管理意味着更少的安全漏洞。例如，在医疗保健IT领域，人工智能可以快速发现医疗设备中存在漏洞的过时库，并在攻击者利用漏洞之前提示进行固件修复。在银行业，人工智能可以模拟针对新应用程序的内部攻击，以确保客户数据在任何情况下都安全无虞。因此，生成式人工智能既是组织安全态势的显微镜，也是压力测试仪：它能揭示隐藏的缺陷，并以富有创意的方式对系统施加压力，从而确保系统的韧性。.

安全代码生成和软件开发

生成式人工智能的优势不仅限于检测攻击，还能从一开始就构建更安全的系统。在软件开发中，人工智能代码生成器（例如 GitHub Copilot、OpenAI Codex 等）可以通过建议代码片段甚至整个函数来帮助开发人员更快地编写代码。网络安全方面则侧重于确保这些人工智能建议的代码片段的安全性，并利用人工智能来改进编码实践。

一方面，生成式人工智能可以作为编码助手，嵌入安全最佳实践。开发者可以向人工智能工具发出“用Python生成一个密码重置函数”的，理想情况下，它返回的代码不仅功能完善，而且遵循安全准则（例如，正确的输入验证、日志记录、不泄露信息的错误处理等）。这种经过大量安全代码示例训练的助手可以帮助减少人为错误，从而降低安全漏洞的风险。例如，如果开发者忘记对用户输入进行清理（这可能导致SQL注入或其他类似问题），人工智能可以默认执行清理操作，或者发出警告。一些人工智能编码工具目前正在使用安全相关的数据进行微调，以服务于这一目的——本质上，就是具有安全意识的人工智能结对编程。

然而，凡事皆有两面性：如果监管不当，生成式人工智能同样容易引入安全漏洞。正如 Sophos 安全专家 Ben Verschaeren 指出的那样，使用生成式人工智能进行编码“对于简短、可验证的代码来说没问题，但如果未经检查的代码被集成到生产系统中，则风险极大”。风险在于，人工智能可能会生成逻辑上正确的代码，但其中存在的安全漏洞非专业人士可能难以察觉。此外，恶意行为者可以通过向公共人工智能模型中植入易受攻击的代码模式（一种数据投毒）来故意影响它们，从而使人工智能建议不安全的代码。大多数开发人员并非安全专家，因此，如果人工智能建议了一个便捷的解决方案，他们可能会盲目使用，而没有意识到其中存在缺陷（网络安全领域生成式人工智能的 6 个用例 [+ 示例] ）。这种担忧并非空穴来风——事实上，OWASP 现已发布一份针对大型语言模型 (LLM) 的十大安全风险列表，其中列出了使用人工智能进行编码时常见的此类风险。

为了应对这些问题，专家建议在编码领域“以生成式人工智能对抗生成式人工智能” 审查和测试其他人工智能（或人类）编写的代码。人工智能扫描新提交的代码速度远超人类代码审查员，并能标记出潜在的漏洞或逻辑问题。我们已经看到一些工具正在涌现，它们集成到软件开发生命周期中：代码编写完成（可能借助人工智能），然后一个基于安全代码原则训练的生成模型对其进行审查，并生成一份包含所有问题的报告（例如，使用已弃用的函数、缺少身份验证检查等）。前面提到的英伟达的研究实现了代码漏洞检测速度提升4倍，这正是利用人工智能进行安全代码分析的一个例子（网络安全领域生成式人工智能的6个用例[+示例] ）。

此外，生成式人工智能可以辅助创建安全的配置和脚本。例如，如果一家公司需要部署安全的云基础设施，工程师可以请求人工智能生成配置脚本（基础设施即代码），其中内置了安全控制措施（例如适当的网络分段、最小权限身份和访问管理角色）。人工智能已经过数千个此类配置的训练，可以生成一个基准配置，然后由工程师进行微调。这可以加快系统的安全设置，并减少配置错误——配置错误是云安全事件的常见来源。

一些组织也在利用生成式人工智能来维护安全编码模式的知识库。如果开发人员不确定如何安全地实现某个功能，他们可以查询公司内部的人工智能系统，该系统已从公司过去的项目和安全准则中学习。人工智能系统可能会返回一个推荐的方法，甚至是一个符合功能需求和公司安全标准的代码片段。Secureframe的问卷自动化，它会从公司的政策和以往的解决方案中提取答案，以确保回复的一致性和准确性（本质上是生成安全文档）（生成式人工智能如何在网络安全中使用？10 个真实案例）。这个概念可以应用到编码领域：人工智能系统“记住”你之前是如何安全地实现某个功能的，并指导你再次以同样的方式实现。

总而言之，生成式人工智能正在通过让安全编码辅助更加便捷地。那些开发大量定制软件的行业——例如科技、金融、国防等——将从人工智能助手中受益匪浅。这些助手不仅能加快编码速度，还能时刻保持警惕，进行安全审查。如果管理得当，这些人工智能工具可以减少新漏洞的引入，并帮助开发团队遵循最佳实践，即使团队并非在每个环节都有安全专家参与。最终，软件从一开始就能更有效地抵御攻击。

事件响应支持

当网络安全事件发生时——无论是恶意软件爆发、数据泄露还是攻击导致的系统中断——时间至关重要。生成式人工智能正被越来越多地用于支持事件响应 (IR) 团队，帮助他们更快地控制和修复事件，并掌握更多信息。其理念是，人工智能可以分担事件发生期间的部分调查和文档记录工作，甚至可以建议或自动执行一些响应措施。

人工智能在事件响应 (IR) 中的一个关键作用是实时事件分析和总结。在事件发生过程中，响应人员可能需要回答诸如“攻击者是如何入侵的？” 、 “哪些系统受到影响？”以及“哪些数据可能已被泄露？”。生成式人工智能可以分析来自受影响系统的日志、警报和取证数据，并快速提供洞察。例如，Microsoft Security Copilot 允许事件响应人员输入各种证据（文件、URL、事件日志），并请求生成时间线或摘要（ Microsoft Security Copilot 是一款用于网络安全的新型 GPT-4 人工智能助手 | The Verge ）。人工智能可能会回复： “此次入侵很可能始于格林威治标准时间 10:53 发送给用户 JohnDoe 的一封包含恶意软件 X 的网络钓鱼邮件。恶意软件执行后会创建一个后门，两天后，攻击者利用该后门横向移动到财务服务器并收集数据。”在几分钟内而不是几小时内获得如此清晰的事件概览，使团队能够更快地做出明智的决策（例如隔离哪些系统）。

生成式人工智能还可以建议遏制和补救措施。例如，如果某个终端感染了勒索软件，人工智能工具可以生成脚本或指令集，用于隔离该机器、禁用某些帐户以及在防火墙上阻止已知的恶意 IP 地址——本质上就是执行一套剧本。Palo Alto Networks 指出，生成式人工智能能够“根据事件的性质生成适当的操作或脚本” ，从而自动执行初始响应步骤（网络安全中的生成式人工智能是什么？- Palo Alto Networks ）。在安全团队不堪重负的情况下（例如，数百台设备遭受广泛攻击），人工智能甚至可以在预先批准的条件下直接执行其中一些操作，就像一位不知疲倦的初级响应人员。例如，人工智能代理可以自动重置它认为已被泄露的凭据，或者隔离表现出与事件特征相符的恶意活动的主机。

在事件响应过程中，沟通至关重要——无论是在团队内部还是与利益相关者之间。生成式人工智能可以即时生成事件更新报告或简报，。工程师无需中断故障排除工作来撰写电子邮件更新，只需询问人工智能： “请总结一下目前为止的事件进展，以便向管理层汇报。”人工智能在吸收事件数据后，可以生成一份简洁的摘要： “截至下午 3 点，攻击者已访问 2 个用户帐户和 5 台服务器。受影响的数据包括数据库 X 中的客户记录。遏制措施：已撤销受感染帐户的 VPN 访问权限，并已隔离服务器。下一步：扫描是否存在任何持久化机制。”响应人员可以快速验证或修改此摘要，然后将其发送出去，确保利益相关者能够及时获取准确的最新信息。

事件结束后，通常需要撰写一份详细的事件报告并总结经验教训。人工智能在这方面也能发挥重要作用。它可以审查所有事件数据，并生成一份涵盖根本原因、时间线、影响和建议的事件后报告。例如，IBM 正在集成生成式人工智能，只需按一下按钮“可与利益相关者共享的安全案例和事件的简要摘要” 如何将生成式人工智能应用于网络安全？10 个真实案例》）。通过简化事后报告流程，组织可以更快地实施改进措施，并获得更完善的合规性文档。

人工智能驱动的事件模拟是人工智能的一项创新前瞻性应用。类似于消防演习，一些公司正在利用生成式人工智能来模拟各种“假设”事件场景。人工智能可以模拟勒索软件在特定网络布局下的传播方式，或者内部人员如何窃取数据，然后评估当前响应计划的有效性。这有助于团队在实际事件发生前准备和完善应急预案。这就像拥有一个不断进步的事件响应顾问，持续检验你的准备情况。

在金融或医疗保健等高风险行业，系统宕机或数据丢失造成的损失尤为惨重，因此，这些由人工智能驱动的事件响应能力极具吸引力。例如，医院一旦遭遇网络攻击，就无法承受长时间的系统中断——能够快速协助控制事态的人工智能可能真的能挽救生命。同样，金融机构可以利用人工智能在凌晨3点对疑似欺诈入侵进行初步分诊，这样，当值班人员上线时，许多前期工作（例如注销受影响账户、阻止交易等）就已经完成。通过利用生成式人工智能增强事件响应团队的，企业可以显著缩短响应时间，提高处理效率，最终最大限度地减少网络事件造成的损失。

行为分析和异常检测

许多网络攻击都可以通过检测偏离“正常”行为的异常情况来发现——无论是用户帐户下载异常数量的数据，还是网络设备突然与陌生的主机通信。生成式人工智能提供了先进的行为分析和异常检测，能够学习用户和系统的正常模式，并在出现异常情况时发出警报。

传统的异常检测通常使用统计阈值或基于特定指标（例如 CPU 使用率峰值、非正常时间登录等）的简单机器学习。生成式人工智能 (AI) 则更进一步，能够创建更细致的行为画像。例如，AI 模型可以长期收集员工的登录记录、文件访问模式和电子邮件使用习惯，从而对该用户的“正常”行为形成多维度的理解。如果该账户之后出现与其正常行为严重不符的情况（例如从国外登录并在午夜访问大量人力资源文件），AI 不仅会检测到单个指标的偏差，还会检测到整体行为模式与用户画像不符。从技术角度讲，生成式模型（例如自编码器或序列模型）可以模拟“正常”行为的特征，然后生成一个预期的行为范围。当实际情况超出该范围时，就会被标记为异常（什么是网络安全中的生成式 AI？ - Palo Alto Networks ）。

网络流量监控就是一个实际应用案例。根据2024年的一项调查，54%的美国企业将网络流量监控列为人工智能在网络安全领域的首要应用场景（北美：2024年全球网络安全领域人工智能应用场景排行榜）。生成式人工智能可以学习企业网络的正常通信模式——例如哪些服务器之间通常会进行通信，工作时间和夜间的数据流量差异等等。如果攻击者开始从服务器窃取数据，即使速度很慢以避免被发现，基于人工智能的系统也可能注意到“服务器A从未在凌晨2点向外部IP地址发送过500MB的数据” ，并发出警报。由于人工智能并非仅仅使用静态规则，而是基于不断演进的网络行为模型，因此它可以捕捉到静态规则（例如“数据量大于XMB时发出警报”）可能遗漏或误判的细微异常。这种自适应特性使得人工智能驱动的异常检测在银行交易网络、云基础设施或物联网设备集群等环境中尤为强大，因为在这些环境中，定义正常与异常的固定规则极其复杂。

生成式人工智能 (AI) 也助力用户行为分析 (UBA) ，这对于发现内部威胁或被盗账户至关重要。通过为每个用户或实体生成基线数据，AI 可以检测到诸如凭证滥用之类的行为。例如，如果会计部的 Bob 突然开始查询客户数据库（这是他以前从未做过的事情），AI 模型会将 Bob 的行为标记为异常。这可能并非恶意软件——也可能是 Bob 的凭证被窃取并被攻击者使用，或者 Bob 在不应该访问的地方进行了探索。无论哪种情况，安全团队都会收到预警并展开调查。这种 AI 驱动的 UBA 系统已应用于各种安全产品中，而生成式建模技术通过考虑上下文（例如，Bob 可能正在参与某个特殊项目，AI 有时可以从其他数据中推断出这些信息）来提高其准确率并减少误报。

在身份和访问管理领域，深度伪造检测的需求日益增长——生成式人工智能可以创建合成语音和视频，从而欺骗生物识别安全系统。有趣的是，生成式人工智能还可以通过分析音频或视频中人类难以察觉的细微瑕疵来帮助检测这些深度伪造内容。埃森哲就是一个很好的例子，该公司利用生成式人工智能模拟了无数种面部表情和状态，以此训练其生物识别系统，使其能够区分真实用户和人工智能生成的深度伪造内容。五年多来，这种方法帮助埃森哲在其90%的系统中取消了密码（转而采用生物识别和其他因素），并将攻击减少了60%（网络安全领域生成式人工智能的6个用例[+示例] ）。本质上，他们利用生成式人工智能增强了生物识别认证，使其能够抵御生成式攻击（这是人工智能对抗人工智能的绝佳例证）。随着我们在身份验证中越来越依赖人工智能，这种行为建模——在本例中是识别真人面孔与人工智能合成面孔之间的差异——变得至关重要。

由生成式人工智能驱动的异常检测技术可应用于各个行业：在医疗保健领域，它可以监控医疗设备的行为，以发现黑客攻击的迹象；在金融领域，它可以监控交易系统，以发现可能表明欺诈或算法操纵的异常模式；在能源/公用事业领域，它可以观察控制系统信号，以发现入侵迹象。生成式人工智能兼具广度（能够观察行为的各个方面）和深度（能够理解复杂的模式），使其成为在海量网络安全事件指标中发现蛛丝马迹的强大工具。随着威胁变得更加隐蔽，隐藏在正常运营之中，这种能够精确定义“正常”并在出现偏差时发出警报的能力变得至关重要。因此，生成式人工智能就像一个不知疲倦的哨兵，不断学习和更新其对“正常”的定义，以适应环境的变化，并向安全团队发出值得深入调查的异常警报。

生成式人工智能在网络安全领域的机遇与益处

将生成式人工智能应用于网络安全领域，能为愿意采用这些工具的组织带来诸多机遇和益处。以下我们总结了生成式人工智能成为网络安全项目有力补充的关键优势：

• 更快的威胁检测与响应：生成式人工智能系统能够实时分析海量数据，并以远超人工分析的速度识别威胁。这种速​​度优势意味着能够更早地发现攻击并更快地控制事件。实际上，人工智能驱动的安全监控可以捕捉到人工需要花费更长时间才能关联的威胁。通过及时响应事件（甚至自主执行初始响应），企业可以显著缩短攻击者在其网络中的停留时间，从而最大限度地减少损失。

• 更高的准确率和威胁覆盖范围：由于生成模型能够持续从新数据中学习，因此可以适应不断演变的威胁，并捕捉到更细微的恶意活动迹象。与静态规则相比，这可以提高检测准确率（减少漏报和误报）。例如，学习了网络钓鱼邮件或恶意软件行为特征的人工智能可以识别出以前从未见过的变种。其结果是对威胁类型的覆盖范围更广，包括新型攻击，从而增强了整体安全态势。安全团队还可以从人工智能分析中获得详细的洞察（例如，对恶意软件行为的解释），从而实现更精准、更有针对性的防御（什么是网络安全中的生成式人工智能？ - Palo Alto Networks ）。

• 重复性任务自动化：生成式人工智能擅长自动化执行日常、劳动密集型的安全任务，例如梳理日志、编制报告以及编写事件响应脚本。这种自动化减轻了人工分析师的负担，使他们能够专注于高层战略和复杂的决策（网络安全领域的生成式人工智能是什么？ - Palo Alto Networks ）。诸如漏洞扫描、配置审计、用户活动分析和合规性报告等繁琐但重要的任务都可以由人工智能处理（或至少可以初步撰写）。通过以机器速度处理这些任务，人工智能不仅提高了效率，还减少了人为错误（这是导致安全漏洞的重要因素）。

• 主动防御与模拟：生成式人工智能使组织能够从被动防御转向主动防御。通过攻击模拟、合成数据生成和基于场景的训练等技术，防御者可以在威胁之前。安全团队可以在安全的环境中模拟网络攻击（例如网络钓鱼、恶意软件爆发、DDoS 攻击等），以测试其响应并弥补任何漏洞。这种持续的训练，仅靠人力往往难以彻底完成，能够使防御系统保持敏锐和与时俱进。这类似于网络安全的“消防演习”——人工智能可以向您的防御系统抛出大量假设的威胁，以便您进行练习并改进。

• 增强人类专业知识（人工智能作为倍增器）：生成式人工智能集不知疲倦的初级分析师、顾问和助手于一身。它可以为经验不足的团队成员提供通常只有资深专家才能提供的指导和建议，从而有效地在团队内部普及专业知识网络安全领域生成式人工智能的 6 个应用案例 [+ 示例] ）。鉴于网络安全领域的人才短缺，这一点尤为重要——人工智能可以帮助规模较小的团队以更少的资源完成更多的工作。另一方面，经验丰富的分析师可以从人工智能处理繁琐的工作并挖掘出不易察觉的洞察中受益，然后他们可以验证这些洞察并采取行动。最终，安全团队的效率和能力将大幅提升，人工智能放大了每位成员的影响力（如何在网络安全领域应用生成式人工智能）。

• 增强决策支持和报告：通过将技术数据转化为自然语言洞察，生成式人工智能能够改善沟通和决策。安全领导者可以通过人工智能生成的摘要更清晰地了解问题，无需解析原始数据即可做出明智的战略决策。同样，当人工智能生成易于理解的安全态势和事件报告时，跨职能部门（例如高管、合规官等）的沟通也会得到改善（《如何将生成式人工智能应用于网络安全？10 个真实案例》）。这不仅能够增强领导层对安全问题的信心和共识，还能通过清晰阐述风险和人工智能发现的差距，帮助证明投资和变革的合理性。

综合来看，这些优势意味着，在网络安全领域运用生成式人工智能的组织能够以更低的运营成本实现更强大的安全态势。他们可以应对以往难以应对的威胁，弥补以往未被监控的漏洞，并通过人工智能驱动的反馈循环不断改进。最终，生成式人工智能提供了一个先发制人的机会，它能够以同样先进的防御手段应对速度、规模和复杂性。一项调查发现，超过半数的企业和网络安全领导者预计，通过使用生成式人工智能，可以更快地检测威胁并提高准确性（ [PDF]《2025年全球网络安全展望》|世界经济论坛）（《网络安全中的生成式人工智能：LLM的全面回顾》…… ）——这充分证明了人们对这些技术优势的乐观态度。

在网络安全中使用生成式人工智能的风险和挑战

尽管机遇巨大，但在网络安全领域应用生成式人工智能时，必须充分认识到风险和挑战。盲目信任人工智能或滥用人工智能都可能引入新的漏洞。以下我们将概述主要问题和陷阱，并分别阐述其背景：

• 网络犯罪分子的对抗性利用：帮助防御者的生成能力同样也能赋能攻击者。威胁行为者已经开始利用生成式人工智能来制作更具说服力的网络钓鱼邮件，创建虚假身份和深度伪造视频以进行社会工程攻击，开发不断变化以逃避检测的多态恶意软件，甚至自动化部分黑客攻击操作（ 《网络安全中的生成式人工智能是什么？》- Palo Alto Networks ）。近半数（46%）的网络安全领导者担心生成式人工智能会导致更高级的对抗性攻击（《生成式人工智能安全：趋势、威胁和缓解策略》）。这场“人工智能军备竞赛”意味着，随着防御者采用人工智能，攻击者也不会落后太远（事实上，在某些领域，他们可能已经领先，因为他们正在使用不受监管的人工智能工具）。各组织必须做好准备，应对更加频繁、复杂且难以追踪的人工智能增强型威胁。

• 人工智能的幻觉与不准确性：生成式人工智能模型可能会产生看似合理但却错误或具有误导性的——这种现象被称为幻觉。在安全领域，人工智能可能会分析某个事件，并错误地得出结论，认为某个漏洞是其根源；或者，它可能会生成一个有缺陷的修复脚本，无法阻止攻击。如果轻信这些错误，可能会造成危险。正如NTT Data所警告的那样， “生成式人工智能可能会输出不真实的内容，这种现象被称为幻觉……目前很难完全消除幻觉” （ 《生成式人工智能的安全风险及应对措施及其对网络安全的影响》| NTT DATA集团）。过度依赖未经验证的人工智能可能会导致方向错误或产生虚假的安全感。例如，人工智能可能会错误地将一个关键系统标记为安全，而实际上并非如此；或者相反，它可能会“检测到”从未发生过的入侵，从而引发恐慌。对人工智能输出进行严格验证，并让人类参与关键决策，对于降低这种风险至关重要。

• 误报和漏报：与幻觉类似，如果人工智能模型训练或配置不当，可能会将良性活动过度报告为恶意活动（误报） ，或者更糟糕的是，漏掉真正的威胁（漏报） （如何将生成式人工智能应用于网络安全）。过多的误报会使安全团队不堪重负，导致警报疲劳（抵消人工智能承诺的效率提升），而漏报则会使组织面临风险。调整生成式模型以达到最佳平衡极具挑战性。每个环境都是独一无二的，人工智能可能无法立即发挥最佳性能。持续学习也是一把双刃剑——如果人工智能从有偏差的反馈或不断变化的环境中学习，其准确性可能会波动。安全团队必须监控人工智能的性能，并调整阈值或向模型提供纠正性反馈。在高风险环境中（例如关键基础设施的入侵检测），将 AI 建议与现有系统并行运行一段时间可能是明智之举，以确保它们协调一致、相互补充，而不是相互冲突。

• 数据隐私与泄露：生成式人工智能系统通常需要大量数据进行训练和运行。如果这些模型基于云端或未进行妥善的数据隔离，则存在敏感信息泄露的风险。用户可能无意中将专有数据或个人数据输入到人工智能服务中（例如，让 ChatGPT 总结一份机密事件报告），而这些数据可能会成为模型知识的一部分。事实上，最近的一项研究发现， 55% 的生成式人工智能工具输入数据包含敏感信息或个人身份信息，这引发了人们对数据泄露的严重担忧（ 《生成式人工智能安全：趋势、威胁与缓解策略》）。此外，如果人工智能系统使用内部数据进行训练，并以特定方式进行查询，则可能会将输出给其他人。因此，企业必须实施严格的数据处理策略（例如，使用本地部署或私有人工智能实例处理敏感信息），并对员工进行培训，避免将机密信息粘贴到公共人工智能工具中。隐私法规（GDPR 等）也发挥着作用——未经适当同意或保护而使用个人数据来训练人工智能可能会违反法律。

• 模型安全与操控：生成式人工智能模型本身也可能成为攻击目标。攻击者可能会尝试模型投毒，在训练或重新训练阶段输入恶意或误导性数据，导致人工智能学习错误的模式（生成式人工智能在网络安全中的应用）。例如，攻击者可能会巧妙地污染威胁情报数据，使人工智能无法识别攻击者自身的恶意软件。另一种策略是提示注入或输出操控，攻击者会找到方法向人工智能发送输入，使其行为偏离预期——例如忽略安全防护机制或泄露不应泄露的信息（如内部提示或数据）。此外，还存在模型规避：攻击者会精心构造输入，专门用于欺骗人工智能。我们在对抗性示例中可以看到这种情况——略微扰动的数据，人类会将其视为正常数据，但人工智能却会错误分类。确保 AI 供应链安全（数据完整性、模型访问控制、对抗鲁棒性测试）是部署这些工具时网络安全的一个新但必要的组成部分（什么是网络安全中的生成式 AI？ - Palo Alto Networks ）。

• 过度依赖与技能退化：组织过度依赖人工智能，导致人类技能退化，这是一种较为隐性的风险。如果初级分析师盲目信任人工智能的输出结果，他们可能无法培养出在人工智能不可用或出错时所需的批判性思维和直觉。一个需要避免的情况是，安全团队拥有强大的工具，却不知道在这些工具失效时该如何应对（类似于飞行员过度依赖自动驾驶系统）。定期开展不依赖人工智能的训练，并培养人工智能是辅助工具而非万能预言家的理念，对于保持人类分析师的敏锐至关重要。人类必须始终是最终的决策者，尤其是在需要做出重大决策时。

• 伦理与合规挑战：人工智能在网络安全领域的应用引发了伦理问题，并可能触发监管合规问题。例如，如果人工智能系统由于异常情况错误地将员工认定为恶意内部人员，则可能对该员工的声誉或职业生涯造成不公正的损害。人工智能的决策过程可能不透明（“黑箱”问题），难以向审计人员或监管机构解释某些操作的原因。随着人工智能生成的内容日益普及，确保透明度和维护问责制至关重要。监管机构已开始对人工智能进行审查——例如，欧盟的《人工智能法案》将对“高风险”人工智能系统提出要求，而网络安全人工智能可能就属于这一类别。企业需要了解这些法规，并可能需要遵守诸如美国国家标准与技术研究院（NIST）人工智能风险管理框架之类的标准，才能负责任地使用生成式人工智能（《如何在网络安全中使用生成式人工智能？10个真实案例》）。合规性也延伸到许可方面：使用开源或第三方模型可能存在限制某些用途或要求共享改进成果的条款。

总而言之，生成式人工智能并非万能灵药——如果实施不当，它在解决某些问题的同时，也可能引入新的漏洞。世界经济论坛2024年的一项研究指出，约47%的组织将攻击者利用生成式人工智能取得的进展视为首要担忧，这使其成为“生成式人工智能最令人担忧的影响” （ [PDF]《2025年全球网络安全展望》| 世界经济论坛）（ 《网络安全中的生成式人工智能：LLM的全面回顾》…… ）。因此，各组织必须采取平衡的方法：既要利用人工智能的优势，又要通过治理、测试和人工监督来严格管理这些风险。接下来，我们将探讨如何切实实现这种平衡。

未来展望：生成式人工智能在网络安全领域不断演变的角色

展望未来，生成式人工智能有望成为网络安全战略不可或缺的一部分，同时也将成为网络攻击者持续利用的工具。这场猫鼠游戏将会加速，人工智能将成为攻防双方的制约因素。以下是对生成式人工智能未来几年可能如何影响网络安全的一些前瞻性见解：

• 人工智能增强型网络防御将成为标准：到2025年及以后，我们可以预期大多数中大型组织都将把人工智能驱动的工具融入到其安全运营中。正如如今防病毒软件和防火墙已成为标准配置一样，人工智能辅助驾驶和异常检测系统也可能成为安全架构的基础组件。这些工具可能会变得更加专业化——例如，针对云安全、物联网设备监控、应用程序代码安全等进行微调的不同人工智能模型，所有这些模型都将协同工作。正如一项预测所指出的， “到2025年，生成式人工智能将成为网络安全不可或缺的一部分，使组织能够主动防御复杂且不断演变的威胁” （《如何将生成式人工智能应用于网络安全》）。人工智能将增强实时威胁检测能力，自动化许多响应操作，并帮助安全团队管理比手动操作多得多的数据量。

• 持续学习与适应：未来网络安全领域的生成式人工智能系统将能够更好地即时学习，并近乎实时地更新其知识库。这有望实现真正意义上的自适应防御——试想一下，人工智能系统早上了解到另一家公司遭遇了新的网络钓鱼攻击，下午就能自动调整贵公司的电子邮件过滤器以应对。基于云的人工智能安全服务或许能够促进这种集体学习，使来自一个组织的匿名洞察能够惠及所有订阅用户（类似于威胁情报共享，但更加自动化）。然而，这需要谨慎处理，以避免共享敏感信息，并防止攻击者将恶意数据输入共享模型。

• 人工智能与网络安全人才的融合：网络安全专业人员的技能组合将不断演进，精通人工智能和数据科学。正如今天的分析师学习查询语言和脚本编写一样，未来的分析师可能需要定期微调人工智能模型或编写人工智能执行的“剧本”。我们可能会看到诸如“人工智能安全培训师”或“网络安全人工智能工程师”——他们专注于根据组织的需求调整人工智能工具，验证其性能，并确保其安全运行。另一方面，网络安全因素将日益影响人工智能的开发。人工智能系统将从一开始就融入安全功能（安全架构、篡改检测、人工智能决策审计日志等），而可信赖人工智能（公平、可解释、稳健和安全）将指导其在安全关键环境中的部署。

• 更复杂的AI驱动攻击：不幸的是，威胁形势也会随着AI的发展而演变。我们预计AI将被更频繁地用于发现零日漏洞、精心策划高针对性的鱼叉式网络钓鱼（例如，AI抓取社交媒体信息以创建完美定制的诱饵），以及生成以假乱真的深度伪造语音或视频，从而绕过生物识别认证或实施欺诈。自动化黑客代理可能会出现，它们能够在极少人工干预的情况下独立执行多阶段攻击（侦察、利用、横向移动等）。这将迫使防御者也依赖AI——本质上是自动化与自动化之间。某些攻击可能以机器速度进行，例如AI机器人尝试上千种网络钓鱼邮件组合，以找出能够绕过过滤器的方案。网络防御也需要以类似的速度和灵活性运行才能跟上形势（什么是网络安全中的生成式AI？ - Palo Alto Networks ）。

• 安全领域的监管与伦理人工智能：随着人工智能在网络安全领域深度融合，相关部门将加强审查，并可能出台监管措施，以确保人工智能系统得到负责任的使用。我们可以预见，未来将出现专门针对安全领域人工智能的框架和标准。各国政府可能会制定透明度准则，例如，要求重大安全决策（如因涉嫌恶意活动而终止员工访问权限）必须经过人工审核，不得仅由人工智能做出。此外，人工智能安全产品也可能获得认证，以确保购买者了解人工智能产品已通过偏见性、稳健性和安全性评估。同时，围绕人工智能相关网络威胁的国际合作也可能日益加强；例如，就如何处理人工智能生成的虚假信息达成协议，或制定针对某些人工智能驱动的网络武器的规范。

• 与更广泛的人工智能和IT生态系统集成：网络安全领域的生成式人工智能很可能与其他人工智能系统和IT管理工具集成。例如，管理网络优化的AI可以与安全AI协同工作，确保变更不会造成安全漏洞。AI驱动的商业分析可以与安全AI共享数据，以关联异常情况（例如销售额突然下降可能与攻击导致的网站问题有关）。本质上，AI不会孤立存在，而是会成为组织运营更广泛智能体系的一部分。这为整体风险管理开辟了机遇，AI可以将运营数据、威胁数据甚至物理安全数据结合起来，从而提供组织安全态势的360度全方位视图。

从长远来看，人们希望生成式人工智能能够帮助扭转局势，使防御者占据优势。通过处理现代IT环境的规模和复杂性，人工智能可以增强网络空间的防御能力。然而，这是一个循序渐进的过程，在我们完善这些技术并学会恰当地信任它们的过程中，必然会经历一些阵痛。那些持续关注并负责任地投资于人工智能安全应用的组织，很可能最有能力应对未来的威胁。

正如Gartner近期发布的网络安全趋势报告指出， “生成式人工智能应用案例（及其风险）的出现，正推动着行业转型” （网络安全趋势：转型赋能韧性 - Gartner ）。那些能够适应并利用人工智能的企业，将把人工智能作为强大的盟友；而那些落后的企业，则可能发现自己被拥有人工智能的对手远远甩在身后。未来几年将是定义人工智能如何重塑网络战场格局的关键时期。

在网络安全领域采用生成式人工智能的实用经验

对于正在评估如何在网络安全战略中利用生成式人工智能的企业而言，以下是一些实用的要点和建议，可指导其负责任且有效地采用该技术：

1. 首先要重视教育和培训：确保您的安全团队（以及更广泛的 IT 人员）了解生成式人工智能的功能和局限性。提供人工智能驱动的安全工具基础知识培训，并更新安全意识培训计划，使其涵盖人工智能带来的威胁。例如，教导员工人工智能如何生成极具迷惑性的网络钓鱼诈骗和深度伪造电话。同时，培训员工如何在工作中安全、合法地使用人工智能工具。充分了解人工智能的用户不太可能误用人工智能或成为人工智能攻击的受害者（《如何将生成式人工智能应用于网络安全？10 个真实案例》）。

2. 制定清晰的AI使用政策：像对待任何强大的技术一样对待生成式AI——需要进行管控。制定政策，明确规定哪些人可以使用AI工具、哪些工具获得授权以及用于哪些用途。纳入敏感数据处理指南（例如，禁止将机密数据输入外部AI服务），以防止数据泄露。例如，您可以仅允许安全团队成员使用内部AI助手进行事件响应，而市场营销部门可以使用经过审核的AI进行内容创作——其他人员则受到限制。许多组织现在都在其IT政策中明确提及生成式AI，而领先的标准机构也鼓励制定安全的使用政策，而不是彻底禁止（《如何在网络安全中使用生成式AI？10个真实案例》）。务必将这些规则及其背后的原理传达给所有员工。

3. 缓解“影子人工智能”风险并监控使用情况：与影子IT类似，“影子人工智能”是指员工在IT部门不知情的情况下使用人工智能工具或服务（例如，开发人员使用未经授权的人工智能代码助手）。这可能会带来未知的风险。应采取措施检测和控制未经授权的人工智能使用。网络监控可以标记与常用人工智能API的连接，调查或工具审计可以揭示员工正在使用的工具。提供经批准的替代方案，以免好心的员工被诱惑擅自使用（例如，如果员工觉得ChatGPT Enterprise官方账号有用，可以提供）。通过公开人工智能的使用情况，安全团队可以评估和管理风险。监控也至关重要——尽可能详细地记录人工智能工具的活动和输出，以便追踪人工智能影响的决策（生成式人工智能如何在网络安全中应用？10个真实案例）。

4. 有效利用人工智能进行防御——切勿落后：要认识到攻击者会使用人工智能，因此您的防御也必须如此。确定几个关键领域，在这些领域，生成式人工智能可以立即协助您的安全运营（例如警报分类或自动化日志分析），并开展试点项目。利用人工智能的速度和规模来增强您的防御能力，以应对快速变化的威胁（生成式人工智能如何在网络安全中使用？10 个真实案例）。即使是简单的集成，例如使用人工智能来汇总恶意软件报告或生成威胁狩猎查询，也能为分析师节省数小时的时间。从小规模开始，评估结果并不断迭代。成功案例将为更广泛地采用人工智能奠定基础。目标是将人工智能用作倍增器——例如，如果网络钓鱼攻击使您的帮助台不堪重负，请部署人工智能电子邮件分类器来主动减少攻击数量。

5. 投资于安全且符合伦理的人工智能实践：在实施生成式人工智能时，请遵循安全的开发和部署实践。对于敏感任务，请使用私有或自托管模型，以确保对数据的控制权。如果使用第三方人工智能服务，请审查其安全和隐私措施（加密、数据保留策略等）。将人工智能风险管理框架（例如 NIST 的人工智能风险管理框架或 ISO/IEC 指南）纳入您的人工智能工具，以系统地解决偏差、可解释性和鲁棒性等问题（如何将生成式人工智能应用于网络安全？10 个真实案例）。此外，请将模型更新/补丁纳入维护计划——人工智能模型也可能存在“漏洞”（例如，如果模型开始偏离预期或发现针对模型的新型对抗性攻击，则可能需要重新训练）。通过将安全性和伦理融入您的人工智能使用中，您可以建立对结果的信任，并确保符合新兴法规。

6. 让人类参与决策：在网络安全领域，人工智能应辅助而非完全取代人类的判断。明确哪些决策点需要人工验证（例如，人工智能可以起草事件报告，但分析师需要在发布前进行审核；或者人工智能可以建议封禁用户账户，但需要人工批准）。这不仅可以防止人工智能的错误未经核查，还能帮助团队从人工智能中学习，反之亦然。鼓励协作式工作流程：分析师应该能够质疑人工智能的输出结果并进行合理性检查。随着时间的推移，这种对话可以提升人工智能（通过反馈）和分析师的技能。本质上，流程的设计应使人工智能和人类的优势相互补充——人工智能负责处理大量数据并提高处理速度，而人类则负责处理模糊性和做出最终决策。

7. 衡量、监控和调整：最后，将您的生成式 AI 工具视为安全生态系统中不可或缺的组成部分。持续衡量它们的性能——它们是否缩短了事件响应时间？是否能更早地发现威胁？误报率的趋势如何？向团队征求反馈：AI 的建议是否有效，还是只是在制造噪音？利用这些指标来改进模型、更新训练数据或调整 AI 的集成方式。网络威胁和业务需求不断演变，您的 AI 模型应定期更新或重新训练，以保持其有效性。制定模型治理计划，包括谁负责维护模型以及审查频率。通过积极管理 AI 的生命周期，您可以确保它始终是资产，而不是负担。

总之，生成式人工智能可以显著提升网络安全能力，但成功应用需要周密的规划和持续的监督。企业若能对员工进行培训，制定清晰的指导方针，并以平衡、安全的方式整合人工智能，就能从更快、更智能的威胁管理中获益。这些要点构成了一条路线图：将人类专业知识与人工智能自动化相结合，涵盖治理基础，并随着人工智能技术和威胁形势的不断演变保持敏捷性。.

“如何将生成式人工智能应用于网络安全？”这个问题——不仅在理论上，而且在日常实践中——从而在我们日益数字化和人工智能驱动的世界中加强防御。（如何将生成式人工智能应用于网络安全）

您可能还想阅读以下白皮书：

🔗人工智能无法取代哪些工作？人工智能又将取代哪些工作？
探索全球范围内哪些岗位不会受到自动化的影响，哪些岗位则不然。

🔗人工智能能预测股市吗？
深入了解人工智能预测市场走势能力的局限性、突破点和误区。

🔗生成式人工智能无需人工干预可以完成哪些工作？
了解人工智能可以在哪些方面独立运行，以及在哪些方面仍然需要人工监督。