根据 Sophos 的研究，大多数 IT 领导者认为生成式人工智能会增加他们安全工具的成本。然而，从网络犯罪论坛的情况来看，黑客们几乎不怎么使用人工智能。
IT 领导者们对网络安全工具成本的飙升忧心忡忡，这些工具正被大量融入人工智能功能。与此同时，黑客们在很大程度上回避使用人工智能，因为在网络犯罪论坛上，关于他们如何使用人工智能的讨论相对较少。
安全公司 Sophos 对 400 名 IT 安全决策者进行的一项调查显示，80% 的受访者认为生成式人工智能将显著提高安全工具的成本。这与 Gartner 的另一项研究结果相符，该研究预测今年全球科技支出将增长近 10%，主要原因在于人工智能基础设施的升级。
Sophos 的研究发现，99% 的组织在网络安全平台的需求清单中纳入了人工智能功能，最常见的原因是为了增强防护能力。然而，只有 20% 的受访者将此列为首要原因，这表明在安全领域对人工智能工具的必要性缺乏共识。
四分之三的领导者表示，衡量安全工具中人工智能功能带来的额外成本颇具挑战性。例如，本月微软因在 Office 365 中加入 Copilot 功能，颇具争议地将其价格提高了 45%。
另一方面，87% 的受访者认为人工智能带来的效率提升所节省的成本将超过新增成本，这或许可以解释为什么 65% 的受访者已经采用了具备人工智能功能的安全解决方案。低成本人工智能模型 DeepSeek R1 的发布，让人们燃起了人工智能工具价格很快将全面下降的希望。
但成本并非 Sophos 研究人员强调的唯一担忧。高达 84% 的安全领导者担心，对人工智能工具能力的过高期望会迫使他们削减团队人员数量。更大比例（89%）的人担心，工具的人工智能功能存在缺陷，可能会给他们带来负面影响并引入安全威胁。
Sophos 的研究人员警告称：“质量欠佳且应用不当的人工智能模型，可能会无意间带来相当大的网络安全风险，‘输入垃圾，输出垃圾’这句格言在人工智能领域尤为适用。”
网络犯罪分子对人工智能的使用并不如你想象的那么多
Sophos 的另一项研究表明，安全方面的担忧可能正阻碍着网络犯罪分子像预期那样广泛采用人工智能。尽管分析师有所预测，但研究人员发现，人工智能尚未在网络攻击中得到广泛应用。为评估人工智能在黑客群体中的使用普遍程度，Sophos 研究了地下论坛上的帖子。
研究人员发现，在过去一年里，关于 GPT 或大语言模型的帖子不到 150 个。作为对比，他们发现关于加密货币的帖子超过 1000 个，与买卖网络访问权限相关的主题帖超过 600 个。
Sophos 的研究人员写道：“在我们调查的网络犯罪论坛上，大多数威胁行为者似乎对生成式人工智能仍未表现出特别的热情或兴奋，而且我们没有发现网络犯罪分子利用它开发新漏洞利用程序或恶意软件的证据。”
自 2019 年以来，一个俄语犯罪网站设有专门的人工智能板块，但与恶意软件板块的 700 多个主题帖和网络访问板块的 1700 多个主题帖相比，该板块只有 300 个主题帖。不过，研究人员指出，“对于一个在过去两年才广为人知的话题来说，这可以算是相对快速的增长了”。
尽管如此，在一篇帖子中，一名用户承认与 GPT 交流是出于社交目的，为了排解孤独，而非策划网络攻击。另一名用户回复称这 “对你的操作安全不利”，这进一步凸显了该群体对这项技术缺乏信任。
黑客利用人工智能进行垃圾邮件发送、情报收集和社会工程攻击
提及人工智能的帖子和主题将其应用于诸如垃圾邮件发送、开源情报收集和社会工程等技术；后者包括使用 GPT 生成网络钓鱼邮件和垃圾短信。
安全公司 Vipre 检测到，2024 年第二季度与 2023 年同期相比，商务邮件妥协攻击增加了 20%；其中五分之二的商务邮件妥协攻击是由人工智能促成的。
其他帖子则聚焦于 “越狱”，即通过精心构造的提示指令模型绕过防护措施。自 2023 年以来，专为网络犯罪设计的恶意聊天机器人已屡见不鲜。像 WormGPT 这样的模型已投入使用，而诸如 GhostGPT 等更新的模型仍不断涌现。
Sophos 在论坛上的研究仅发现了一些 “原始且质量低下” 的利用人工智能生成恶意软件、攻击工具和漏洞利用程序的尝试。这种情况并非闻所未闻；今年 6 月，惠普截获了一场在网络上传播恶意软件的电子邮件活动，其中的脚本 “极有可能是在生成式人工智能的帮助下编写的”。
关于人工智能生成代码的讨论往往伴随着讽刺或批评。例如，在一篇包含所谓手写代码的帖子下，一名用户回复道：“这是用 ChatGPT 之类的写的吧…… 这段代码显然行不通。”Sophos 的研究人员表示，普遍的共识是，使用人工智能创建恶意软件是 “懒惰和 / 或低技能个体寻求捷径的做法”。
有趣的是，一些帖子以一种向往的方式提及创建具备人工智能功能的恶意软件，这表明一旦这项技术可用，他们希望在攻击中使用它。一篇题为 “世界上首个由人工智能驱动的自主命令与控制（C2）系统” 的帖子承认，“目前这仍只是我想象中的产物”。
研究人员写道：“一些用户也在使用人工智能来自动化常规任务，但似乎普遍的共识是，大多数人不会在更复杂的事情上依赖它。”