网络犯罪分子正将生成式 AI 工具用于 Business Email Compromise (BEC) 攻击。以 OpenAI 聊天机器人 ChatGPT 为代表的生成式 AI 能生成类似人类的文本，网络罪犯可利用它自动创建高度可信的钓鱼邮件，对收件人高度定制，增加攻击的成功率。在地下黑客论坛，网络罪犯演示了利用生成式 AI 改进网络钓鱼或 BEC 攻击所用邮件的潜力。即使攻击对象使用的语言不是攻击者的母语，在生成式 AI 的帮助下攻击者将可以轻而易举的伪造可信的邮件。网络罪犯甚至创建了专门用于恶意目的的工具 WormGPT。WormGPT 是基于 2021 年开发的大模型 GPTJ，它的功能包括无限字符支持、聊天记忆保留和代码格式化等。开发者声称 WormGPT 使用了恶意程序相关的数据进行训练。

从互联网诞生之初，垃圾信息就是使用者面临的一大难题。如何从无数信息中寻找到有用信息？搜索引擎的需求由此而来。早期的垃圾信息都是由人工生成，因此其数量受制于人类工作的局限性。但随着生成式 AI 的到来，大批量生成将使得垃圾信息的量级远超过去。五月初，新闻评级公司 NewsGuard 发现有 49 个假新闻网站使用 AI 生成内容。到 6 月底，这个数字增加到了 277。这些 AI 生成内容网站旨在通过 Google 的广告获利。