solidot新版网站常见问题,请点击这里查看。
人工智能
Wilson(42865)
发表于2025年01月01日 21时58分 星期三
来自猛兽的财富
去中心化社交网络个人服务器软件 diaspora* 项目开发者披露,其论坛、维基和项目网站七成的流量来自于 AI 公司的机器人程序。开发者称,过去 60 天 diaspora* 项目的 Web 资产共收到 1130 万次请求,相当于每秒 2.19 次请求,其中 24.6% 的请求来自 OpenAI 的 gptbot 机器人爬虫,17.1% 来自亚马逊;4.3% 来自 Anthropic,2.2% 来自 Meta。两大搜索引擎 Google 和 Bing 的网络爬虫分别只占 0.14%。开发者愤怒的指出,AI 公司的爬虫不关心 robots.txt,试图索引每个页面的细微变化,会不停的切换 IP 和绕过 User Agent 字符串封锁。开发者认为这是对整个互联网的 DDoS 攻击。