Embed Notice
HTML Code
Corresponding Notice
- Embed this notice
Roy Tam (roytam1@miniwa.moe)'s status on Sunday, 12-Jan-2025 18:16:27 JSTRoy Tam OpenAI疯狂爬虫,把一家公司都给爬宕机了,CEO:堪比DDoS
一家7人团队公司(Triplegangers)的网站突然宕机,CEO和员工们赶忙排查问题到底出在的哪里。
不查不知道,一查吓一跳。罪魁祸首正是OpenAI的GPTBot。团队进一步发现,OpenAI使用了不止600个IP地址抓取数据。
从CEO的描述中来看,OpenAI爬虫的“攻势”是有点疯狂在身上的:
我们有超过65000种产品,每种产品都有一个页面,然后每个页面还都有至少三张图片。
OpenAI正在发送数以万计的服务器请求,试图下载所有内容,包括数十万张照片及其详细描述。
如此规模的爬虫,就导致这家公司网站的宕机。CEO甚至无奈地表示:这基本上就是一场DDoS攻击。
量子位 | Triplegangers