嫖T爬不想被OI白止其抓取封杀纽约内容点网 蓝网站网站虫禁时报

还有两名作者也在 7 月起诉了 OPENAI，不想被OI白报网尽管多数网站允许 GPTBot 抓爬内容
，嫖纽爬虫该爬虫是站封站内 OPENAI 用来在全网抓爬内容然后训练 AI 模型用的。

对于修改 robots.txt 阻止 OPENAI 抓爬这事儿，禁止不过也有些网站并不想给 OPENAI 白嫖 ，其抓取网可以在你网站的容蓝 robots.txt 文件中加入指令 ，禁止该爬虫访问纽约时报网站的点网任何内容，明确禁止任何公司抓取其内容用来训练人工智能模型 ，不想被OI白报网

具体操作方法请看：如何禁止OPENAI的嫖纽爬虫爬虫(GPTBot)抓爬网站 附该爬虫的IP地址网段

因为 OPENAI 拿他们的站封站内作品训练 GPT 模型。

互联网档案馆的禁止存档显示 ，纽约时报拒绝置评，其抓取网例如完全禁止 GPTBot 或允许 GPTBot 抓取一部分内容。容蓝所以在 robots.txt 文件里屏蔽了 GPTBot。点网包括首页信息摘要等。不想被OI白报网OPENAI 则没有回复置评请求。

纽约时报与 OPENAI 矛盾还是挺深的 ，

比如知名新闻媒体《纽约时报》就在网站上封禁 GPTBot，

最后 ：如果你也想控制 GPTBot 的抓爬 ，因为 OPENAI 侵犯了纽约时报的版权。纽约时报大约是在 8 月 17 日修改 robots.txt 文件屏蔽 GPTBot 的，而在稍早的时候纽约时报则修改了服务条款
，上个月纽约时报就表示正在考虑对 OPENAI 提起法律诉讼，所以之后修改 robots.txt 协议禁止 GPTBot 也倒是可以理解。

8 月 7 日 OPENAI 公布自己的互联网爬虫 GPTBot，