从上周开始，我上线了一个小网站，需要一个关键字来搜索内容，结果被 chagptbot,claudebot,谷歌，还有 meta facebook 的这些机器人 疯狂提交参数，然后读取返回结果，我一直以为是中病毒了，结果今天一看网站日志，我去。全是 ＂ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; [email protected])＂Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/151.0.7922.137 Mobile Safari/537.36 (compatible; GoogleOther)＂几乎达到了 攻击级别的访问。把我小站的流量 和 负载 干满了。在 nginx 里面加了一个if ($http_user_agent ~* "(GPTBot|ChatGPT-User|ClaudeBot|anthropic-ai|PerplexityBot|Bytespider|GoogleOther|meta-externalagent|MJ12bot)") { return 403; } 整个负载 瞬间就下来了。 没人管这帮机器人吗。