How to Handle Excessive Access from AI Crawlers
While working on SEO optimization, I noticed that AI crawler traffic was higher than expected. After checking CloudFlare's analytics data, I found that approximately 20GB of data transfer occurred in a short period, with the same pages being crawled repeatedly and instantaneously in succession. The number of concurrent connections per second is estimated to be around 10-20.
Is this kind of duplicate crawling really necessary...?
原文を見る
AIクローラーによる過度なアクセスへの対応方法
SEO最適化を進める中で、AIクローラーのアクセス量が予想以上に多いことに気づきました。CloudFlareの分析データを確認したところ、短期間で約20GB程度の転送量が発生しており、同じページが連続して何度も瞬間的にクロールされています。秒間あたりの同時接続数は10～20程度と推測されます。
このような重複クローリングが本当に必要なのか。。。
♥ 0 💬 0 👁 90