3 日前、SourceHut の創設者兼 CEO である Drew DeVault 氏は、「コストを私に直接押し付けるのはやめてください」というブログ記事を公開し、その中で、LLM 企業が robosts.txt を尊重せずにデータをクロールし、SourceHut に深刻な障害を引き起こしていると不満を述べました。

私は「面白い！」と言い、先に進みました。

そして、昨日の朝、KDE GitLab インフラストラクチャが Alibaba の範囲の IP を持つ別の AI クロ…

ソフトウェア開発者の Xe Iaso 氏は、今年初めに Amazon からの攻撃的な AI クローラー トラフィックが Git リポジトリ サービスを圧倒し、不安定性とダウンタイムを繰り返し引き起こしたため、限界点に達しました。robots.txt の調整、既知のクローラー ユーザー エージェントのブロック、疑わしいトラフィックのフィルタリングなど、標準的な防御策を講じたにもかかわらず、Iaso 氏は AI クローラーがユーザー エージェントを偽装し、プロキシとして住宅 IP…