法と技術とクローラと私 - 最速転職研究会 これは、クローラを作る側にとってちょっと都合が良い視点じゃないかな。自分だったら個人利用だとしても ウェイトを入れる robots.txtやmetaタグは無視しない ぐらいはやると思う。なぜなら、できるだけ相手に負荷…