これは、クローラを作る側にとってちょっと都合が良い視点じゃないかな。
自分だったら個人利用だとしても
- ウェイトを入れる
- robots.txtやmetaタグは無視しない
ぐらいはやると思う。
なぜなら、できるだけ相手に負荷をかけるべきではないし、相手の意向を考慮すべきだから。そういったことをクローラは無視しても良いとしつつ、サーバ側ができるだけ対応し、それでいてクローラは悪意を持っていないと信じるべきだという話になっているので、不公平な気がする。
あと、技術で解決できるものは技術で解決すべきというのも何か違うと思うんだけどな。技術で解決するのは技術で解決することにメリットがあるからであって、技術による解決が必ずしも法による解決に勝るわけではない。今回の件に関しては、技術的にヘボすぎる(と思われる)ので技術的な問題が指摘されがちだけども、警察の判断の問題の方が大きい。技術者は技術のメリットを主張すべきなんだけども、だからといって、他の常識や慣習や法律や規約といったものを無視して良い理由にはならないと思う
