はてなアンテナの大嘘 (Life with Mac OS X @rNote)
はてなアンテナのロボットはrobots.txtを見ていないという話から。
はてなを利用していない側からすると極めて不愉快な挙動なのですが、さて、どうするべきなのでしょうかね?
はてなアンテナの大嘘 (Life with Mac OS X @rNote)
はてなアンテナのロボットはrobots.txtを見ていないという話から。
はてなを利用していない側からすると極めて不愉快な挙動なのですが、さて、どうするべきなのでしょうかね?