Conversation

どうでも良いけどインデックス拒否はrobots.txtの内容を見て検索サービスのインデックスを登録するか否か？というものなので、行儀の悪い検索サービスならrobots.txtは無視する

当然ながら個人が作ったようなクローラボットはrobots.txtを読む理由に乏しいので個人が情報収集することまで拒否するのが難しい

更にはおそらくインデックス拒否していないアカウントによるブースト(リツイート)まで判定していないと思われるので、ブーストされた投稿はインデックスに登録される

言ってみればWeb上のrobots.txtによる検索サービスインデックス登録は単なる慣例であって、クローリングする側の配慮によって成立している慣例なので何ら強制力がないものです