GoogleのウェブマスターツールのRobots.txt生成、URL削除ツールを使ってみる - 旧 ii IDEA アイアイアイディア

Home > ブログ・インターネット >
GoogleのウェブマスターツールのRobots.txt生成、URL削除ツールを使ってみる

GoogleのウェブマスターツールのRobots.txt生成、URL削除ツールを使ってみる

ブログを運営してる中で、同じ内容なのに別のURLのページがたくさん生成されてしまったので、GoogleのウェブマスターツールでRobots.txtを作成しサーバーにアップ、URL削除をしてみる。

別のURLに同じ内容のページが生成されたのは、いくつかの原因がありました。

  • BlogWrite(ブログソフト)で1つ前投稿したエントリが9時間ずれてしまう問題があったとき、時間でURLを表示していたのでURLが2つ生成されたという点。
  • また、MovableTypeを始めて運用したこともあり、時間でURLを表示させる設定を途中からしたので2つURLが生成された点。
  • URLを時間で指定した上で、日にちの後ハイフンを入れる様に表示を変えた為(現在の形)URLが二重になった点。

上記のためミラーページが意識してないところで生成されてしまいました。スパムのつもりはなくても検索エンジン的にはNGです。

まずサーバー上のダブっているURLを削除しました。「.htaccess」で301リダイレクトをかけた方が良いのかもしれません。301リダイレクトなら新しいページに自動で飛ばすことができます。でも今回は面倒なのでしませんでした。潔く削除。

ロボットテキスト生成

「Googleウェブマスターツール」→「ロボットテキストを生成」で

1: デフォルトのロボット アクセスを選択します
すべてのロボットを許可 (推奨 - 次のステップでこのルールを調整できます) を選択

2: 追加ルールを指定します (オプション)
処理はブロック、ロボットはGooglebotを選択。いらないURLを全て書き込む。

3: robots.txt ファイルを保存します
出来たファイルをローカルにダウンロード。

そのあと、サーバーのRootにアップロードした。ファイル名は必ずrobots.txtにすること。

URLを削除

次に「Googleウェブマスターツール」→「URLを削除」

で削除希望のURLを入力した。

これで、多分大丈夫なはず。(始めてやったので確信はない)少なくともミラーでは無くなるはずです。

URLがダブっているのに気がつくのが遅かった。こういう部分は結構神経質になった方が良いんだなと思いました。

検索エンジンはロボットですし、こちらからはコントロールできませんが、基本ルールには準じていないといけません。反省。

このエントリーをはてなブックマークに追加
Yahoo!ブックマークに登録


レビュー記事


Amphis MT737C2D


BenQ FP241VW
人気の記事

ページの先頭へ戻る