ヘルプ

ヘルプトップへ

Q22 ウェブクローラについて

A22

BIGLOBEサーチのウェブ検索に使われているGoogleの検索エンジンでは、 Googlebotというウェブクローラによりインターネット上にあるページ情報を収集し、登録しております。そのため、外からリンクがはられているページについては、全て自動登録の可能性があります。

お客様のページを登録されないようにするには、以下の2つの方法があります。

1. robots.txt というファイルをサーバに置く方法

【例1】
この例では、すべてのウェブロボットプログラムに対して、パス名が"/cgi-bin/"、および"/tmp/"で始まるURLを探索しないように通知します。

# robots.txt for http://search.biglobe.ne.jp/
User-agent: *
Disallow: /cgi-bin/ # CGIプログラムはディレクトリ情報を公開しない
Disallow: /tmp/   # 一時ディレクトリ

【例2】
この例では、Googleのウェブロボットプログラム "Googlebot"以外の探索プログラムに対しては、パス名が"/hyper_museum/"で始まるURLを探索しないように通知します。

# robots.txt for http://search.biglobe.ne.jp/
User-agent: *
Disallow: /hyper_museum/
# hyper_museumディレクトリ # Googlebot の探索のみ許可
User-agent: Googlebot
Disallow:

【例3】
この例では、すべてのウェブロボットプログラムに対してすべてのURLを探索しないように通知します。

# go away
User-agent: *
Disallow: /

2. METAタグを用いる方法

Googlebot はMETAタグに対応しております。サーバーにrobots.txtの設定をできない方は、該当ページに下記の記述を行うことによって、「次回収集時」から検索対象としないことが可能になります。
※基本的にウェブロボットプログラムは、トップページからリンクを辿って行きます。意図的に収集させたくない場合は、下記のMETAタグを該当ページに記述して頂きますようお願いします。

<META NAME="ROBOTS" CONTENT="値">

値は以下の通り

  • INDEX
    そのページをインデックスさせる
  • NOINDEX
    そのページをインデックスさせない
  • FOLLOW
    そのページからリンクされたページをインデックスさせる
  • NOFOLLOW
    そのページからリンクされたページをインデックスさせない

2つ指定する場合は、カンマで区切ります。
例えばロボットに収集されない様にするには、

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

と記述してください。

問題は解決しましたか?  YES / NO

「YES」を選択されますとBIGLOBEサーチのトップページに
「NO」を選択されますとお問い合わせページへと移動いたします。
よりよいヘルプページの作成のためご協力お願いします。


このページの先頭へ▲