BIGLOBEサーチのウェブ検索では、80億件を超えるページを登録する検索サービス「Google」の検索エンジンを利用しています。ウェブ検索でヒットしたページの左側には、そのページのPageRankをバー（棒型）アイコンで表示しています。このPageRankはGoogleのPageRankという技術により計算されています。

PageRankの基本的な考え方は、「そのページへのリンク数」をそのページへの支持投票とみなして、リンク数が多いほどPageRankが高いというものです。また単純に票数、つまりリンク数を見るだけでなく、リンク元のページも分析し、そのページのPageRankが高いほど１票の価値を重くします。

また、検索キーワードが全て含まれているページを探し出すだけではなく、該当するページ内の各検索キーワードがどれだけ近いかも分析します。検索キーワードが近くに並んでいるページほど、そのPageRankは高くなります。

こうした分析により、高い評価を得たページほど検索結果の上位に表示されます。

BIGLOBEサーチのウェブ検索に使われているGoogleの検索エンジンでは、 Googlebotというウェブクローラによりインターネット上にあるページ情報を収集し、登録しております。そのため、外からリンクがはられているページについては、全て自動登録の可能性があります。

お客様のページを登録されないようにするには、以下の２つの方法があります。

1. robots.txt というファイルをサーバに置く方法

【例1】
この例では、すべてのウェブロボットプログラムに対して、パス名が"/cgi-bin/"、および"/tmp/"で始まるURLを探索しないように通知します。

# robots.txt for http://search.biglobe.ne.jp/
User-agent: *
Disallow: /cgi-bin/ # CGIプログラムはディレクトリ情報を公開しない
Disallow: /tmp/ 　　# 一時ディレクトリ

【例2】
この例では、Googleのウェブロボットプログラム "Googlebot"以外の探索プログラムに対しては、パス名が"/hyper_museum/"で始まるURLを探索しないように通知します。

# robots.txt for http://search.biglobe.ne.jp/
User-agent: *
Disallow: /hyper_museum/
# hyper_museumディレクトリ # Googlebot の探索のみ許可
User-agent: Googlebot
Disallow:

【例3】
この例では、すべてのウェブロボットプログラムに対してすべてのURLを探索しないように通知します。

# go away
User-agent: *
Disallow: /

2. METAタグを用いる方法

Googlebot はMETAタグに対応しております。サーバーにrobots.txtの設定をできない方は、該当ページに下記の記述を行うことによって、「次回収集時」から検索対象としないことが可能になります。
※基本的にウェブロボットプログラムは、Topページからリンクを辿って行きます。リンクされていないページは収集できませんので、意図的に収集させたくない場合は、下記のMETAタグを該当ページに記述して頂きますようお願いします。

<META NAME="ROBOTS" CONTENT="値">

値は以下の通り

• INDEX
  そのページをインデックスさせる
• NOINDEX
  そのページをインデックスさせない
• FOLLOW
  そのページからリンクされたページをインデックスさせる
• NOFOLLOW
  そのページからリンクされたページをインデックスさせない

2つ指定する場合は、カンマで区切ります。
例えばロボットに収集されない様にするには、

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

と記述してください。