Baiduspiderとは? わかりやすく解説

Baiduspider

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2018/11/26 23:25 UTC 版)

ナビゲーションに移動 検索に移動

Baiduspiderは、中国の検索サイト「百度」のために、ウェブサイトの情報を収集するロボット(クローラ)。

過去には非常に短い間隔で次々とリクエストを行うなどの問題によって、ウェブサーバを不安定に陥れる可能性があることから、アクセス拒否を行うサイトも見られた。 これに対し、2007年、百度は日本向けウェブサイトにおいてBaiduspiderが過剰な負荷をかけたことを謝罪[1]するとともにクローリングの頻度管理を統一するなどの対処策を発表している。また同年5月には負荷の少ない新型クローラーを投入し、ウェブサイトに与える負荷を平均数百バイト程度に抑えられるようになったと表明している[2]

Robots.txtを利用することで、Baiduspiderによるサイトへの全アクセス、もしくは一部のアクセスを禁止することができる[3]とされているが、実際にはRobots.txtを無視してアクセスを続ける例が報告されている。またUAの詐称も報告されている。[4].htaccessで対処しても、大量のエラーメッセージを残すので、サーバーの負担になる。

Baiduspiderの他に、画像検索のBaiduImagespiderや携帯検索のBaiduMobaiderもあり、これらも遮断する必要がある。

確認されているユーザーエージェント

Baiduspiderの確認されているUAは以下である

Baiduspider+(+http://help.baidu.jp/system/05.html#1))
Baiduspider+(+http://help.baidu.jp/system/05.html#2)
Baiduspider+(+http://www.baidu.jp/spider/)
BaiduMobaider
BaiduImagespider

脚注

  1. ^ 百度株式会社 (2007年3月8日). “Baidu(百度)- プレスセンター Baidu.jp、Baidu Spiderに関する御詫びと対処法について”. 2008年5月22日閲覧。
  2. ^ 百度株式会社 (2007年5月28日). “Baidu(百度)- プレスセンター Baidu.jp、負荷の少ない新型Spiderを投入”. 2008年5月22日閲覧。
  3. ^ 百度株式会社. “Robots.txtとは”. 2008年5月22日閲覧。
  4. ^ http://ikeike.mo-blog.jp/blog/2009/02/150708442baidus_79a2.html

外部リンク





固有名詞の分類


英和和英テキスト翻訳>> Weblio翻訳
英語⇒日本語日本語⇒英語
  

辞書ショートカット

すべての辞書の索引

「Baiduspider」の関連用語

1
4% |||||

Baiduspiderのお隣キーワード
検索ランキング

   

英語⇒日本語
日本語⇒英語
   



Baiduspiderのページの著作権
Weblio 辞書 情報提供元は 参加元一覧 にて確認できます。

   
ウィキペディアウィキペディア
All text is available under the terms of the GNU Free Documentation License.
この記事は、ウィキペディアのBaiduspider (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。 Weblio辞書に掲載されているウィキペディアの記事も、全てGNU Free Documentation Licenseの元に提供されております。

©2025 GRAS Group, Inc.RSS