クローラ

IT用語辞典バイナリ

クローラ

別名：クローラー，Webクローラ，検索ロボット，サーチボット
【英】crawler, web crawler, search robot, searchbot

クローラとは、インターネット上のあらゆるWebサイトの情報を取得して、検索用データベース・インデックスを作成する自動巡回プログラムのことである。Webサイトを這う（クロールする）ことからこのような名称が付けられた。

クローラでは、WebサイトのHTMLに記載されているリンクをたどり、そのWebサイトがどのような内容なのか、どのような構造になっているのかなどを判断し、データベース化していく。クローラがアクセスできるファイル・情報はすべてデータベース化され、誰もが検索できるようになってしまうので、機密文書などに関してはアクセス権を設定するなどの注意が必要である。

近年では検索結果の上位に表示させるためのSEOとして、有名検索Webサイトのクローラの動きを特に意識したWebサイト構築が目立つようになってきている。

WWWのほかの用語一覧

検索エンジン：

検索サイト  検索エンジンスパム  後方一致検索  クローラ  クローキング  ググる  クローリング

>>検索エンジンカテゴリの他の用語

ダム事典

クローラ　（くろーら）

ブルドーザなどによくある走行装置（車輪に相当する部分）の名前です。この装置を開発した会社の名前からキャタピラーとも呼ばれ、下部走行装置（車輪に相当する部分）にベルト（クローラベルト）を使用した構造をもっています。ホイル（車輪）に比べ、機動性は劣りますが軟弱地盤に強いなどの特徴があります。無限軌道ともいいます。（→知識を深める：建設機械コレクション(5)〜土工作業に）

ウィキペディア

クローラ

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2026/05/04 04:58 UTC 版)

クローラもしくはクローラー (Crawler) とは、ウェブ上の文書や画像などを周期的に取得し、自動的にデータベース化するプログラムである。「ボット」 (bot)、「スパイダー」、「ロボット」などとも呼ばれる。

主に検索エンジンのデータベース、インデックス作成に用いられているほか、統計調査などの目的にも利用されている。近年では、電子メールアドレス収集業者などもクローラを利用してスパムの送信効率を上げている。

一般にクローラは、既知のHTML文書の新しいコピーを要求して文書中に含まれるリンクをたどり、別の文書を収集するという動作を繰り返す。新しい文書を見つけた場合はデータベースに登録するほか、既知のファイルが存在しないことを検出した場合はデータベースから削除する。

主なクローラ

• ManifoldCF (Apache)
• ダウンロードNinja（イーフロンティア、ダウンロード用ソフト（ダウンローダー））
• GetHTMLW - ダウンローダー
• Wget - ダウンローダー
• Octoparse
• Googlebot

関連項目

• スパム (メール) - 検索エンジンスパム
• メールアドレス検索ロボット
• インターネットボット
• ウェブスクレイピング
• Robots Exclusion Standard
• 岡崎市立中央図書館事件 - 2010年

ウィキペディア小見出し辞書

クローラ

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/08/11 10:14 UTC 版)

「YaCy」の記事における「クローラ」の解説

ウェブページのリンクを辿って、その内容を分析する機構。