クローラー

デジタル大辞泉

クローラー【crawler】

読み方：くろーらー

１ ⇒キャタピラー

２ ⇒サーチボット

IT用語辞典バイナリ

クローラ

別名：クローラー，Webクローラ，検索ロボット，サーチボット
【英】crawler, web crawler, search robot, searchbot

クローラとは、インターネット上のあらゆるWebサイトの情報を取得して、検索用データベース・インデックスを作成する自動巡回プログラムのことである。Webサイトを這う（クロールする）ことからこのような名称が付けられた。

クローラでは、WebサイトのHTMLに記載されているリンクをたどり、そのWebサイトがどのような内容なのか、どのような構造になっているのかなどを判断し、データベース化していく。クローラがアクセスできるファイル・情報はすべてデータベース化され、誰もが検索できるようになってしまうので、機密文書などに関してはアクセス権を設定するなどの注意が必要である。

近年では検索結果の上位に表示させるためのSEOとして、有名検索Webサイトのクローラの動きを特に意識したWebサイト構築が目立つようになってきている。

WWWのほかの用語一覧

検索エンジン：

検索サイト  検索エンジンスパム  後方一致検索  クローラ  クローキング  ググる  クローリング

>>検索エンジンカテゴリの他の用語

大車林

クローラー

英語 crawler

建設機械や軍用車両、雪上車などに用いられる無限軌道、あるいは履帯式と呼ばれる駆動装置。接地面圧が低く悪路、泥濘地、砂地、雪上などでの走破性に優れる。最近では、ベルト状のクローラーを使った軽商用車も商品化されている。クローラーとは、英語のクロール(crawl＝這う)からの造語。

※「大車林」の内容は、発行日である2004年時点の情報となっております。

ウィキペディア

クローラ

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2025/02/18 04:49 UTC 版)

この項目では、コンピュータのプログラムについて説明しています。建設機械や農業機械に使用される走行装置については「無限軌道」をご覧ください。

この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。 出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "クローラ" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL (2022年2月)

この記事は英語版の対応するページを翻訳することにより充実させることができます。（2024年11月） 翻訳前に重要な指示を読むには右にある[表示]をクリックしてください。 英語版記事を日本語へ機械翻訳したバージョン（Google翻訳）。 万が一翻訳の手がかりとして機械翻訳を用いた場合、翻訳者は必ず翻訳元原文を参照して機械翻訳の誤りを訂正し、正確な翻訳にしなければなりません。これが成されていない場合、記事は削除の方針G-3に基づき、削除される可能性があります。 信頼性が低いまたは低品質な文章を翻訳しないでください。もし可能ならば、文章を他言語版記事に示された文献で正しいかどうかを確認してください。 履歴継承を行うため、要約欄に翻訳元となった記事のページ名・版について記述する必要があります。記述方法については、Wikipedia:翻訳のガイドライン#要約欄への記入を参照ください。 翻訳後、{{翻訳告知|en|Web crawler|…}}をノートに追加することもできます。 Wikipedia:翻訳のガイドラインに、より詳細な翻訳の手順・指針についての説明があります。

クローラもしくはクローラー (Crawler) とは、ウェブ上の文書や画像などを周期的に取得し、自動的にデータベース化するプログラムである。「ボット」 (bot)、「スパイダー」、「ロボット」などとも呼ばれる。

主に検索エンジンのデータベース、インデックス作成に用いられているほか、統計調査などの目的にも利用されている。近年では、電子メールアドレス収集業者などもクローラを利用してスパムの送信効率を上げている。

一般にクローラは、既知のHTML文書の新しいコピーを要求して文書中に含まれるリンクをたどり、別の文書を収集するという動作を繰り返す。新しい文書を見つけた場合はデータベースに登録するほか、既知のファイルが存在しないことを検出した場合はデータベースから削除する。

主なクローラ

• ManifoldCF (Apache)
• ダウンロードNinja（イーフロンティア、ダウンロード用ソフト（ダウンローダー））
• GetHTMLW - ダウンローダー
• Wget - ダウンローダー
• Octoparse
• Googlebot

関連項目

• スパム (メール) - 検索エンジンスパム
• メールアドレス検索ロボット
• インターネットボット
• ウェブスクレイピング
• Robots Exclusion Standard
• 岡崎市立中央図書館事件

この項目は、コンピュータに関連した書きかけの項目です。この項目を加筆・訂正などしてくださる協力者を求めています（PJ:コンピュータ/P:コンピュータ）。

• 表示
• 編集

典拠管理データベース: 国立図書館	ドイツ

ウィキペディア小見出し辞書

クローラー

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/15 02:13 UTC 版)

「メタルギア サヴァイヴ」の記事における「クローラー」の解説

蜘蛛のような見た目をしたクリーチャー。大半が木の上などの高所に群れており、下を通ろうとした獲物を発見すると一斉に落ちて攻撃態勢に入る。