クローラ
(クロウラー から転送)
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2025/05/31 01:17 UTC 版)
![]() |
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。(2022年2月)
|
![]() |
この記事は英語版の対応するページを翻訳することにより充実させることができます。(2024年11月)
翻訳前に重要な指示を読むには右にある[表示]をクリックしてください。
|
クローラもしくはクローラー (Crawler) とは、ウェブ上の文書や画像などを周期的に取得し、自動的にデータベース化するプログラムである。「ボット」 (bot)、「スパイダー」、「ロボット」などとも呼ばれる。
主に検索エンジンのデータベース、インデックス作成に用いられているほか、統計調査などの目的にも利用されている。近年では、電子メールアドレス収集業者などもクローラを利用してスパムの送信効率を上げている。
一般にクローラは、既知のHTML文書の新しいコピーを要求して文書中に含まれるリンクをたどり、別の文書を収集するという動作を繰り返す。新しい文書を見つけた場合はデータベースに登録するほか、既知のファイルが存在しないことを検出した場合はデータベースから削除する。
主なクローラ
- ManifoldCF (Apache)
- ダウンロードNinja(イーフロンティア、ダウンロード用ソフト(ダウンローダー))
- GetHTMLW - ダウンローダー
- Wget - ダウンローダー
- Octoparse
- Googlebot
関連項目
クロウラー
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2021/06/21 15:51 UTC 版)
陸上ビーグルでガーデナーの残骸から製造する。8個のホイールを縦横無尽に駆動させ、登板性能なども高い。トキトが整備を担当。ヨウスケ達専用のクロウラーが存在する。
※この「クロウラー」の解説は、「銀色のオリンシス」の解説の一部です。
「クロウラー」を含む「銀色のオリンシス」の記事については、「銀色のオリンシス」の概要を参照ください。
- クロウラーのページへのリンク