ウィキペディア

インターネットボット

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2011/09/23 11:55 UTC 版)

(ウェブボット から転送)

インターネットボット（英: Internet bot）は、インターネット上で自動化されたタスクを実行するアプリケーションソフトウェア。Webボットあるいは単にボットとも呼ぶ。一般に単純な繰り返しのタスクをこなし、そのようなタスクに関しては人間が手でやるよりも高速である。ボットは主にクローラとして使われることが多く、人間の何倍もの速さでWebページを自動的に集め、その内容（情報）を分析して分類する。Webサーバには robots.txt というファイルがあり、クローラが従うべき規則が書かれている。