『クローラ』より : クローラー（クロウラー、”crawler”）とは、「這い進む（crawl）もの」を表す英語で、  芋虫のこと  無限軌道のこと  World Wide Web WWW巡回プログラムのこと ここでは3.について述べる。 クローラーは、WWW上の文書や画像などを周期的に取得し、自動的にデータベース化するプログラム (コンピュータ) プログラムである。WUAの一種。スパイダーまたは単純にロボットとも呼ばれる。 主に検索エンジンのデータベース、インデックス作成に用いられているほか、統計調査などの目的にも利用される。近年では電子メールアドレス収集業者などもクローラーを利用して、迷惑メールの送信効率を上げている。 

Wikipedia - クローラー

▲楽