クローラー

クローラーとは、検索エンジンが検索結果を表示するためにWebサイトの情報を収集する自動巡回プログラム（ロボット）のことです。クローラーによって収集（＝クロール）された情報はデータベースとして格納（＝インデックス化）され、検索結果表示に利用されます。
サイト本体を作るHTMLファイルだけでなく、PDFやExcelなど主要なアプリケーション形式のファイルも読み込みます。画像も収集しますが、alt属性や代替テキストで画像の内容を言葉で記述しない限り、クローラーには内容が認識されません。