クローリング

クローリング（Crawling）とは、プログラムが「Webサイトを定期的に巡回し、情報を取得・保存する技術のことです。
クローリングを行うプログラムをクローラー（Crawler）と呼びます。
クローリングにより、Webサイトを巡回してHTML内のリンクを取得します。
似た用語にWebスクレイピングがありますが、WebスクレイピングではHTML内から特定の情報を抽出します。