Web crawler

La web crawler o web araña es un programa informático o bot que genera y clasifica una serie de datos para cualquier motor de búsqueda en un sitio web.