Araña web o crawler
Una araña web no es un bicho raro que te encuentras en una casa abandonada. En si se trata de un bot (Programa informatico) o crawler (rastreador) que rastrea los sitios de Internet (la red, de ahí el nombre de araña).
Google utiliza sus arañas web para rastrear los sitios y, en función de su algoritmo, asignarles una posición en los resultados de búsqueda.
De manera singular, se puede usar arañas o crawlers para obtener datos interesantes de cualquier web. El objetivo de usar las arañas es para analizar el SEO onpage (Interno) y descubrir paginas web que están optimizadas con una estructura y un contenido de calidad para el usuario de internet.
Comments (2)
Comments are closed.
Robots.txt - INTELISOFTW
14 julio, 2020[…] como Robot Exclusion Standard, es un archivo agregado a un sitio web con instrucciones para los bots que ingresan al […]
Indexación Web - INTELISOFTW
14 julio, 2020[…] las arañas web de Google rastrean tu sitio, lo añaden al índice de Google y se clasifica según la valoración […]