Una araña es la herramienta que utilizan los motores de búsqueda más populares. Básicamente, las arañas van recorriendo la Internet, recopilando información de todas las páginas Web que encuentren a su paso para almacenarlas en un servidor.
¿Cómo funcionan las arañas?
Alguna vez pensaste ¿Cómo Google reconoce exactamente que información es relevante para determinada búsqueda? Todo empieza por su araña "GoogleBot", este "spider" examina la URL de una página Web, descargando su contenido. Luego, empieza a desmontar el contenido (de la página Web), por lo general, retirando la información innecesaria como las etiquetas CSS ó JavaScript, entre otras. Y finalmente, realiza un análisis de la información, por ejemplo cuenta las palabras individualmente y calcula la frecuencia en que se repiten.
Entonces, toda la información recopilada es indexada en una base de datos (en el servidor), de modo que cuando uno realiza una búsqueda, la base de datos devuelve las páginas que tengan la mayor frecuencia de las palabras buscadas.
Desde luego, esta es una explicación muy simple, pues, en la actualidad los motores de búsqueda son tremendamente complejos, y consideran muchas variables para determinar la relevancia de una página Web y evitar el contenido fraudulento, este es un interesante artículo sobre el tema, escrito en el blog de Miguel Pena.
Sin embargo, el proceso mencionado es el que se realiza por la mayoría de motores. Por ejemplo, al realizar una búsqueda en Google podemos ver la caché que Google tiene almacenada en su base de datos respecto de una página cualquiera.
Lo que las arañas realmente ven
Entonces ¿Qué es lo que las arañas de los motores de búsqueda realmente ven cuando visitan un sitio Web? Una útil herramienta nos permite explorar cualquier página Web, de igual forma que lo hacen las arañas, mostrándonos interesantes datos como la densidad de las palabras claves, los meta tags, los enlaces, etc.
Herramienta | dlperry.com
Vía | Digg