Ayuda con un web spider

Estoy desarrollando un web spider en PHP. De momento he conseguido que el “bicho” vaya saltando de web en web consiguiendo sus enlaces.

Resulta bastante divertido ver como se mueve por diferentes webs que están enlazadas entre sí, pero ahora quiero que laika (así es como lo he llamado) tenga alguna utilidad.

Entre las aplicaciones que se me han ocurrido destacan:

  • Buscador de favicons
  • Supernube de tags
  • Buscador de acrónimos a partir de las etiquetas <ACRONYM>.

Qué se os ocurre a vosotros?

15 respostes
  1. Rob says:

    Hola ‘¡¡¡ estoy intentando crear un spider con php pero no se por donde empezar, ¿que librería estas utilizando?.Gracias de antemano.

  2. suil says:

    Como parece que el tema levanta interés, voy a escribir un artículo en mi página explicando cómo hacerlo y todo eso 🙂

  3. Gilbert says:

    Hola Suis, que bien, por fin encuentro a algiuien que explique un spider, por fa, me colaboras enviandome la manera de cómo realizar un spider en php y almacenando los datos en una base de datos mysql?gracias

  4. juancho says:

    dime podrias ahcerlo apra q solo sea un buscador interno ay q mi web es de puros modulos y pensaba en un bscuador por cada modulo pero seria mejor un buscador spdier q entre a solo a laweb y entre a cada enlace q encuentre si se peude ahorrrarias muchas hroas de trabajo a muchos webmasters jeej bueno cualqueir copsas me avisas a mi mail si noes muucha moelstia

  5. suil says:

    Te lo digo de memoria (hace tiempo que no lo toco). Básicamente hice una función que pasada una URL abría un socket por el puerto 80 hacia esa url, leía toda la respuesta y con expresiones regulares capturaba todo lo que quería (en mi caso buscaba los links y los guardaba en un array).Depués en el script vas llamando recursivamente a esta función y vas guardando los resultados.Si quieres deja algún método de contacto y te explico mejor.

  6. Edu says:

    Crear un buscador qeu la gente ingrese nuevos enlaces, pedir un enalce reciproco … y con Laika comprobar qeu se ha realizado este enlace reciproco.

  7. taoru says:

    jajja, sorry sorry, puse mal los texto en cuadritos equivocados por eso mal mi post anterior…perdon!, despertarme temprano y navegar hace mal, xdpues, para mi lo que habria q tomar es:1. los metatags2. el title de la pag3. los emcabezados y titles de la pag (y si es posible las palabras resaltadas)4. lo que estoy analizano como hacer, es tomar el pagerank google y alexa de esa pag (para ordenarlo por valores)eso son los que se me ocurren, por si me quieres contactar te dejo mi msn:msn@taoru.com.arsaludos!

  8. Sipi says:

    Contar extensiones de dominios…Contar el numero de páginas de los sitios, y en función del número asignarle un color, pintar un píxel y hacer un tapiz de colorines… o colocarlo en su pais de procedencia y pintar el mundo…

Deixa una resposta

Want to join the discussion?
Feel free to contribute!

Deixa un comentari

L'adreça electrònica no es publicarà. Els camps necessaris estan marcats amb *