Google y la prediccion

Las ultimas noticias indican que Google esta trabajando duramente en la mejora de rendimiento por prevision. Esto es, estudia las busquedas que se hacen para poder "adivinar" lo siguiente que vas a buscar.

Tal vez sea esta otra vuelta de tuerca que tengamos que vigilar, por que Google empieza a monopolizar nuestro conocimiento: mail, documentos (writely), finanzas (google spread sheets), calendario, blog... y ahora gracias a su barra de firefox o su browser sync pueden saber exactamente que buscas. Nos tienen fichadisimos, eso si, nos encuentra las cosas a una velocidad de vertigo.

Este, es un paso hacia la evolucion de las busquedas contextualizadas. Si estudio que y sobre todo, como buscas, puedo devolverte resultados mas acertados... Cierto, y los avances en inteligencia artificial ya me hacen la boca agua :)

Tamaño

Uno puede hacerse una pregunta muy simple: si el tamaño de los índices crece, y de qué manera, ¿cómo hacen para mantener la efectividad y el rendimiento?

Volviendo a mi más querido ejemplo: las bibliotecas... Evidentemente no es lo mismo buscar entre 100 libros que entre 1000. Ni tampoco se tarda lo mismo, así que evidentemente los buscadores se enfrentan a dos problemas: Uno, el crecimiento de contenido. Dos, el incremento de tiempo en buscar por dicho contenido.

La clave está en la información que se puede explotar en el largo proceso de indexación, y luego en el preprocesado de la query.

Una idea podría ser, por ejemplo, tener indices de un tamaño determinado para obtener un tiempo de respuesta máximo conocido. Así, cuando alguien pregunta al índice, se analiza la query y se la desvía al índice que más conviene.

Difícil tarea, y peor aún, la web está cambiando, los contenidos también. Ahora ya no es sólo "papel" ahora, como dicen en Technorati, la web es conversación.

Os dejo un enlace a un artículo que he encontrado y que realmente es fabuloso. El título: "MapReduce: Simplified Data Processing on Large Clusters" from Google with love ;)