Tamaño

Uno puede hacerse una pregunta muy simple: si el tamaño de los índices crece, y de qué manera, ¿cómo hacen para mantener la efectividad y el rendimiento?

Volviendo a mi más querido ejemplo: las bibliotecas... Evidentemente no es lo mismo buscar entre 100 libros que entre 1000. Ni tampoco se tarda lo mismo, así que evidentemente los buscadores se enfrentan a dos problemas: Uno, el crecimiento de contenido. Dos, el incremento de tiempo en buscar por dicho contenido.

La clave está en la información que se puede explotar en el largo proceso de indexación, y luego en el preprocesado de la query.

Una idea podría ser, por ejemplo, tener indices de un tamaño determinado para obtener un tiempo de respuesta máximo conocido. Así, cuando alguien pregunta al índice, se analiza la query y se la desvía al índice que más conviene.

Difícil tarea, y peor aún, la web está cambiando, los contenidos también. Ahora ya no es sólo "papel" ahora, como dicen en Technorati, la web es conversación.

Os dejo un enlace a un artículo que he encontrado y que realmente es fabuloso. El título: "MapReduce: Simplified Data Processing on Large Clusters" from Google with love ;)