Archivos Mensuales: diciembre 2007

La inocentada del meneaRank

inocenteTodo comenzó el día 23 de diciembre. Estábamos hablando de otras cosas vía email con Rogelio cuando lanza su propuesta:

Ah, si se te ocurre alguna inocentada guapa que podamos montar juntos para el dia 28, me avisas :-) … No se, desde un delirio tipo X compra Y (donde X/Y pueden ser coRank/Meneame o Meneame/coRank), hasta un “Rogelio y Ricardo lanzan un videoblog de noticias conjunto donde ellos son los presentadores, llamado De la isla al valle”. O alguna otra animalada que se te ocurra. pero para currarse al menos una paginita o algo que le de mas realismo al tema :-) Si no, no pasa nada. Se me acaba de ocurrir :-)

Obviamente, no nos pudimos resistir. Aunque casi se nos va de las manos y ahora tendremos que dar algunas explicaciones a gente que no tenía nada que ver y nos preguntaba sobre el tema… lo único que pudimos llegar a decir para no arruinar la broma era que Digg no estaba involucrado, pero sirvió de poco.

Todo comenzó porque habíamos quedado en que debíamos decir algo que la gente esté más desprevenida. Así Rogelio escribió en su blog:

Y segundo, aprovecho también para adelantaros que dentro de muy poco espero poder publicar por aquí un notición – yo pienso que bastante majo – que posiblemente va a impresionar a más de uno – para bien, espero.

Nosotros hicimos algo similar en este blog:

Queríamos además dar un notición estos días, pero el retraso de los trámites por las fiestas nos arruinó la noticia de nochebuena. Pero esperamos poder hacerlo al menos antes de fin de año, o en nochevieja

A partir de eso comenzaron a correr los rumores que acabaron en que Digg pensaba comprar coRank y Menéame. Basta ver los trackbaks de los apuntes anteriores –que incluyen a Techcrunch, Mashable, etc.– e incluso llegó hasta el Business Week:

Then, on Christmas day, the blog message boards began buzzing about a report that Digg was acquiring Spanish-language counterpart, Menéame, and possibly purchasing content-sharing site coRank.

Nada, que casi nos arruina la broma, y no podíamos decir nada porque sino se arruinaría todo. Nos sentíamos víctimas prematuras de nuestra propia broma.

Al final la hicimos, claro, pero lo mejor –o lo peor según como se mire– había ocurrido antes.

Nada, perdón a los que creyeron las noticias previas, no era nuestra intención. Y gracias –o todo lo contrario, según como se mire :-) — a los que ayudaron a divulgar los rumores.

Ahora a ver si empezamos a enviar correos explicando a los norteamericanos que por aquí también tenemos nuestro April fools’ day, pero que no cae en abril.

PS: Aunque no todo lo que se dijo era inocentada, algo quedará :-)

Fusión de menéame y coRank: meneaRank

meneaRankEsta era la noticia que adelantábamos hace unos días (también lo adelantó Rogelio Bernal). Estoy con un gripazo muy fuerte (y Benjamí tampoco se encuentra muy bien), así que seré muy breve, daremos más detalles más adelante. Rogelio también lo cuenta en su blog.

coRank y menéame se fusionan al 50% para crear una nueva empresa meneaRank. Rogelio vino a España para para terminar de arreglar los asuntos burocráticos –además fue complicado porque Martín Varsavsky estaba de viaje y hacía falta su aprobación. Hizo falta discutir y tomar decisiones técnicas importantes que necesitaban largas charlas.

Por ahora menéame y coRank seguirán igual y se abrirá un nuevo portal, menearank.com, donde serán accesibles los nuevos servicios agregados de coRank y menéame. Los usuarios de menéame y coRank podrán participar en ambos sitios de forma indistinta gracias al nuevo sistema de autentificación basado en OpenID. Esta integración comenzará a funcionar desde finales de enero.

Los datos en tiempo real de coRank y menéame se usarán para mejorar ambos sistemas y además tener portadas independientes y por preferencias en cualquiera de los dos sitios.

Uno de los primeros servicios de meneaRank será un ranking de blogs agrupados por temáticas y preferencias (se espera para finales de enero). Luego lanzaremos un buscador que no sólo tendrá en cuenta las palabras claves y frecuencias de aparición, sino también el número de votos que han recibido y el número de lecturas desde menéame o coRank.

Aunque todavía tenemos que negociar más y hacer una auditoria de copyrights fichero a fichero, esperamos poder liberar todo el código fuente.

Felicidades

logo nadal Que paséis bien el puente, el solsticio de invierno, el aniversario del nacimiento de Newton o cualquier otra festividad religiosa o no –incluida la de El Corte Inglés– que festejéis estos días.

Queríamos además dar un notición estos días, pero el retraso de los trámites por las fiestas nos arruinó la noticia de nochebuena. Pero esperamos poder hacerlo al menos antes de fin de año, o en nochevieja.

Stay tuned :-)

“Stemmer” en castellano del buscador

Queda un problema con el buscador: que también busque por palabras raíces, y derivadas del lexema original. Con eso se mejora la búsqueda porque también busca las palabras en plural/singular, masculino/femenino, en diferentes tiempos verbales, gerundio, etc.

Para realizar ese proceso se reducen las palabras a sus lexemas básicos, el proceso se denomina stemming. El Sphinx sólo trae stemmers en inglés y ruso, afortunadamente Jose Manuel Peso desarrolló un stemmer castellano para el Sphinx. El problema es que ya no funcionaba con la última versión del Sphinx, por lo que le hice unas pocas modificaciones (parche) y ya lo tenemos en marcha.

Espero que mejore aún más la calidad de los resultados. Si no es así seguro que nos enteraremos rápido ;-)

Problemas de acceso

Desde hace poco más de 15 minutos (15:57 GMT+1) hay problemas de acceso a Menéame. No es problema de servidores sino de la red de Ferca (hay muchas pérdidas de paquetes). En cuanto tengamos más información avisaremos.

Perdón por las molestias.

Actualización: desde las 16:40 parece funcionar todo normal. Nota, mi móvil no ha dejado de vibrar por los avisos SMS del Nagios, interesante característica :-)

OpenSearch del Menéame (compatible con Firefox e IE)

UnoDeTantos nos sugirió en un comentario que pongamos el plugin OpenSearch en el Menéame. Una hora después estaba funcionando :-)

El plugin sirve para agregar el buscador del Menéame a la barra de búsquedas del Firefox2 o IE7. Como es un estándar abierto –y muy simple– supongo que lo adoptarán los demás navegadores.

Para activarlo basta con visitar el Menéame, desplegar el menú y “agregar” el plugin del Menéame.

open search menéame

Una vez que está en la lista se lo puede seleccionar para buscar en el Menéame.

OpenSearch del Menéame (compatible con Firefox e IE)

Sí, pijaditas, pero no cuesta nada hacerlas y quizás a algunos les sea útil (aunque sea para mirar el código y usarlo de ejemplo) :-)

A tomar por… o yet another search engine

Con un cabreo monumental hice un cambio drástico, deseché el “nuevo buscador” basado en Zend Lucene y lo reimplementé en Sphinx. Por ahora funciona todo igual salvo las operaciones booleanas que ya implementaré estos días (con mejoras).

El Zend Lucene tenía muchos problemas: mucho consumo de memoria –hasta centenares de megas por cada consulta–, por lo que hay que limitar los resultados que ordena, muy lento, falla el sistema de locking cuando se actualizan varios artículos concurrentemente, problemas con las tablas de conversión UTF-8. Además de ello hay que reconocer que indexar textos tan cortos tiene sus problemas.

Perdí más de una semana tocando el Lucene y creando nuevas clases, pero cuando solucionaba un problema surgían dos más.

Hoy Ayer con el cabreo me puse a estudiar el Sphinx, y salvo que tuve que haer la tabla de conversión de caracteres españoles y catalanes, lo demás funcionó como una seda. Además el servidor lo tenemos en marcha en el servidor de backup, así que ni siquiera va a molestar al principal aunque tenga fallos graves.

Otra de las ventajas del Sphinx es que se pueden enviar “colas de consultas”, por lo que para búsquedas de varias palabras se hace el ordenamiento por varios criterios, prima el de de la frase completa, luego con contenga todas las palabras buscadas y finalmente cualquiera de ellas. En las dos primeras consultas se ordena por fecha –lo que soluciona una parte importante del problema del menéame, encontrar los “dupes” recientes– y la última consulta ordena por relevancia/frecuencia. Estas preferencias por frases largas versus por fecha para menos palabras se nota en menéame es un saco y menéame saco (en el primera consulta sale en primera posición, en la segunda sale en sexta posición).

Ya iremos afinando, pero con las cientos de pruebas que hice (con ayuda de algunos que estaban por la fisgona) parece dar muchos mejores resultados, y la diferencia de velocidad y tiempo de respuesta es muy notable. Demasiada diferencia como para seguir con el anterior un día más.