Disculpas por el tiempo que estuvo inaccesible el web con el dominio meneame.net (no así m.meneame.net y www.meneame.net).

Nuestros servidores web están detrás de un balanceador de carga de Amazon EC2 (web-balancer-177968158.eu-west-1.elb.amazonaws.com). Está documentado que el balanceador puede tener varias direcciones IP dependiendo del tráfico, por lo que en el DNS hay que usar un CNAME (es como un “enlace simbólico”) apuntando al nombre y no a la IP.

El gran problema es que un dominio raíz, como meneame.net, no puede tener un CNAME, los servidores sólo admiten direcciones IP. Usamos en CNAME en los subdominios, como el de imágenes, servidores estáticos y otros (como m.meneame.net y aws.mnmstatic.net) pero queríamos mantener meneame.net sin las www.

En los foros y comentarios de técnicos de Amazon decían que la primera IP de los balanceadores se mantiene estática por mucho tiempo y que no suelen cambiar. Hasta hoy, que a pesar que las monitorizábamos continuamente por alguna razón, a las 3 de la madrugada, a nuestro balanceador le agregaron varias IP y quitaron la primera como “principal” (a algunos les seguía saliendo la misma).

Esa fue la razón que muchos no podían acceder, o que veían la página de otros servidores (posiblemete instancias ajenas o del propio Amazon). Amazon prometió solucionar este problema desde hace tiempo, pero hoy nos ha tocado sufrir sus cambios. Así que hasta que no haya solución nos vemos obligado a redireccionar todo el tráfico a www.meneame.net.

Disculpad las molestias, ha sido básicamente un error de exceso de confianza mío (gallir) por una feature no documentada, de hecho no recomendada. Afortunadamente Benjamí estaba conectado y me llamó inmediatamente.

Nota: No hace falta cambiar ningún enlace hacia menéame, ya se redirecciona automáticamente hacia www.meneame.net

PS: Aprendimos duramente una restricción bastante importante de usar los balanceador de carga de Amazon, y que a pesar que hay hacks (los explican en el foro enlazado en el párrafo anterior), no hay una solución fiable para todo el mundo.

Queremos informar brevemente sobre una serie de correos electrónicos (29) remitidos de forma masiva en supuesta representación del popular polemista Jose Ramón Julio Martínez Marquez conocido como “RAMONCÍN”.

En efecto, diversos medios de comunicación, entre los que se encuentra MENÉAME, han recibido decenas de correos electrónicos haciendo referencia a comentarios en los que supuestamente se insultaba al indicado personaje y exigiendo la inmediata eliminación de los mismos.

Dichos correos electrónicos aparecen como remitidos desde la dirección de un tal Jonathan, si bien luego en el cuerpo de los mismos figura un abogado como responsable. Además, se han enviado sin utilizar los cauces que al efecto figuran en la página web de condiciones legales y de publicación en MENEAME.NET.

Todo parece apuntar a que hemos sido víctima de un claro SPAM publicitario por parte de dicha asesoría jurídica, pues no tenemos ni siquiera constancia de que realmente ostente la representación legal del Sr. Martínez, que no descartamos que esté siendo utilizado con los indicados fines publicitarios.

Nuestros abogados han requerido al supuesto firmante de los mensajes para que indique si se hace responsable de los mismos y proporcione datos sobre la fuente de la que obtuvo las direcciones de correo electrónico a las que se remitieron los correos automáticos y sobre las personas que han intervenido en dicho tratamiento de datos. Así mismo se están estudiando las acciones administrativas y judiciales que pudieran ejercerse por nuestra parte ante tal irregular actuación.

Hoy 27 de diciembre ya hemos comenzado a migrar la base de datos hacia los servidores de Amazon EC2 en Dublín. A partir de las 23 hs peninsular (22 hs UTC) interrumpiremos el servicio media hora para terminar de migrar los últimos cambios y modificar y empezar a propagar los datos del DNS a la nuevas IP.

Para los lectores españoles el “ping” será un poco peor y a nosotros nos costará un poco más caro, pero necesitábamos una arquitectura más sofisiticada y flexible para tener mayor fiabilidad (la de nuestro hosting empeoró sustancialmente los últimos meses), mejor escalabilidad [*] y sistemas de backups.

Aunque llevamos varios días de prueba y modificando el código para adaptarlo a la arquitectura de Amazon EC2 seguramente aparecerán algunos problemas. Disculpad por las molestias, lo hacemos para poder seguir creciendo y ofrecer buena velocidad.

[*] Ya tenemos configurado para auto escalarse con la carga (crea –y quita– automáticamente los servidores web que hagan falta) y con un balanceador de carga que se asegura que se envían las conexiones a las instancias que funcionan correctamente.

Muchos de los que lean este blog o Menéame conoceran a este ácido dibujante. A nosotros nos encanta, así que cuando hizo la subasta para poner publicidad en su blog para estas fiestas nos apuntamos inmediatamente, y ganamos.

Lo único que le pedimos es que no se corte a la hora de tomarnos el pelo (o criticarnos). Así lo está haciendo, estos son son los banners que dibujó (y muestra en su blog), por ahora:

Hoy cumplimos cuatro años, ese día faltaban pocas horas para enviarse la primer noticia del Menéame. Años demasiados vertiginosos, de muchísimo trabajo, aciertos, errores y algunos sinsabores y decepciones. Pero los cientos de amigos que hemos hecho gracias al saco lo compensan sobradamente.

Gracias.

• Cuentas activas: 126.619
• Enlaces enviados: 721.438
• Publicados: 66.580
• Comentarios: 5.373.636
• Votos: 56.409.268

El gráfico no cubre los cuatro años, pero casi.

PS: No, no tenemos Ferraris, ni siquiera coches caros

Historial del cálculo del karma de cada noticia

Hace unos días implementamos gráficos para facilitar la comprensión de los cálculos del karma. Como antes, se acceden de la pestaña “log” de cada noticia. Antes estaba la misma información sólo que con un listado en formato texto bastante difícil de interpretar.

Con los gráficos se fácilmente observable y además las mismas anotaciones de texto son visibles en el tooltip cuando se pasa sobre el punto de la curva de karma (la línea naranja).

Estos gráficos sólo se generan en cuanto se ha reajustado el karma, eso sucede cada vez que supera un umbral para entrar a la lista del “promote“. Por lo tanto todas las noticias publicadas lo tendrán como así también las que son o fueron candidatas a publicarse. Las anotaciones se corresponden con las explicaciones más detalladas de Explicación simple del algoritmo de promoción de noticias (promote).

Historial de votos

Cada usuario puede ver un resumen de su actividad de votos desde su perfil. El grafico es similar en apariencia y muestra el número de votos por hora. Los marcadores del eje X corresponden a los últimos 30 días. El gráfico sólo se muestra si el usuario tiene al menos 20 votos a noticias en los últimos 2 meses.

Secretos del karma

Estuvimos en Zaragoza unos días, donde dimos una larga charla sobre los problemas que tenemos en Menéame para evitar abusos, cómo usamos el karma, qué problemas presenta y cómo los solucionamos. La charla es útil para los que crean que es sencillo evitar los “pucherazos”, el spam, el voto de “clones”, etc. Vídeo de la conferencia. PDF de la presentación.

En estos momentos (21:55 CET) los servidores no responden por un problema en el centro de datos. En Acens están trabajando para solucionarlo. Avisaremos de los progresos en el Twitter de menéame. Disculpad las molestias.

Actualización 1: vuelta a la normalidad a las 22:05 CET.

Actualización 2: falla de nuevo cinco minutos después. Seguimos informando por Twitter.

Actualización 3: El servicio se restableció a las 23 hs.

Actualización 4: Doce horas después Acens todavía no emitió ningún comunicado ni apunte en su blog para explicar qué pasó. Tampoco respondieron al ticket XBG-323638 abierto por la avería.

Aunque no lo hemos comentado en el blog, estamos continuamente introduciendo mejoras, algunas de ellas pedidas por los usuarios, otras que no son visibles (la mayoría) pero que se hacen para mejorar el funcionamiento y para detectar y evitar abusos.

Estas son algunas de las novedades implementadas en los últimos tres meses.

Versión móvil

Hemos reprogramado la versión móvil del Menéame desde cero. Además de ser compatible con la mayoría de smartphones (Android, iPhone…) permite casi el mismo nivel de interacción que la versión estándar  Así se puede:

1. Votar noticias
2. Autentificarse como usuario
3. Buscar
4. Escribir comentarios
5. Paginación de comentarios

Todavía no hemos implementado los votos a comentarios y votos negativos a noticias, aunque seguramente los añadiremos en el futuro a medida que las capacidades de los teléfonos aumenten.

Nótame

Hace algún tiempo ya pusimos las notas referenciadas, bastaba con escribir @ antes del nombre del usuario a quien nos dirigíamos, con ello se conseguía que apareciese su última nota y a su vez se mostraba en nuestra pestaña de conversación. Esto sigue funcionando, pero para mejorar el sistema de conversaciones se ha añadido un icono (una flechita) debajo de cada nota para poder referenciar una nota en concreto.

Esto soluciona dos peticiones de los usuarios y mejora la coherencia del sistema de notas:

1. Se puede contestar una nota concreta, por si el usuario a quien queremos contestar ha escrito algo más después de lo que nos interesa.
2. Se soluciona el problema de perder hilos cuando un usuario se cambia de nick o escribe una nota “intermedia”, ya que la referencia es al número de la nota.

Por otro lado, al acceder a una nota concreta vemos bajo ella aquellas que le contestan. De este modo es más fácil seguir determinadas conversaciones (y memes).

También se ha añadido un icono (una estrella) y su correspondiente pestaña para poder marcar los nótames favoritos.

Log de cálculo de karma

Por otro lado, se ha añadido en la pastaña “log” de cada meneo un cuadro con una explicación más extensa de los cálculos de karma. En este cuadro se pueden ver los diferentes eventos que acontecen en cada meneo (bonus, decreasing… ). Somos conscientes de que el cálculo de karma es un algoritmo complicado de entender por eso se añaden estas explicaciones que indican los factores fundamentales que afectaron al cálculo.

Esperamos que con esta herramienta se vea como evolucionan los meneos de una manera más clara.

Enlaces cortos (comando !gs) en la fisgona

Otro avance del código es la posibilidad de acortar los enlaces que se pasan por la fisgona. Para ello se ha añadido un comando que crea un nuevo enlace usando la herramienta ofrecida por Fon Labs.

Basta con escribir !gs url [nombre] (nombre es opcional) en la fisgona para generar un url corto en fon.gs.

Definiciones de la RAE (comando !rae palabra) en la fisgona

Al perder una herramienta que usábamos habitualmente, se ha añadido este comando en la fisgona para poder ver rápidamente la definición que la RAE da a una palabra concreta.

Votos a comentarios

A partir de hace unos días al pasar el puntero sobre los votos a comentarios aparece un texto explicativo de para que sirve cada uno de los votos. Hemos decidido indicarlo explícitamente para fomentar que no se voten negativo a aquellos comentarios correctos y argumentados sólo porque tienen una opinión diferente

Descripción automática en la entradilla

A la hora de enviar una noticia se introduce automáticamente el texto en el campo de la entradilla. Esto funciona sólo para aquellos sitios que tienen el campo meta description (<meta name=”description” content=”…” />). Aunque suelen ser incompletas o estar en otro idioma al menos sirve como guía.

Aunque el texto del título se muestra justo arriba del campo del formulario correspondiente, no se introduce automáticamente ya que la mayoría de los sitios adjuntan también el nombre del blog o del sitio web. Preferimos que se haga copy&paste para evitar esa información que no es relevante al título del envío.

La vida de los doctorandos es muy dura, y tienen que hacer las cosas más inverosímiles para sus investigaciones. Un ejemplo claro es la pobre Eva Ferreras que está haciendo una tesis sobre cosas muy raras, entre la que está Menéame.

Ahora está en la fase de analizar los participantes y nos pidió expresamente que le ayudemos a divulgar para poder acabarla. Le podéis dar una pequeña gran ayuda contestando una encuesta que preparó.

Disclaimer: La encuesta y la doctorando no tienen relación alguna con Menéame. No hemos pasado datos de usuarios, ni tendremos acceso a los datos de la encuestas más allá de lo que desee publicar la autora.

Actualización mayo 7, 2009: En la pestaña log de cada noticia se puede observar en qué momento se hicieron los reajustes de karma y las notas informativas del algoritmo.

Siempre que una noticia controvertida con varios votos negativos  (y/o que algunos piensen que no “queremos que salga” aunque le hayamos votado positivo o dado publicidad en nuestros blogs) no sale publicada surgen sospechas o conspiranoias de que “hay manipulación”, aunque el algoritmo de promoción es público, como así también los cálculos que realiza.

Suele pasar porque hay parámetros que ajustan el valor del karma de la noticia y hay poca gente capaz o con tiempo para tomarse el trabajo de leer el código y  de seguir la evolución del karma de cada noticia. Para esas personas intentaré explicar el funcionamiento básico del promote, y porqué lo hemos implementado de esa forma.

Los parámetros que más afectan al karma son los siguientes, ordenados más o menos de los que más influyen a los que menos:

1. Bonus temporal a las nuevas noticias
2. Coeficiente por metacategorías
3. Añejamiento de noticias antiguas
4. Control de diversidad de votos (o de afinidad)
5. Control de media de votos

(Recalco lo de “más o menos”, ya que depende de varios factores, por ejemplo si la media de votos de una noticia es muy baja, afectará más que los demás, pero está al último porque no se suele llegar a esos extremos, salvo casos de intento de spam con muchos usuarios nuevos o inactivos por mucho tiempo, por ejemplo)

1. Bonus temporal a las nuevas noticias

El objetivo es publicar rápidamente aquellas noticias que reciben muchos votos apenas se envió la noticia. Este algoritmo funciona desde el primer día. Básicamente multiplica el karma de la noticia por un coeficiente decreciente tempral entre 2 y 1 1.5 a 1. A las dos horas el coeficiente se hace igual a uno por lo que deja de influenciar. Este coeficiente es visible en el promote, la columna COEF. La explicación más completa.

2. Coeficiente por metacategorías

En Menéame hay cuatro metacategorías: ocio, cultura, actualidad y tecnología. El objetivo es intentar tender a un balance entre número de enviadas y publicadas en cada categoría. De esta forma también se evita que el Menéame sea monotemático –o dominado por unas pocas categorías–.

Basado en el número de enviadas / número de publicadas de cada metacategoría se calcula un coeficiente. Los coeficientes de cada una son visibles en el promote. Por ejemplo ahora mismo:

Karma coefficient for tecnología: 1.31632555175
Karma coefficient for cultura: 0.982548801982
Karma coefficient for actualidad: 0.93282154627
Karma coefficient for ocio: 0.872050062752

Los números anteriores significan que a las noticia de tecnología se multiplica por 1.31 mientras que a las de actualidad 0.92. Esos coeficientes son medias entre las enviadas y publicadas de cada una en los últimos 2 días. Están también disponibles justo arriba de los coeficientes anteriores:

2 days stats for tecnología (queued/published/total): 157/13/98 -> 0.0679107630313
2 days stats for cultura (queued/published/total): 175/19/98 -> 0.0905408163265
2 days stats for actualidad (queued/published/total): 455/44/98 -> 0.10136577708
2 days stats for ocio (queued/published/total): 176/22/98 -> 0.104336734694

Los tres números de cada meta significan respectivamente: número de enviadas, número de publicadas y publicadas totales.

3. Añejamiento de noticias antiguas

El objetivo del algoritmo es quitar progresivamente la relevancia de las noticias después de varias horas (nueve). Se hace así para evitar que salgan publicadas siempre noticias de hace varios días, ya que por razones lógicas –el tiempo que están en pendientes– las más antiguas tienen más posibilidades y probabilidad de tener más votos que una noticia reciente.

El coeficiente varía progresivamente desde 1 a 0.4 una vez que han pasado nueve horas desde que se envió la noticia. Este coeficiente es visible también en la columna COEF del promote.

La parte del código que lo calcula es:

// Aged karma
$diff = max(0, $now - ($link->date + 9*3600)); // 9 hours without decreasing
$oldd = 1 - $diff/(3600*60);
$oldd = max(0.4, $oldd);
$oldd = min(1, $oldd);
$link->new_coef = $oldd;

El añejamiento de cada noticia también funciona desde el principio del Menéame.

4. Control de diversidad de votos (o de afinidad)

El objetivo de este control es evitar que grupos de usuarios se voten las noticias entre ellos y logren publicarlas (eso que algunos dicen que existen y llaman “mafias”).

El algoritmo calcula un porcentaje de afinidad entre usuarios y decrementa el karma que “aportan” a la noticia dependiendo de la afinidad con el usuario que le envió: a mayor afinidad menor es su influencia final (aunque el voto siempre suma). Con esto se asegura que para que una noticia salga publicada tiene que haber un mínimo de diversidad de votos.

El algoritmo está explicado en detalle en otro apunte. Está activo desde principios de setiembre de este año (2008).

La parte esencial del código que calcula el coeficiente de afinidad es el siguiente:

foreach ($votes as $vote) {
	if ($vote->id > 0 &&
			$vote->id != $uid &&
			abs($vote->count) > max(1, $nlinks/10) ) {
		$c = $vote->count/$nlinks * 0.75;
		if ($vote->count > 0) {
			$affinity[$vote->id] = round((1 - $c)*100);
		} else {
			$affinity[$vote->id] = round((-1 - $c)*100);
		}
	}
}

5. Control de media de votos

El objetivo de este control es evitar que se creen usuarios nuevos –o se tengan usuarios “inactivos”– con el único objetivo de publicar noticias de un determinado sitio. Por ejemplo que se pongan de acuerdo en un foro, o que haya grupos o empresas con muchos usuarios los intenten “vender” para promocionar sitios.

El promote analiza las medias de votos en los últimos días y usa esa media para controlar que no haya desvíos importantes. La media es visible en el promote:

Karma average for each link: 9.15856554197

Esto significar que la media ponderada de los votos a cada noticia en los últimos días es igual a 9.16.

Para cada noticia se calcula cuál es la media de sus votos. Si la diferencia de la media de un enlace es inferior al 3% de la global –para permitir variaciones hacia abajo–, entonces no toma en cuenta votos inferiores a la media para hacerla como mínimo igual a 9.16 * 0.97 (el -3%) aproximadamente.

Este control funciona desde el primer semestre de 2007.

Tuvimos que hacerlo cuando empezamos a detectar los intentos de spams mediante la creación de decenas de usuarios, especialmente cuando se acercaban fechas electorales o campus parties (ademas incluimos más controles de frecuencia de registros que se pueden hacer por IP y subred).

// Make sure we don't deviate too much from the average
// (it avoids vote spams and abuses)
// Allowed difference up to 3%
$karma_pos_user = (int) $karma_pos_user_high +
                  (int) min($karma_pos_user_high * 1.07, $karma_pos_user_low);

El karma es fundamental

Espero que esta breve explicación elimine algunas dudas sobre el funcionamiento del algoritmo de promoción y que de más tranquilidad, ya que está claro que se intenta asegurar que no haya abusos y grupos que tengan más influencia –llámese mafias o fanboys– capaces de publicar noticias sólo con sus votos.

En toda la explicación de las diferentes técnicas, el parámetro fundamental que evoluciona con el tiempo es el karma –en este caso el de las noticias, pero también el de cada usuario–. Ojalá que aclare mejor lo que comentábamos hace tiempo sobre la potencia y utilidad de ese numerito que llamamos “karma” [*]:

Lo anterior creo que explica más o menos los fundamentos de tener un karma: es un sistema básico de protección “anti abusos” que evita tener que tomar medidas más “drásticas”, además hace posible el voto anónimo.

[...]

Sí, admitimos que no es perfecto, ni de lejos, pero el karma ha sido fundamental para controlar y evitar abusos sin tener que recurrir a medidas extremas y un coste de administración que hubiese sido prohibitivo para nosotros.

(y permite publicar todo, el algoritmo y sus cálculos)

[*] Es decir, la potencia de las matemáticas de nivel de ESO para hacer cálculos y controles complejos y a la vez resumirlos en un número que todos podemos entender para darnos una idea de la “situación”