Colores para los comentarios en Menéame

El autor del envío no puede expresar su opinión en el texto de la entrada porque va contra las condiciones de uso –es microblogging. Pero puede usar los comentarios para expresar su opinión, y posiblemente quien colgó la historia tiene alguna cosa que decir porque el hecho de compartir suele implicar la voluntad de conversar acerca del tema; ahora sus comentarios tendrán más visibilidad.

También puede suceder que, con vuestros comentarios, le pidáis explicaciones sobre algunos detalles del envío. Ahora sus respuestas serán más fáciles de encontrar cuando queráis saber qué piensa el autor de la entrada.  Y si no dice nada, también lo sabréis enseguida.

Puede que el autor del envío pida el descarte de la noticia por problemas que le habéis hecho saber o que él encontró después; ahora los administradores podrán encontrar más fácilmente las peticiones de ayuda de los autores de los envíos.

En definitiva, los colores de los comentarios son los cuatro que aparecen en la ilustración:

1. Comentario destacado por vuestros votos
2. Comentario del autor del envío, destacado por vuestros votos
3. Comentario
4. Comentario del autor del envío

La explicación en detalle de cómo se hace están en Cálculo comparativo de la diversidad de votos mediante densidad de grafos.

Los resultados son buenos (la explicación en el artículo anteriormente citado):

También hemos actualizado el apunte con la explicación sencilla de cómo funciona la promoción de noticias.

Si tenéis dudas o problemas, no dudéis en consultarnos en el Nótame, poned referencia a @gallir o @benjami para que nos enteremos (en Twitter tenemos los mismos nombres).

Actualización mayo 7, 2009: En la pestaña log de cada noticia se puede observar en qué momento se hicieron los reajustes de karma y las notas informativas del algoritmo.

Siempre que una noticia controvertida con varios votos negativos  (y/o que algunos piensen que no “queremos que salga” aunque le hayamos votado positivo o dado publicidad en nuestros blogs) no sale publicada surgen sospechas o conspiranoias de que “hay manipulación”, aunque el algoritmo de promoción es público, como así también los cálculos que realiza.

Suele pasar porque hay parámetros que ajustan el valor del karma de la noticia y hay poca gente capaz o con tiempo para tomarse el trabajo de leer el código y  de seguir la evolución del karma de cada noticia. Para esas personas intentaré explicar el funcionamiento básico del promote, y porqué lo hemos implementado de esa forma.

Los parámetros que más afectan al karma son los siguientes, ordenados más o menos de los que más influyen a los que menos:

1. Bonus temporal a las nuevas noticias
2. Coeficiente por metacategorías
3. Añejamiento de noticias antiguas
4. Control de diversidad de votos (o de afinidad)
   Bonus y penalizaciones por análisis de densidad de grafos
5. Control de media de votos

(Recalco lo de “más o menos”, ya que depende de varios factores, por ejemplo si la media de votos de una noticia es muy baja, afectará más que los demás, pero está al último porque no se suele llegar a esos extremos, salvo casos de intento de spam con muchos usuarios nuevos o inactivos por mucho tiempo, por ejemplo)

1. Bonus temporal a las nuevas noticias

El objetivo es publicar rápidamente aquellas noticias que reciben muchos votos apenas se envió la noticia. Este algoritmo funciona desde el primer día. Básicamente multiplica el karma de la noticia por un coeficiente decreciente tempral entre 2 y 1 1.5 a 1. A las dos horas el coeficiente se hace igual a uno por lo que deja de influenciar. Este coeficiente es visible en el promote, la columna COEF. La explicación más completa.

2. Coeficiente por metacategorías

En Menéame hay cuatro metacategorías: ocio, cultura, actualidad y tecnología. El objetivo es intentar tender a un balance entre número de enviadas y publicadas en cada categoría. De esta forma también se evita que el Menéame sea monotemático –o dominado por unas pocas categorías–.

Basado en el número de enviadas / número de publicadas de cada metacategoría se calcula un coeficiente. Los coeficientes de cada una son visibles en el promote. Por ejemplo ahora mismo:

Karma coefficient for tecnología: 1.31632555175
Karma coefficient for cultura: 0.982548801982
Karma coefficient for actualidad: 0.93282154627
Karma coefficient for ocio: 0.872050062752

Los números anteriores significan que a las noticia de tecnología se multiplica por 1.31 mientras que a las de actualidad 0.92. Esos coeficientes son medias entre las enviadas y publicadas de cada una en los últimos 2 días. Están también disponibles justo arriba de los coeficientes anteriores:

2 days stats for tecnología (queued/published/total): 157/13/98 -> 0.0679107630313
2 days stats for cultura (queued/published/total): 175/19/98 -> 0.0905408163265
2 days stats for actualidad (queued/published/total): 455/44/98 -> 0.10136577708
2 days stats for ocio (queued/published/total): 176/22/98 -> 0.104336734694

Los tres números de cada meta significan respectivamente: número de enviadas, número de publicadas y publicadas totales.

3. Añejamiento de noticias antiguas

El objetivo del algoritmo es quitar progresivamente la relevancia de las noticias después de varias horas (nueve). Se hace así para evitar que salgan publicadas siempre noticias de hace varios días, ya que por razones lógicas –el tiempo que están en pendientes– las más antiguas tienen más posibilidades y probabilidad de tener más votos que una noticia reciente.

El coeficiente varía progresivamente desde 1 a 0.4 una vez que han pasado nueve horas desde que se envió la noticia. Este coeficiente es visible también en la columna COEF del promote.

La parte del código que lo calcula es:

// Aged karma
$diff = max(0, $now - ($link->date + 9*3600)); // 9 hours without decreasing
$oldd = 1 - $diff/(3600*60);
$oldd = max(0.4, $oldd);
$oldd = min(1, $oldd);
$link->new_coef = $oldd;

El añejamiento de cada noticia también funciona desde el principio del Menéame.

4. Control de diversidad de votos (o de afinidad)

El objetivo de este control es evitar que grupos de usuarios se voten las noticias entre ellos y logren publicarlas (eso que algunos dicen que existen y llaman “mafias”).

El algoritmo calcula un porcentaje de afinidad entre usuarios y decrementa el karma que “aportan” a la noticia dependiendo de la afinidad con el usuario que le envió: a mayor afinidad menor es su influencia final (aunque el voto siempre suma). Con esto se asegura que para que una noticia salga publicada tiene que haber un mínimo de diversidad de votos.

El algoritmo está explicado en detalle en otro apunte. Está activo desde principios de setiembre de este año (2008).

La parte esencial del código que calcula el coeficiente de afinidad es el siguiente:

foreach ($votes as $vote) {
	if ($vote->id > 0 &&
			$vote->id != $uid &&
			abs($vote->count) > max(1, $nlinks/10) ) {
		$c = $vote->count/$nlinks * 0.75;
		if ($vote->count > 0) {
			$affinity[$vote->id] = round((1 - $c)*100);
		} else {
			$affinity[$vote->id] = round((-1 - $c)*100);
		}
	}
}

4. Bonus y penalizaciones por análisis de densidad de grafos

El algoritmo antes de afinidad está deshabilitado desde el 5 de octubre de 2012. En su reemplazo se usan algoritmos más genéticos que permiten un mejor control. La explicación completa del nuevo algortimo.

5. Control de media de votos

El objetivo de este control es evitar que se creen usuarios nuevos –o se tengan usuarios “inactivos”– con el único objetivo de publicar noticias de un determinado sitio. Por ejemplo que se pongan de acuerdo en un foro, o que haya grupos o empresas con muchos usuarios los intenten “vender” para promocionar sitios.

El promote analiza las medias de votos en los últimos días y usa esa media para controlar que no haya desvíos importantes. La media es visible en el promote:

Karma average for each link: 9.15856554197

Esto significar que la media ponderada de los votos a cada noticia en los últimos días es igual a 9.16.

Para cada noticia se calcula cuál es la media de sus votos. Si la diferencia de la media de un enlace es inferior al 3% de la global –para permitir variaciones hacia abajo–, entonces no toma en cuenta votos inferiores a la media para hacerla como mínimo igual a 9.16 * 0.97 (el -3%) aproximadamente.

Este control funciona desde el primer semestre de 2007.

Tuvimos que hacerlo cuando empezamos a detectar los intentos de spams mediante la creación de decenas de usuarios, especialmente cuando se acercaban fechas electorales o campus parties (ademas incluimos más controles de frecuencia de registros que se pueden hacer por IP y subred).

// Make sure we don't deviate too much from the average
// (it avoids vote spams and abuses)
// Allowed difference up to 3%
$karma_pos_user = (int) $karma_pos_user_high +
                  (int) min($karma_pos_user_high * 1.07, $karma_pos_user_low);

El karma es fundamental

Espero que esta breve explicación elimine algunas dudas sobre el funcionamiento del algoritmo de promoción y que de más tranquilidad, ya que está claro que se intenta asegurar que no haya abusos y grupos que tengan más influencia –llámese mafias o fanboys– capaces de publicar noticias sólo con sus votos.

En toda la explicación de las diferentes técnicas, el parámetro fundamental que evoluciona con el tiempo es el karma –en este caso el de las noticias, pero también el de cada usuario–. Ojalá que aclare mejor lo que comentábamos hace tiempo sobre la potencia y utilidad de ese numerito que llamamos “karma” [*]:

Lo anterior creo que explica más o menos los fundamentos de tener un karma: es un sistema básico de protección “anti abusos” que evita tener que tomar medidas más “drásticas”, además hace posible el voto anónimo.

[...]

Sí, admitimos que no es perfecto, ni de lejos, pero el karma ha sido fundamental para controlar y evitar abusos sin tener que recurrir a medidas extremas y un coste de administración que hubiese sido prohibitivo para nosotros.

(y permite publicar todo, el algoritmo y sus cálculos)

[*] Es decir, la potencia de las matemáticas de nivel de ESO para hacer cálculos y controles complejos y a la vez resumirlos en un número que todos podemos entender para darnos una idea de la “situación”

Tenemos que reconocer que no ha sido nada fácil preparar la presentación:

- Comiuniti Mánaller: Ese cutreparágrafo no sirve de nota de prensa, no hay eslogan

- Programador: Es que nunca hemos hecho una nota de prensa

- CM:  Paletos

- P: Pero sabemos mucho de PHP, JavaScript y eso

- CM: Frikis

- P: Bueno, de CSS y diseño no tanto

- CM: Se nota, mi abuelo sabe más

- P: Cabrón

- CM: Troll

- P: Te quiero

Vale, escuchemos al comiuniti mánanller, hagamos un eslogan: «Menea las pelotas».

- CM: Estáis locos

- P: Tienes razón, no todo va a ser fútbol, también hay vóleibol, volleyball, vo… es igual, femenino

- CM: Machistas, lo dejo

- P: A pesar de todo todavía te quiero

- CM: Voto irrelevante

Finalmente no hay eslogan.  Todo indica que vamos a fracasar porque está escrito: en menéame no os gustan los deportes. Además lo presentamos en agosto, qué poca vista.  Empieza la liga y tal, pero y qué. Chorradas.

menéame deportes

Sólo nos queda la esperanza que quizás podéis decírselo al cuñado, ese que se aburría y/o deprimía con las noticias de menéame.  Hay que ser previsores: ¿de qué hablaréis en la mesa esta Navidad?  Va, qué os cuesta: http://deportes.meneame.net

Además, no tendréis que preocuparos porque no haya categoría gatos. Es un punto, ¿O no?

<br /><br />HOYGAN SOY EL COMUNITY MANAGER DE MENÉAME Y HE CONSEGUIDO LA CONTRASEÑA DEL BLOG PARA PODER HESCRIVIR DICIENDO QUE  NO ME HAGO RESPONSABLE DE LA EDICIÓN DEPORTES Y QUE  BUSCO TRABAJO. GRACIAS DE ANTEBRAZO.

Hay demasiada política en Menéame, y no hay un espacio para los que están más interesados en seguir sólo temas de Internet, cultura y ciencia.

Aunque hace más de tres años programamos las personalizaciones de páginas -cada usuario puede elegir, en su perfil, qué categorías seguir-, obviamente no ha tenido mucho éxito o popularidad. Hemos reflexionado, si el cliente siempre tiene la razón (o al menos una parte) es que estaba faltando algo más. Por ello fue que creamos eMenéame:

Así como el “tradicional” Menéame puede ser seguido en Twitter y Facebook, eMenéame también tiene lo propio, donde sólo se publicarán las noticias del sitio:

• @emeneame en Twiter
• EMenéame en Facebook

EMenéame esta separado temáticamente (incluso en las noticias populares, destacadas, candidatas, mejores comentarios, más visitadas, RSSs, etc.) pero comparte todas las noticias con el Menéame principal, los votos en uno cuentan en el otro, los envíos e eMenéame salen también en http://www.meneame.net (además se pueden personalizar las categorías para cada sitio, son independientes). La semana que viene, cuando recopilemos estadísticas y hayamos resuleto problemas, pondremos en marcha la meta publicación: las noticias de eMenéame que superen el “karma local”, serán publicadas localmente aunque no supere el nivel de  de publicación en http://www.meneame.net.

Éste es sólo un primer paso. Para poder hacerlo hemos tenido que hacer cambios importantes en el software. Era muy importante que fuese tan rápido, como el principal, lo que exigió una restructuración de la arquitectura, de los programas, y la base de datos [*] (con la restricción que no podíamos detener el sitio para cambiar su estructura, tardaría unas seis horas) para que el “filtrado” y la separación temática fuese muy eficiente (de hecho también permitió que http://www.meneame.net vaya más rápido)

Esta nueva versión del software [*] nos permitirá crear nuevos sitios y “sub menéames” muy rápidamente, siempre manteniendo la misma eficiencia. Además permitirá que cada sitio pueda ser independiente, o que compartan noticias y estados con otros. En breve tendremos sitios completamente independientes, y empezaremos a crear “sub menéames” de los temas que más interesen a grupos de usuarios.

Esperamos que sea útil a aquellos que pedían algo así, y que ayudemos a divulgar más noticias y conocimiento. Seguro que quedan fallos por resolver, otros temas a mejorar, o que no cumpla las expectativas, pero siempre hay tiempo y oportunidades de mejorar. Escucharemos vuestras quejas y sugerencias (si lo hacéis en el Nótame, poned el hashtag #emeneame, así lo podemos ubicar más fácilmente).

Gracias, y disculpas adelantadas por los problemas que puedan aparecer, estaremos en alerta roja hasta altas horas de la madrugada para solucionarlos rápidamente.

[*] Administradores de otros sitios webs: aunque está todo publicado en el subversion, no actualicéis todavía, pondré un pequeño documento de qué tablas hay que importar, qué datos mínimos se necesitan y cómo ejecutar el script que completa los datos de la base de datos.

One or more of your Amazon EC2 instances have been scheduled for a reboot in order to receive some patch updates. Most reboots complete within minutes, depending on your instance configuration. The instance(s) that will be rebooted and your scheduled reboot time(s) are listed below.

Region        Instance ID    Maintenance Window
=================================================================
eu-west-1       i-12d4e564      2011-12-19 22:00:00 UTC – 2011-12-20 04:00:00 UTC       instance-reboot
eu-west-1       i-f10b2586      2011-12-19 22:00:00 UTC – 2011-12-20 04:00:00 UTC       instance-reboot

No action is required on your part. Each reboot will occur during the corresponding scheduled maintenance window listed above. Note that when a reboot is done, all of your configuration settings are retained. You also have the option to manage these reboots yourself at any time prior to the scheduled maintenance window.

Aunque lo hacen automáticamente sin necesidad de intervención manual, preferimos hacerlo manualmente para asegurarnos de minimizar el tiempo de impacto (haremos las dos simultáneamente), y verificar que quede todo funcionando correctamente luego de los reinicios.

Disculpad las molestias.

Todas las empresas son técnicamente explotadoras…

Suponemos que ya sabe que las empresas no son las explotadoras, en todo caso las personas que las dirigen, pero parece que no conoce que hay empresas -como Menéame- que hacen un gran esfuerzo por defender los principios de sus socios y fundadores. En nuestro caso se trata del software libre. Aunque aparentemente va en contra de los intereses económicos y competitivos de la empresa, el software es lo único que poseemos, hemos liberado siempre todo nuestro software (y no requiere ningún módulo de software privativo para funcionar y dar servicio a millones de personas).

Para subsanar este déficit, mantuvimos una reunión teléfónica de urgencia -duró18 segundos- y hemos decidido enviarle de regalo/donativo y/o préstamo (lo que la ley requiera) un Netbook con GNU/Linux instalado, y una copia del software libre de Menéame.

El netbook, recién adquirido a Amazon.es

En cuanto nos llegue el Netbook, quitaremos el Windows que “nos entregan obligados” -como los iPhones e iPads a los diputados, aunque en este caso no pagan ellos-, instalaremos una distro GNU/Linux y se lo enviaremos al Congreso (o a la dirección que que nos indiquen). Aunque estaremos muy contentos que lo use, si no es así, que lo deje para otras personas de IU que no reciban el “kit”.

Esperamos que a) le sirva como herramienta de trabajo para mejorar nuestro sistema democrático, b) le ayude a conocer un poco más sobre la realidad del software libre, c) que hay empresas personas que defienden sus principios aunque les suponga un [pequeño] sacrificio,  d) que no hacen falta productos ultra privativos para estar comunicados e) comprenda que nos encanta ejercer el derecho a criticar a nuestros representantes cuando contradicen a los principios que promueven y prometen durante la campaña electoral, pero que sobre todo, queremos ayudar a que no estén desconectados de la red WiFi, ni de la realidad y el día a día de las empresas personas.

Por ello @Ramsys nos propuso una barra donde se pueda votar a la noticia. Desde esta madrugada ya está en marcha:

Esta barra funciona sólo para los usuarios autentificados y que hayan elegido esa opción desde su perfil de usuario (justo debajo de la información personal):

Hay sitios webs que no admiten que sus páginas se incrusten en un iframe (como YouTube), en este caso el contenido del sitio saldría en blanco. Para evitar este problema, el software los detecta automáticamente (cuando se envía un enlace de esos sitios) y no pone la barra, dirige automáticamente al enlace original (no se puede hacer de otra forma).

Nota: no se cambia nada del contenido del sitio, le contará como visita normal, sólo le cambia el “referrer”, que en ese caso sera http://www.meneame.net/bar.php.

Menéame en Facebook

Desde hace varios días pusimos en marcha la página oficial de Menéame en Facebook. Al igual que en Twitter, se notifican las noticias en cuanto son publicadas, cuando una es “#destacada”, y dos veces el día se envía un resumen con las noticias más votadas, más leídas y más comentadas.

También tenemos página de Menéame en Google+. Estamos a la espera que Google publique el API que permita enviar noticias para que pongamos en marcha un sistema similar a Twitter y Facebook.

Disculpad las molestias.

Para facilitar el trabajo a todo el mundo, agregamos una funcionalidad que permite obtener el volcado de la tabla en formato texto para que sean fácilmente analizados por un programa. Para ello sólo hay que agregar /votes_raw al URL de la noticia, por ejemplo:  publica-password-descifra-todos-cables-wikileaks/votes_raw. Estos datos son muy similares a los que ya se obtienen en la pestaña “votos”.

Los campos que devuelve son:

1. Fecha y hora en formato ISO 8601
2. Valor del voto (los negativos cuentan como el karma del usuario, pero el número indica tipo de voto: irrelevante, duplicada, etc.)
3. Nombre de usuario (vacío si es anónimo)
4. Karma actual del usuario (0.0 si es anónimo)

Los datos son un volcado sin modificar de lo que hay en la tabla “votes”. El voto negativo es igual que el positivo, pero cuando es negativo se almacena el código del voto como se indica antes. Su valor real es aproximado al valor del karma (como en el positivo) pero en negativo. Puede haber variaciones, ya que a posteriori se hacen otros cálculos, o que el karma del usuario puede haberse modificado por el recálculo diario (el segundo campo siempre es al momento de votar). El karma (cuarto campo) que sale en el listado es el actual del usuario, no el que tenía cuando se votó (pero si la noticia no está publicada, el valor que se usa es siempre el karma actual del usuario).

Para obtener un listado de los URLs de la noticias se pueden usar los RSS (publicadas, pendientes), o el sitemap si interesa el listado sólo de las publicadas.