Hoy, por segunda vez en la historia del Menéame, tuvimos que tomar medidas drásticas contra comentarios xenófobos o racistas. Esta medida no consistió solamente en deshabilitar la cuenta del autor del comentario sino en todos los que “jalearon” a dicho comentario dándole un voto positivo.

Tomamos estas medidas como un llamado de atención a este tipo de comentarios y actitudes irracionales, demagógicas, delictivas y de incitación al odio que no estamos dispuestos a que se conviertan en costumbre en el Menéame.

Aunque las normas no lo dicen expresamente, votar positivo a un comentario significa estar de acuerdo con esas ideas. No lo hacemos habitualmente, pero a veces se llegan a tales extremos que obligan a este llamado de atención.

La medida puede parecer injusta, desmedida, o que a veces se vota sin haber leído completamente el comentario. Por eso somos flexibles y si este es el caso, rastauramos la cuenta afectada.

Espero que entendáis que no nos gusta tomar este tipo de medidas, de hecho nos da más trabajo tener que responder a todas las quejas que nos llegan. Pero consideramos que ese trabajo vale la pena para al menos hacer notar que incluso involuntariamente se están jaleando y aplaudiendo manifestaciones de odio que no podemos permitir.

Disculpad las molestias.

PD: Por los comentarios parece que muchos no comprenden la diferencia entre racismo y otro tipo de opiniones, insultos o generalizaciones. Es un problema más grave del que pensábamos. Repetimos: para nosotros no es lo mismo. Todo lo demás es dicutible, pero no se admiten las expresiones de racismo o xenofobia. Aunque no guste a algunos, así seguirá.

Si vives en Vigo, Granada, Valladolid –o pasabas por allí– desde el 18 hasta el 24 de abril podrás ver gratis la película El sexo de los dinosaurios, porque te invitamos.

¿Y eso?

Tenemos en marcha un proyecto con una productora –y ni una palabra mas; en el ramo dicen que da mala suerte hablar demasiado de los proyectos no cerrados.

La productora acaba de estrenar una película, y nos pidieron publicidad en menéame. Ofrecimos un banner a cambio de aparecer en el anuncio del estreno en algunos diarios gratuitos. El anuncio también serviría como entrada gratuita. Hay cosas que todavía se tienen que hacer en papel, qué le vamos a hacer.

El banner, en menéame, sólo aparece si eres usuario registrado porque las entradas son para meneantas y meneantes. Si has llegado hasta aquí por un clic en el banner, ahora ya sabes de qué va la cosa. Y si lees esto sin ser usuario de menéame, también hay entradas gratis para ti porque puedes conseguir el diario gratuito de papel. Pero ya que te invitamos, ¿a qué esperas?

Cómo conseguir las entradas

Las encontrarás en la edición de papel del diario gratuito 20 Minutos. Sólo en Vigo, Granada y Valladolid, recuerda.

Como muestra, aquí tienes la entrada de Granada:

Este comentario de Digg, Wikipedia y el mito de la democracia en la web 2.0 (original) me sorprendió bastante. Luego padre me pasó el enlace The Power of Digg Top Users (One Year Later) donde confirman y matizan los resultados (básicamente dice que en 2006 los 100 usuarios más activos contribuyeron con el 56.41%, en 2007 esa cifra se redujo al 43.8%).

Quería conocer las mismas estadísticas en Menéame y ponerlas en contexto para obtener más información. Esta mañana, 21 de marzo de 2008, las hice con los datos de los últimos doce meses.

En esos doce meses se enviaron 193.708 noticias (149.401 sin contar las descartadas) de 21.530 usuarios distintos. De ellas se publicaron 17.175 noticias (11,5%) de 4.221 usuarios diferentes. Los 100 usuarios que más publicaron suman en total 6.264 noticias, el 36,47% del total. También se puede decir que los 239 usuarios más activos contribuyeron al 50% del total.

La siguiente gráfica muestra el el acumulado de publicadas ordenados descendentemente por el número de publicadas.

La línea roja es el acumulado del total de publicadas (expresado porcentualmente) y la línea azul es la regresión de potencia (o power regression o log-log) del porcentaje de publicadas de cada usuario. Como se puede observar el porcentaje de publicadas es inversamente proporcional al número de publicadas, algo relativamente normal debido que los que tienen más publicadas también tienen muchas noticias enviadas.

Es importante visualizar mejor esa diferencia entre número de publicadas y porcentaje de publicación, ya que es buena medida de la “endogamia”. La siguiente imagen es al misma pero está ordenada descendentemente por este ratio de publicadas/enviadas.

La línea roja vuelve a ser el acumulado de noticias publicadas, la azul indica el porcentaje de publicadas versus enviadas y la línea azul más gruesa es la regresión exponencial.

La diferencia fundamental es que los 100 usuarios con mejores ratio de publicadas contribuido con el 0.77% de las publicadas totales. Los 2.313 usuarios con mejores ratios, el 55%, han contribuido al 50% de las noticias publicadas.

La siguiente es una gráfica de enviadas, publicadas y porcentaje ordenado por el número de noticias publicadas.

La línea azul en el número de noticias publicadas, la roja es una regresión log-log del número de enviadas y la línea amarilla es la regresión del porcentaje de publicadas.

La siguiente imagen es similar pero esta vez ordenado por el número de envíos.

La línea roja son el número de envíos, la azul el número de publicadas y la amarilla la regresión del porcentaje de publicadas versus enviadas.

Conclusiones

• La media de publicaciones es de un 11,5% sin contar descartadas, 8,9% contando a todas.
• La contribución a las publicadas es proporcional –aunque sublineal– al número de envíos. Que sea proporcional indica que en general no hay “grupos de promoción” (aka “mafia”) generalizados. El hecho que además sea sublineal (a medida que aumente el número de publicadas y enviadas el ratio de publicación disminuye) lo reafirma. Nota: a esta afirmación hay que tomarla con pinzas, son datos genéricos y no detectan “grupos pequeños” (aunque tampoco es malo que existan “grupos con intereses comunes”) o tendencias generales o mayoritarias de la “temática de envíos”.
• El porcentaje de publicadas de usuarios es inversamente proporcional al número de envíos (hay anomalías muy raras, camachosoft que es el segundo en número de envíos, 1.745, pero con un porcentaje muy bajo, 5,27%… gracias por la paciencia).
• A pesar que Menéame tiene unos 20 veces menos usuarios registrados que Digg, los 100 usuarios más activos contribuyen a un porcentaje sensiblemente inferior, la “curva de distribución” de las publicadas es mucho más “plana”. Nota: tampoco debe entenderse como crítica a Digg, o de pretender ser mejor que ellos, quizás la curva tan empinada de Digg se deba simplemente a que tiene más “fans” y entusiastas obsesionados en compartir enlaces.
• Para los curiosos de el principio 20-80 de Pareto, en el Menéame estamos un poco por debajo. El 20% de usuarios que publicaron en un año contribuyeron con el 71,97% de las publicadas.

Los datos crudos

Se puede bajar la hoja de cálculo OpenOffice con todos los datos usados para estas gráficas. Los datos han sido obtenidos de la base de datos con el siguiente script:

import MySQLdb

total_published = 0
db = MySQLdb.connect(...);

cur = db.cursor();
cur.execute("select user_id, user_login_register, count(link_id) as l from links, users where  \
                  link_author = user_id and link_date > date_sub(now(), interval 1 year) and \
                  link_status = 'published' group by user_id order by l desc");

for data in cur.fetchall():
    cur_user = db.cursor()
    cur_user.execute("select count(*) from links where \
                                 link_date >  date_sub(now(), interval 1 year) \
                                 and link_author = %d" % (data[0]))
    (sent,) = cur_user.fetchone()
    cur_user.close()
    total_published += data[2]
    print “%s\t%d\t%d\t%d” % (data[1], data[2], sent, total_published)

Hoy implementé algo que me pedían desde hace tiempo, la personalización de las categorías por defecto que se visualizarán, tanto en publicadas como pendientes.

Hay una nueva pestaña en el perfil de usuario donde se pueden seleccionar las categorías:

En caso de no tener seleccionadas a todas, en las páginas de publicadas y pendientes parecerá una nueva pestaña “personal”, que será la pestaña por defecto. Se podrán visualizar todas las noticias en la pestaña de “todas” que aparecerá la lado:

También es posible suscribirse a la “personalización” desde el ícono de RSS que aparece a la derecha.

La opción de seleccionar la metacategoría por defecto –vía cookie– sigue disponible para los usuarios anónimos, no así para los auntentificados que deberán hacerlo desde el perfil (donde también es posible seleccionar o deseleccionar categorías que pertenecen a la misma metacategoría).

Hace unos momentos pusimos en marcha un segundo servidor para balancear la carga del servidor web. No era estrictamente necesario pero algún día teníamos que probarlo, el lunes son los días de mayor tráfico por lo que lo pusimos en marcha el domingo a la noche para que afectase a menos gente.

Durante unos minutos hubieron unos problemas de “no tiene permiso”. Esto se debía a problemas con el NFS y la resolución de nombre de las IP del segundo servidor. Es un glicth del /etc/exports del NFS [*], pero la culpa fue mía por no saberlo antes y hacer todas las pruebas posibles antes de cambios en el DNS

Ya está arreglado y ajustado, esperamos que no se vuelva a repetir.  Perdón a los que lo notaron.

[*] Si en el /etc/exports especificas direcciones IP (del tipo 192.168.0.*) pero la dirección del cliente tiene resolución inversa entonces no la usa, sólo busca por el nombre. He tenido que poner ambos casos (*private.meneame.net y *private) por las dudas, para que no vuelva a suceder si modificamos el DNS o el /etc/hosts.

Continúan los ataques DDoS de la misma gente, parece que mosqueados por los datos publicados, lo que me confirma aún más que la información está en la dirección correcta. Son 56 los ordenadores involucrados por ahora –servidores la mayoría, por lo que comprobé rápidamente– en el ataque.

9 Feb, 21:00 hs Actualización importante

Lo del chantaje explicado abajo es una pantalla de humo –tonta, de niño que ve mucha TV– para intentar ocultar que fue un ataque por el apunte de Genbeta. Parece que toda la intención era no dejar rastros de las críticas en Genbeta que luego salieron en Menéame –que me parece llegaron a ella por Google buscando quién hablaba del tema–.

El ataque se hizo desde servidores con Joomla y phpBB, explotaron un bug viejo y conocido que permite incluir ficheros PHP externos.

Sabemos con nombres y apellidos de al menos dos argentinos involucrados: Norman y Emilio. Ambos son conocidillos en el ambiente. El primero [1] tiene 18 años y de apellido muy conocido en Argentina, también presunto especialista en phishing de bancos y de Paypal. El último ahora tiene un sitio .org [1] bastante conocido en el ambiente, dan servicio de hosting y ahora justamente está “caído”, no responde ni el DNS.

También hay otra empresa argentina involucrada [1], pero curiosamente con el dominio registrado en España. ¿Raro no?

Luego tengo tenemos toda la impresión que han cometido un error grave, no darse cuenta que el https normalmente no pasa por el proxy configurado manualmente, y ya se sabe, se dejan muchos rastros, nadie es perfecto

[1] No pongo datos porque la certeza es 99%, pero no el 100%, pasaré los datos completos a delitos informáticos el lunes.

—

Actualización: algunas de las IPs que participaron en el ataque.

23:07: Otra vez hay problemas de red en nuestros servidores. Están en marcha pero hay muchas pérdidas de paquetes. Ya hemos abierto “incidencia de emergencia”.

Perdón por las molestias.

23:25: me informa el técnico (Vicente de Veloxia, se portó muy bien) que miró el caso que sospecha que sea un DDoS. No se sabe a quién, se obervó una súbida de tráfico saliente muy alto, entendí que era desde el mismo switch donde está el Menéame. Esta tarde, como a las 18 hs, tuvieron otro ataque DDoS gordo pero pudieron aguantar.

23:40: Sí, acabo de ver el mail que me enviarón con el aviso-amenaza desde una IP estática de Telefónica segundos (23:07 hs) antes del presunto ataque:

Date: Fri, 08 Feb 2008 14:07:00 Pacific Standard Time
From: estafa@quienteadmite.com
To: gallir@gmail.com
X-MSMessengerInvitationMailTemplateVersion: 2.9.12.5.0.02
X-Originating-IP: [81.41.104.134]

Coincide la IP con conexiones al Menéame justo antes y después del ataque.

El mensaje anterior fue enviado exactamente a las 23:07 (GMT+1):

Date: Fri, 08 Feb 2008 14:07:00 +0000 (Pacific)

Justo segundos después que comenzara el ataque:

Feb 8 23:05:21 web4 php5: Meneame: twitter updater called, id=305430
Feb 8 23:05:36 web4 php5: Meneame: jaiku updater called, id=305430
Feb 8 23:06:57 web4 kernel: svc: bad direction 944578702, dropping request

Bonitas coincidencias que alguno tendrá muy difícil de explicar

23:55: Vuelta a la normalidad.

2:25: Vuelven los ataques.

3:00: Ya descubrimos bien el tipo de ataque, flood UDP a puertos aleatorios. Hablé con Vicente, procederán a cerrar esos puertos.

También amenazas chantajes de hoygan-scammers –supongo– por si cae algo, desde la IP 189.164.117.54:

from Erika Guadalupe Parra Jaramillo <ninalindalinda@hotmail.com> to adm@ date Feb 9, 2008 2:27 AM subject Ataques DDOS (LEA URGENTE)

hide details 2:27 AM (38 minutes ago)

Reply

Estimados de meneame.net, quienes somos, y por que le escribimos?
Somos parte de la red de DENEGACION DE SERVICO, mas grande de AMERICA LATINA, lease bien, mas grande de america latina. Como sabran, hace poco genbeta.com sufrio un ataque muy grande, tan grande que ocaciono parte del datacenter, usted se preguntara, por que es tan grande el ataque? La respuesta es simple, contamos con datacenter propio en Paraguay, uno en foz iguazu, y un rack completo en china, desde donde podemos enviar ataques de conectividad MUY GRANDES, mas de 1.000.000 de Mbps, que tal? Como paras un ataque de esta indole? Es imposible, te voy a contar con los dedos de mi manos las web que no caerian con estos ataques. yahoo, hotmail, google, paypal, youtube, hi5, citybank, la web del fbi y nasa, y algunas otras 4 o 5 mas, y ahi se termina. Por ende, sepa que no podra salvarse de esta situacion. En estos momentos tambien estamos atacando a lohizo.com, blockoo.com, desadmite.com, por que las atacamos? Hace poco varios webmaster nos pidieron un trabajo, y se olvidaron de abonarnos algo de dinero, ahora sufriraran ellos la consecuencia, ya no nos importa si ganbeta.com deja o saca la nota. Ahora tenemos otros intereses, hemos visto que ustedes junto a meneame.net mueven mucho dinero, y eso nos tento bastante. Por lo que si en las proximas horas no nos envian 7.000 dolares por western union durante 7 dias consecutivos (el maximo a enviar por dia en western union es de 7.000 dolares) si no hacen eso, su empresa meneame.net junto a weblogssl.com dejeran de funcionar de por vida, ya que no podran frenar un ataque desde 2 datacenter mas un rack desde china, con mas de 1.000.000 de Mbps de ataque.
Los datos a enviar el dinero son:
Emiliano Fernandez,
Direccion: 29 de Setiembre
Ciudad del Este, AltoParana
Pais: Paraguay

Si en las proximos 3 dias no llega la suma de dinero que se pide, todas sus web seran destruidas, tenga en cuenta que esto les causara mas daños, por lo que si son personas inteligentes, enviarian el dinero, y prometemos no molestar mas. Hemos visto que se mueve dinero, y sabemos que con su buena economia no seran afectado por estos dolares, que para ustedes es poco dinero, por eso sabemos que enviaran el dinero, es asi, correcto? En 3 dias queremos el dinero, los ataques comenzaran desde ahora, y si en 3 dias esta el dinero, los ataques seran frenados, pero si no envian el dinero, los ataques aumetaran cada vez mas, y mas.
Una vez enviado el dinero, queremos MTCN, NOMBRE Y APELLIDO, CIUDAD Y PAIS DESDE DONDE SE ENVIA EL DINERO. En caso de que avisen a alguna autoridad y nos enteremos de esto, las consecuencias serian muy grandes, y caerian miles de web afiliadas a ustedes, tengan cuidado con lo que hacen.

Firma
EL QUE TE DEJARA SIN NADA SI NO ENVIAS EL DINERO
SALUDOS

3:35: Con la colaboración de Vicente (¡gracias tío!, también a jcarlosn por las pistas) pudimos frenar casi todo el tráfico que generaban de entrada, más o menos 1 Gbit/segundo. No explicaré cuál y dónde fue la solución para no dar pistas ;-). ¡Ah! le contesté al fantasma anterior que puede coger una hamaca para esperar más cómodo, es tan creíble su email

Nota: Por favor no hagáis nada contra esa IP de Telefónica, quizás sea inocente y no ayudará en nada a la denuncia (ya estamos más o menos coordinados con Julio Alonso y especialistas de la Guardia Civil, me queda el marrón de ir a poner un denuncia por escrito).

Si no desean que algún artículo de tu sitio o web sea envíado al Menéame ahora puedes indicarlo dentro del propio apunte. Basta con poner <!--noshare--> o <!-- noshare -->, es decir un comentario HTML (con dos guiones), con o sin espaciones antes y después de la palabra noshare.

Nota: el software del Menéame evitará que se pueda enviar ese apunte –y pide al usuario que respete los deseos del autor–, pero no puede evitar que se envíean otros URLs o artículos que hagan referencia a él.

Está así hace unos minutos, es problema de toda la red de Ferca, no tenemos más información. Perdón por las molestias.

2:08: Se restableció, ambos servidores reiniciados, tiene pinta de ser un corte de suministro eléctrico [sorpresa].

El servicio de estadísticas StatCounter dejó de funcionar correctamente, pero no quisieron reconocerlo. Dicen que menéame va lento:

To be honest, your whole page loads slowly for me.

Mientras, nosotros veíamos demasiados fallos en la carga de su contador, detalle que ilustra esta captura de pantalla:

Tenemos pagado el servicio hasta el 29 de febrero, pero ya no sirve: esta tarde hemos eliminado el script que conectaban nuestras páginas con su servicio, porque suponía añadir una lentitud –que no reconocieron– en la carga total de las páginas. http://meneame.net/statcounter ya no refleja las visitas, y por lo tanto ya no es público.

Ricardo preparó otra forma de saber las páginas vistas y de paso confirmar los problemas con StatCounter: la tabla pageloads de la base de datos.

Mostramos los datos de un día de ejemplo, jueves:

mysql> select * from pageloads where date = '2008-01-11';
+------------+-------------+---------+
| date       | type        | counter |
+------------+-------------+---------+
| 2008-01-11 | html        |  589391 |
| 2008-01-11 | ajax        |  202687 |
| 2008-01-11 | other       |    9751 |
| 2008-01-11 | rss         |   99994 |
| 2008-01-11 | image       |  343437 |
| 2008-01-11 | api         |   25481 |
| 2008-01-11 | sneaker     |  703878 |
| 2008-01-11 | redirection |  371671 |
| 2008-01-11 | geo         |    2293 |
+------------+-------------+---------+
9 rows in set (0.00 sec)

Según StatCounter, las páginas vistas el 11-01-2008 fueron sólo 316.674. La diferencia es demasiado grande.

La nueva tabla encaja mejor con Google Analytics, las páginas vistas fueron 419.008 (Google Analytics 11-01-2008 en PDF).

Es comprensible que hayan diferencia, pero no tanta. Nuestro contador suma más páginas vistas porque nadie nos filtra en sus navegadores, cosa que sí sucede con Google Analytics y StatCounter. Tampoco filtramos todos los bot todavía, sólo algunos. Estamos afinando nuestro contador, y los detalles se pueden seguir en el código fuente.

De momento, las del Webalizer son las estadísticas públicas, y en tiempo real, que podemos ofrecer. Están en http://meneame.net/webalizer. Hay que tener en cuenta que Webalizer es más optimista que StatCounter y Webalizer, pero explicar las diferencias –bien conocidas por los expertos en la cosa– haría demasiado largo y disperso este apunte; sólo recordar que existen, y que lo sabemos.

Actualización: de momento pueden verse los gráficos de la tabla “pageloads” (descripta más arriba).