Archivos de la categoría ‘problemas’

Sin conectividad en Amazon Irlanda

agosto 8, 2011

Desde las 17:30 GMT el web no funciona. El motivo és un problema de conectividad en Amazon Irlanda debido a un problema eléctrico. Os pedimos disculpas y esperamos que lo solucionen pronto. En esta web (pestaña Europe) podéis seguir el estado del centro de datos que nos afecta. Hemos abierto la incidencia y tenemos poca información. Intentaremos publicarla a medida que tengamos más detalles. De momento parece que la cosa es grave:

We understand at this point that a lighting strike hit a transformer from a utility provider to one of our Availability Zones in Dublin, sparking an explosion and fire. Normally, upon dropping the utility power provided by the transformer, electrical load would be seamlessly picked up by backup generators. The transient electric deviation caused by the explosion was large enough that it propagated to a portion of the phase control system that synchronizes the backup generator plant, disabling some of them. Power sources must be phase-synchronized before they can be brought online to load. Bringing these generators online required manual synchronization.

Acutalización a la 1:00 GMT:

Amazon recomienda cambiar de zona (fuera de Irlanda) para estar antes en línea. Pero ¿cómo vamos a hacerlo sin los EBS (Elastic Block Storage)inacesibles desde cualquier tipo de comunicación? Tenemos copias en otros lugares, pero de un par de horas antes. Se perderían los últimos movimientos en menéame. Preferimos esperar. Amazon dice:

We are continuing to recover the remaining affected instances. It may be several hours until all remaining instances and volumes can be recovered but we don’t have a firm timeline and it may be longer to bring everything online. We recommend re-launching your instance in a different availability zone in order to get back up and running more quickly.

Acutalización a las 10:00 GMT, 09-08-2011:

A las 05:26 GMT (36 horas después del desastre) finalmente hemos recibido un mensaje de Amazon avisándonos que tres de cuatro instancias ya funcionan. Pero faltaba una. Contiene un volumen (/dev/sdb1) que no responde y no podemos arrancar la cuarta instancia –que además es la principal. Seguimos en contacto con el servicio técnico para que lo recuperen.

Si no lo solucionan obviaremos esos datos (no son importantes) y crearemos una nueva instancia con el resto de volúmenes que ya están recuperados. Esperamos volver hoy. Habrán pasado 48h, disculpad.

Muchas gracias por vuestra paciencia.

Acutalización el 10-08-2011:

Relato en el blog de Ricardo Galli.

Caso cerrado. Disculpad y muchas gracias de nuevo por vuestra paciencia.

Sobre los problemas de esta madrugada y el cambio a www.meneame.net

enero 21, 2010

Disculpas por el tiempo que estuvo inaccesible el web con el dominio meneame.net (no así m.meneame.net y www.meneame.net).

Nuestros servidores web están detrás de un balanceador de carga de Amazon EC2 (web-balancer-177968158.eu-west-1.elb.amazonaws.com). Está documentado que el balanceador puede tener varias direcciones IP dependiendo del tráfico, por lo que en el DNS hay que usar un CNAME (es como un “enlace simbólico”) apuntando al nombre y no a la IP.

El gran problema es que un dominio raíz, como meneame.net, no puede tener un CNAME, los servidores sólo admiten direcciones IP. Usamos en CNAME en los subdominios, como el de imágenes, servidores estáticos y otros (como m.meneame.net y aws.mnmstatic.net) pero queríamos mantener meneame.net sin las www.

En los foros y comentarios de técnicos de Amazon decían que la primera IP de los balanceadores se mantiene estática por mucho tiempo y que no suelen cambiar. Hasta hoy, que a pesar que las monitorizábamos continuamente por alguna razón, a las 3 de la madrugada, a nuestro balanceador le agregaron varias IP y quitaron la primera como “principal” (a algunos les seguía saliendo la misma).

Esa fue la razón que muchos no podían acceder, o que veían la página de otros servidores (posiblemete instancias ajenas o del propio Amazon). Amazon prometió solucionar este problema desde hace tiempo, pero hoy nos ha tocado sufrir sus cambios. Así que hasta que no haya solución nos vemos obligado a redireccionar todo el tráfico a www.meneame.net.

Disculpad las molestias, ha sido básicamente un error de exceso de confianza mío (gallir) por una feature no documentada, de hecho no recomendada. Afortunadamente Benjamí estaba conectado y me llamó inmediatamente.

Nota: No hace falta cambiar ningún enlace hacia menéame, ya se redirecciona automáticamente hacia www.meneame.net

PS: Aprendimos duramente una restricción bastante importante de usar los balanceador de carga de Amazon, y que a pesar que hay hacks (los explican en el foro enlazado en el párrafo anterior), no hay una solución fiable para todo el mundo.

Migración de los servidores a Amazon EC2

diciembre 27, 2009

Hoy 27 de diciembre ya hemos comenzado a migrar la base de datos hacia los servidores de Amazon EC2 en Dublín. A partir de las 23 hs peninsular (22 hs UTC) interrumpiremos el servicio media hora para terminar de migrar los últimos cambios y modificar y empezar a propagar los datos del DNS a la nuevas IP.

Para los lectores españoles el “ping” será un poco peor y a nosotros nos costará un poco más caro, pero necesitábamos una arquitectura más sofisiticada y flexible para tener mayor fiabilidad (la de nuestro hosting empeoró sustancialmente los últimos meses), mejor escalabilidad [*] y sistemas de backups.

Aunque llevamos varios días de prueba y modificando el código para adaptarlo a la arquitectura de Amazon EC2 seguramente aparecerán algunos problemas. Disculpad por las molestias, lo hacemos para poder seguir creciendo y ofrecer buena velocidad.

[*] Ya tenemos configurado para auto escalarse con la carga (crea –y quita– automáticamente los servidores web que hagan falta) y con un balanceador de carga que se asegura que se envían las conexiones a las instancias que funcionan correctamente.

Los problemas de conectividad de las últimas horas

febrero 13, 2009


Me acaba de llamar un técnico de redes de Veloxia/Ferca para contarme el problema que están teniendo. Lo resumo de memoria.

Ayer después de la migración les empezó a dar problemas un “latiguillo” interno (de unos 20 m) de fibra óptica que da un enlace (interno) de 10 gpbs. Pensaron que era un problema de conectores, los han limpiado y vuelto a poner y parecía que funcionaba. Al poco tiempo volvió a fallar, por lo que cambiaron los conectores por unos nuevos. A las pocas horas volvió a fallar, cambiaron los tres tramos de la fibra óptica.

Esta mañana volvió a dar problemas nuevamente por lo que han cambiado por fibra nueva y los router/switches Cisco de ambos extremos (creo que me dijo eran  6500). Ahora “parece” estabilizado nuevamente, pero no saben todavía cuál fue o es el problema, ni siquiera si es de harware o software, por eso han cambiado todo. Están instalando una fibra paralela con sus respectivos switches para evitar que se vuelvan a producir esos problemas ante un eventual nuevo fallo de una de las fibras.

Estamos preparados para migrar a Amazon S3 si el problema persiste, pero una migración de ese tipo llevaría varias horas de estabilización (con sus posibles problemas generados por necesitar al menos 3 instancias grandes o medias). Confiamos en que solucianarán estos incovenientes preferimos esperar por ahora.

Perdón por las molestias.

Servidores inaccesibles

enero 19, 2009


14:10: Ambos servidores de meneame.net están inaccesibles. Parece problemas de red y/o enrutado. Ya hemos abierto la avería y estamos intentando contactar para tener más información. En cuanto sepamos informaremos.

Perdón por las molestias.

14:17: Están acesibles nuevamente, son problemas de red porque los servidores han estado en marcha. No sabemos que ha pasado.

14:19: Vemos que desde algunas redes (por ejemplo Vodafone) todavía no se puede acceder. Desde otras hay pérdidas importantes de paquetes. Por eso suponemos que han hecho cambios en routers o rutas.

14:25: La red parece estabilizada.

14:30: Festejo prematuro, vuelven a estar inaccesibles.

14:34: Vuelve la red, pero con pérdidas de paquetes.

14:36: Está estabilizada, no hay pérdidas de paquetes.

Miniaturas de imágenes, Shareaholic, Friendfeed y problemas con la base de datos

diciembre 23, 2008

Desde hace poco más de 24 horas está funcionando el sistema de imágenes miniaturas de cada enlace. La selección es completamente automática sin la mínima intervención de los usuarios (no queríamos dar todavía más trabajo). Por ahora éstas sólo se generan cuando una noticia entra en el “promote” (i.e. tiene karma más o menos alto y supera el mínimo para que sea analizado por el programa de promoción). Si véis noticias con poco karma pero con una miniatura es que estamos haciendo pruebas y ajustes al algoritmo de selección [*].

En pocos días agregaremos, poco a poco, miniaturas de lso vídeos de Youtube, Vimeo y los demás sistemas que tengan un API para obtenerlas.

[*] Diez o veinte años atrás hubiésemos dicho que se trata de un programa de inteligencia artificial, hoy sólo podemos decir que es un abuso desmedido de las expresiones regulares :-)

Shareaholic

Hace un momento nos escribió Jay Meattle, co-fundador de Shareaholic, para avisarnos que ha pedido de varios de sus usuarios han incluido al Menéame. Muchas gracias.

I had several users of Shareaholic request that Menéame be integrated into the add-on, and they got their wish today!

Shareaholic makes it easy for you to submit the web page you’re on to your favorite sharing or bookmarking service.  You also have the option to e-mail the web page directly to a friend.

Menéame en Shareaholic

Menéame en Shareaholic

Friendfeed

Es antigua pero no lo habíamos comentado. Friendfeed también nos incluyó desde el principio en su versión en castellano (las noticias votadas por un autor). Con la información que envía el Menéame en sus RSS, en Friendfeed también se visualiza la miniatura y la geolocalización de la noticia (si las tienen).

Menéame en Friendfeed

Menéame en Friendfeed

La base de datos

Ayer hemos tenido problemas con una veintena de noticias. De forma aleatoria y sin causa aparente fueron completamente eliminadas. Al final pudimos recuperar a todas desde un backup periódico de pocas horas atrás pero nos quedamos sin saber que había pasado. Lo único que habíamos hecho es agregar cuatro campos a la tabla de enlaes para guardar la información de las miniaturas, pero no tocamos nada del software que pudise afectar.

Hace unas horas hubo problemas con el URL de algunas noticias, no se guardaban al momento del envío. Hicimos un “repair” de la tabla de enlaces y todo parece correcto ahora mismo

mysql> repair table links;
+---------------+--------+----------+----------+
| Table         | Op     | Msg_type | Msg_text |
+---------------+--------+----------+----------+
| meneame.links | repair | status   | OK       |
+---------------+--------+----------+----------+
1 row in set (26.41 sec)

mysql> optimize table links;
+---------------+----------+----------+----------+
| Table         | Op       | Msg_type | Msg_text |
+---------------+----------+----------+----------+
| meneame.links | optimize | status   | OK       |
+---------------+----------+----------+----------+
1 row in set (2.52 sec)

Nuestro principal y único sospechoso por ahora es un bug de la configuración del Mysql y AppArmor en la Ubuntu 8.04 (que es la que usamos en el servido de base de datos) ya que nosotros tenemos modificado al menos un par de parámetros que están afectados (table_cache=1000 y max_connections=1000) . Disculpas por las molestias ocasionadas.

Cambio de la hora del servidor a UTC

octubre 26, 2008

Por una cuestión de mirarse siempre el ombligo, hemos usado desde siempre la zona horaria de Europa Occidental (la que toca a Balears y toda la península). Está mal desde el principio, hay mucha gente que visita Menéame que no es de la misma zona horaria.

Pero era aún peor, en cada cambio de hora de verano-invierno se generaban multitud de problemas –en la fisgona, orden de los votos y noticia, etc.– una hora antes y una hora después de cada cambio.

Aunque lo sufrimos varias veces en los casi tres años, no podíamos encontrar una solución “buena”. Hoy me quedé aposta y preparado para lograr entender el problema. Así me dí cuenta que son los conversores del tipo TIMESTAMP los que fallan. Me bastó con una verficación:

select count(*) from votes where vote_date > now();

Así me salieron multitud de votos que estaban en el “futuro”, lo mismo pasaba con enlaces o comentarios, a pesar que lo único que se hace al crear la fila es insertar con el “now()”.

Visto que era un problema que no podíamos resolver de forma lógica en el programa del Menéame a menos que dejemos de usar el tipo TIMESTAMP, hemos optado por poner el servidor en la hora UTC –se solucionaron los problemas restantes inmediatamente– para que no vuelva a ocurrir. Ya modifiqué las tres funciones que muestran fechas para que indiquen la zona horaria del servidor –algo que también debería haber estado desde el principio.

Disculpas por las molestias, sobre todo a los que han sufrido las distorsiones temporales de la fisgona más de una vez.

Nota: las horas en la fisgona siempre se han mostrado en la zona local del ordenador cliente. Eso no ha cambiado.

Migración de servidores el domingo 28 de setiembre

septiembre 27, 2008

En las últimas semanas hemos tenido un incremento importante de tráfico, con picos que casi ponían al límite al servidor de base de datos actual. Ya tenemos en marcha otros servidores más potentes (el central de la base de datos es un Dual Quad de 8GB de RAM).

Este domingo entre las 10 y 13 hs GMT+2 –sólo depende de que tengamos el nivel de cafeína adecuado– haremos la migración hacia los nuevos servidores. En total no tardará más de 10 minutos, quizás los DNS tarden un poco más, pero en ningún caso debería tomar más de 20 minutos.

Minutos antes de comenzar la migración avisaremos en el Nótame.

Perdón por las molestias.

Un usuario molesto, con razón

agosto 18, 2008

Recibimos bastantes quejas en el Menéame por envíos de sitios que han plagiado y/o copiado al sitio original y no lo citan ni cumplen con las habituales CC con exigencia de citar al original. En estos casos solemos cambiar el enlace si no hay dudas sobre el plagio, incluso tuvimos que penalizar o prohibir el envío de sitios donde se detectaron plagios. Nos suele ocasionar bastantes discusiones, pero al menos podemos remediar aunque sea parcialmente el malestar ocasionado al blogger o autor original.

Hoy nos ha tocado un caso bastante extraño y que no podíamos hacer nada por remediarlo. Un usuario del menéame hace un comentario y otro “medio digital” lo copia textualmente sin citar al autor original. Por supuesto no  cumple con la licencia para el contenido que usamos en el Menéame.

Amigos ‘admin’ de Menéame

[...] la web de www.periodistadigital.com, se han montado una noticia a base de copiar textualmente el comentario íntegro de una traducción del danés que puse, junto con el enlace al diario danés «Ekstra Bladet» (www.eb.dk), en Menéame.net ( http://meneame.net/story/polemica-entre-espana-dinamarca-calienta-titular-periodico-danes-espan/1#comment-1 )

Periodista Digital, [...] escriben (pegan) en http://blogs.periodistadigital.com/deportes.php/2008/08/18/honor-regata-nacion-dinamarca-4747?blog=120&c=1&page=1&more=1&title=honor-regata-nacion-dinamarca-4747&tb=1&pb=1&disp=single todo lo que yo he traducido del diario danés sin dar el más mínimo crédito a la fuente de la información en castellano que es mi comentario en Menéame.net.

No contentos con copiar este comentario, confunden la sección «Nationen» (La Nación) del diario danés Ekstra Bladet con el nombre del periódico en sí y, ponen en boca de «Un alto delegado del comité danés» inexistente, lo que en realidad es un comentario de un lector del diario danés.

[...]

Os adjunto los ‘screendump’ de la página de Periodista Digital, por si deciden cambiarla para evitar las pruebas del plagio.

Y aquí debajo también os adjunto el texto de ambos enlaces.

Un saludo

Malahostia
Usuario de Menéame.

Hemos verificado la queja del usuario y tiene razón, el artículo referido era en gran parte un copy&paste de la traducción de su comentario, es entendible su enfado. Lo único que podemos hacer al usuario “malahostia” es disculparnos, y hacer público su caso.

Pues eso, disculpas. De paso nuestro más firme desacuerdo con el autor de la “noticia”: estamos a favor, queremos potenciar el reuso de contenido –de hecho nos enorgullece–, pero así también hay que respetar  la licencia libre de los contenidos del Menéame, es fácil y está enlazada en el pie de cada página.

Somos muy estrictos contra el racismo o la xenofobia

mayo 13, 2008

Hoy, por segunda vez en la historia del Menéame, tuvimos que tomar medidas drásticas contra comentarios xenófobos o racistas. Esta medida no consistió solamente en deshabilitar la cuenta del autor del comentario sino en todos los que “jalearon” a dicho comentario dándole un voto positivo.

Tomamos estas medidas como un llamado de atención a este tipo de comentarios y actitudes irracionales, demagógicas, delictivas y de incitación al odio que no estamos dispuestos a que se conviertan en costumbre en el Menéame.

Aunque las normas no lo dicen expresamente, votar positivo a un comentario significa estar de acuerdo con esas ideas. No lo hacemos habitualmente, pero a veces se llegan a tales extremos que obligan a este llamado de atención.

La medida puede parecer injusta, desmedida, o que a veces se vota sin haber leído completamente el comentario. Por eso somos flexibles y si este es el caso, rastauramos la cuenta afectada.

Espero que entendáis que no nos gusta tomar este tipo de medidas, de hecho nos da más trabajo tener que responder a todas las quejas que nos llegan. Pero consideramos que ese trabajo vale la pena para al menos hacer notar que incluso involuntariamente se están jaleando y aplaudiendo manifestaciones de odio que no podemos permitir.

Disculpad las molestias.

PD: Por los comentarios parece que muchos no comprenden la diferencia entre racismo y otro tipo de opiniones, insultos o generalizaciones. Es un problema más grave del que pensábamos. Repetimos: para nosotros no es lo mismo. Todo lo demás es dicutible, pero no se admiten las expresiones de racismo o xenofobia. Aunque no guste a algunos, así seguirá.


Seguir

Get every new post delivered to your Inbox.

Únete a otros 26 seguidores