Desde las 17:30 GMT el web no funciona. El motivo és un problema de conectividad en Amazon Irlanda debido a un problema eléctrico. Os pedimos disculpas y esperamos que lo solucionen pronto. En esta web (pestaña Europe) podéis seguir el estado del centro de datos que nos afecta. Hemos abierto la incidencia y tenemos poca información. Intentaremos publicarla a medida que tengamos más detalles. De momento parece que la cosa es grave:

We understand at this point that a lighting strike hit a transformer from a utility provider to one of our Availability Zones in Dublin, sparking an explosion and fire. Normally, upon dropping the utility power provided by the transformer, electrical load would be seamlessly picked up by backup generators. The transient electric deviation caused by the explosion was large enough that it propagated to a portion of the phase control system that synchronizes the backup generator plant, disabling some of them. Power sources must be phase-synchronized before they can be brought online to load. Bringing these generators online required manual synchronization.

Acutalización a la 1:00 GMT:

Amazon recomienda cambiar de zona (fuera de Irlanda) para estar antes en línea. Pero ¿cómo vamos a hacerlo sin los EBS (Elastic Block Storage)inacesibles desde cualquier tipo de comunicación? Tenemos copias en otros lugares, pero de un par de horas antes. Se perderían los últimos movimientos en menéame. Preferimos esperar. Amazon dice:

We are continuing to recover the remaining affected instances. It may be several hours until all remaining instances and volumes can be recovered but we don’t have a firm timeline and it may be longer to bring everything online. We recommend re-launching your instance in a different availability zone in order to get back up and running more quickly.

Acutalización a las 10:00 GMT, 09-08-2011:

A las 05:26 GMT (36 horas después del desastre) finalmente hemos recibido un mensaje de Amazon avisándonos que tres de cuatro instancias ya funcionan. Pero faltaba una. Contiene un volumen (/dev/sdb1) que no responde y no podemos arrancar la cuarta instancia –que además es la principal. Seguimos en contacto con el servicio técnico para que lo recuperen.

Si no lo solucionan obviaremos esos datos (no son importantes) y crearemos una nueva instancia con el resto de volúmenes que ya están recuperados. Esperamos volver hoy. Habrán pasado 48h, disculpad.

Muchas gracias por vuestra paciencia.

Acutalización el 10-08-2011:

Relato en el blog de Ricardo Galli.

Caso cerrado. Disculpad y muchas gracias de nuevo por vuestra paciencia.