Cubetas de diésel: 17 pisos a pulso para que una web no se apagara
En octubre de 2012, un grupo de empleados subió combustible a mano por 17 pisos de escaleras en Manhattan. No era un juego: de ese combustible dependía un generador que mantenía en pie a los servidores de cientos de sitios. 56
Antes de ese día
En Lower Manhattan, el edificio de 75 Broad Street era un viejo conocido de las telecomunicaciones. Su historia en la industria era larga, pero en 2012 tenía un problema que casi nadie veía: su sistema de energía de emergencia dependía de un solo recurso, el diésel, y el diésel vivía en el sótano. 9
El plan normal era simple. Las bombas tomaban el combustible de los tanques del sótano y lo llevaban a los pisos superiores, donde estaban los generadores que daban luz cuando la red eléctrica fallaba. 5
El problema es que en Nueva York la red eléctrica dependía de generadores durante la tormenta. Cuando la red falla, todo depende de que el generador siga encendido. Según la Con Edison, más de 650.000 clientes de Nueva York y Westchester se quedaron sin luz, y la compañía lo llamó su mayor apagón por tormenta de su historia. 4
Qué pasó
El huracán Sandy tocó tierra el 29 de octubre de 2012. Esa noche, la inundación dejó sin energía a los servidores de Datagram, el proveedor que alojaba a The Huffington Post, Gawker y BuzzFeed, y varios sitios cayeron después de las 19:00. 12
En 75 Broad Street, el agua llegó al sótano y dejó inutilizables las bombas de combustible. Datagram explicó después que el edificio tuvo que apagarse para evitar incendios y daños permanentes, porque los sistemas eléctricos quedaron bajo el agua. 35
Peer 1 operaba su centro de datos en el edificio, y el plan de respaldo no salió a la primera. El primer intento de bombear combustible al piso 18 falló: la bomba alternativa no tenía suficiente potencia. 9
Anthony Casalena, fundador de Squarespace y cliente de Peer 1, fue al lugar para asegurarse de que su equipo se apagara bien. Encontró la cadena de cubetas y terminó ayudando. 12
Las personas detrás
La brigada no fue cosa de un solo equipo. Peer 1, Squarespace y Fog Creek Software se unieron, y la cifra que dio InformationWeek fue de 25 personas trabajando en la escalera hasta la madrugada del 31 de octubre. 69
Casalena no era un técnico de guardia. Era el dueño de una empresa de creación de sitios web que, al llegar a apagar sus propios equipos, se encontró con la fila de cubetas y se sumó. 6812
Pero no todos tenían ese margen de maniobra. Alex Reppen, director ejecutivo de Datagram, contó que su empresa había pedido llevar los tanques de combustible al techo, y la solicitud fue rechazada. 11
El detalle humano más fuerte quizá fue el cansancio. Los equipos trabajaban por turnos, y cada grupo que subía el diésel tenía que bajar, descansar y volver a subir. 7
Cómo funcionaba
Imagina que tienes que regar un jardín de la azotea, pero la manguera se quedó sin agua. Lo que haces es llenar baldes en la calle y pasárselos a alguien que los vacía en el tanque del techo, una y otra vez. Eso fue la cadena de cubetas, solo que con 17 pisos de escalera y combustible inflamable. 57
Cada cubeta era de cinco galones, unos 19 litros de diésel. Como los ascensores estaban fuera de servicio, todo tenía que subir a pie. 56
El combustible se llevaba desde un tanque a nivel de calle hasta el piso 17, y allí se bombeaba a un tanque diario que alimentaba al generador. Por eso la cadena tenía que ser constante: si el tanque diario se vaciaba, el generador se apagaba. 6
Mientras tanto, las bombas del sótano seguían fuera de juego. Ni siquiera el combustible del camión podía subir por la vía normal. 79
Por qué importó
Sandy dejó claro que los puntos débiles no eran solo los servidores, sino las bombas de los tanques del sótano. Según Sentinel Data Centers, en 33 Whitehall y en 75 Broad esos fallos fueron claves durante la tormenta. 11
La historia también tuvo un giro normativo. Nueva York había limitado el almacenamiento de diésel en azoteas después del 11-S, por un análisis preliminar de FEMA que vinculaba fugas de tanques al colapso del 7 World Trade Center. Así que la solución de llevar el combustible al techo chocaba con la ley. 11
Squarespace lo dijo sin rodeos: la solución era «no sostenible» a largo plazo. Peer 1 e Internap trabajaban en soluciones permanentes. 9
Ese mismo fallo de bombeo tuvo efectos en cadena. Equinix, con centro de datos en el mismo edificio, informó de al menos tres caídas, y el fallo también provocó pérdida de refrigeración en parte del edificio. 10
Qué queda hoy
En 75 Broad Street, el propietario hizo cambios de fondo. En un artículo de Data Center Frontier de comienzos de 2023, se recordaba que JEMB había invertido más de 15 millones de dólares desde 2012 en actualizar la infraestructura del edificio. 14
Esas mejoras incluyen equipos eléctricos nuevos o reubicados, un sistema de combustible nuevo y compuertas contra inundaciones. Es decir, la lección de Sandy se tradujo en obras, no solo en anécdotas. 14
La brigada de cubetas sigue siendo el ejemplo que se cuenta una y otra vez en la industria: la prueba de que un buen plan de emergencia no siempre es el que está en el papel, y de que a veces lo que salva el día es cargar baldes por las escaleras. 614
Para que lo cuentes
- Peer 1 llegó a subir la temperatura del centro de datos para alargar la vida del combustible. Creía que sus equipos podían aguantar hasta unos 90 °F (unos 32 °C) sin fallar. 13
- Cuando el tanque del generador ya estaba lleno, la brigada pudo tomarse un descanso de 90 minutos. 9
- El edificio se construyó en 1928 como sede de ITT. Durante la Segunda Guerra Mundial sirvió como centro de comunicaciones con submarinos estadounidenses en el Atlántico. 14
- Mientras la brigada subía cubetas, BuzzFeed siguió parcialmente disponible gracias a la red de distribución de contenido de Akamai. 4
¿Sabías qué?
Durante el apagón de Sandy, ¿cuántos pisos de escaleras subieron los voluntarios el diésel a mano en 75 Broad Street?
En corto y en una imagen
Sigue con el Cuaderno 4: Redes
Ocho historias más como esta y cómo funciona cada invento, en 20 páginas ilustradas. Gratis al suscribirte a Primera Luz, el boletín de Byte.
Descargar gratis
