Captain's log: Promoting process rigor, inside.
Era una importante institución financiera que no sobrevivió a la recesión económica del 2008-2009 con más 45,000 emploeados. Un domingo en la noche cuando el banco estaba cerrado, el personal de bajo nivel del NOC (centro de operaciones de red) notó actividad inusual en la red. Confundidos e inseguros acerca de lo que veían, y sin instrucciones para actuar de manera contraria, decidieron observar el evento en lugar de arriesgarse a molestar a los gerentes un fin de semana. La organización no había desarrollado criterios de severidad, requerimientos de notificación o procesos de escalación. El lunes temprano el tráfico siguió aumentando en la instalación principal y de repente comenzó a crecer significativamente en el sitio espejo, a cientos de millas de ahí. A pesar de haber sido asesorado en relación con el riesgo, el gerente de TI (al ser interrogado, y con cierto orgullo) afirmó qie a “red era totalmente plana” para tener un alto rendimiento y que confiaba en que su experimentado equipo podía manejar cualquier eventualidad.
A las 7:00 a.m. del lunes, el personal del NOC estaba lo suficientemente preocupado como para notificar a los gerentes de TI que había un problema y que los monitores mostraban que la red se estaba saturando. Una hora más tarde, cuando el equipo externo de respuesta a incidentes informática (CSIRT) llegó, la red no estaba operativa y el equipo determinó que la red había sido afectada por el gusano SLAMMER. El gerente de CSIRT informó al gerente de TI que el Slammer residía en memoria y que el reinicio de toda la red y el sitio espejo resolvería el problema. El gerente afirmó que no estab autorizado para apagar el sistema y que era necesario que el CIO emitiera la orden.
No se pudo ubicar al CIO, y los números actualizados de teléfono de emergencia y localizador estaban guardados en un nuevo sistema de localización de emergencia que requería “acceso a la red”. Posteriormente, cuando se le preguntó al gerente de TI sobre el plan de recuperación en caso de desastre (DRP) y lo que tenía que decir en relación con los criterios de declaración, surgieron hasta tres (03) planes diferentes elaborados por equipos diferentes de la organización, sin conocimiento del trabajo del resto. Ningún plan contenía criterios de declaración o roles, responsabilidades o autoridad específica.
La resolución final requirió que el CEO , quien se hallaba indisponible ide viaje, diera instrucciones la mañana siguiente (“martes”) para apagar la red con falla. Más de 30,000 personas no pudieron realizar su labor por 1 1/2 días. El estudio post mórtem estimó una pérdida de USD 50 millones de dólares, y un grupo de personas resistentes a colaborar en dicho estudio por temor a una casería de brujas (producida por una cultura organizacional orientada a la culpa)
Traducido de CISM Manual Review 2012.