Alarm Palsu Nyaris Tenggelamkan Pusat Data Jane Street

Jane Street, perusahaan perdagangan kuantitatif terkemuka, hampir mengalami bencana besar ketika alarm asap palsu memicu ancaman banjir pada satu-satunya pusat data mereka di New York City. Seorang mantan anggota tim sistem membagikan kisah bagaimana kecepatan bertindak dan keberuntungan menyelamatkan perusahaan dari kehancuran finansial.

Risiko Ruang Mesin Dekat Lantai Perdagangan

Sejak lama, Jane Street mempertahankan kebijakan untuk menempatkan ruang mesin komputer berdekatan dengan lantai perdagangan mereka demi alasan keamanan intelektual dan risiko teknologi. Perusahaan tidak ingin strategi perdagangan rahasia mereka dicuri oleh mata-mata, serta memastikan sistem perdagangan otomatis yang tidak terkendali dapat dihentikan secara fisik dengan menarik kabel daya. Budaya risiko ini sebagian besar terinspirasi dari seorang mitra perusahaan yang pernah bertugas di kapal selam nuklir.

Seiring pertumbuhan perusahaan, ruang mesin sederhana tersebut berkembang menjadi pusat data berukuran besar di gedung pencakar langit 1 New York Plaza. Pusat data ini dilengkapi dengan pasokan daya tak terputus (UPS), unit pendingin ruangan (CRAC), saklar jaringan berukuran besar, generator diesel bawah tanah, dan sepuluh baris kabinet peladen.

Ancaman Alarm Asap dan Sistem Pemadam

Suatu malam, ketika mantan staf sistem tersebut berada di apartemennya yang berjarak sembilan menit berjalan kaki dari kantor, ia menerima panggilan darurat dari kantor Hong Kong bahwa alarm asap di pusat data New York berbunyi. Pekerja konstruksi yang sedang memotong material di ruang persiapan sebelah pusat data telah menciptakan debu yang memicu alarm asap tersebut.

Gedung perkantoran dilengkapi dengan sistem sprinkler atau pemadam api otomatis yang akan membanjiri ruangan jika terdeteksi panas yang cukup untuk melelehkan steker sensitif panas pada kepala sprinkler. Masalah utamanya adalah alarm asap yang aktif juga terhubung secara otomatis untuk mematikan unit pendingin ruangan (CRAC) guna mencegah penyebaran api. Tanpa pendingin, suhu di ruangan peladen akan melonjak dengan cepat dan memicu sprinkler yang sudah bertekanan air, yang berpotensi menghancurkan seluruh perangkat keras di dalam ruangan.

Aksi Penyelamatan dan Evaluasi

Mendengar situasi tersebut, sang staf bergegas berlari dari apartemennya menuju gedung 1 New York Plaza, naik ke lantai 33, dan langsung masuk ke ruang mesin yang sudah terasa seperti sauna. Ia kemudian mencabut kabel daya dari setiap perangkat di setiap kabinet dengan menggunakan kedua tangannya sebelum suhu melampaui batas kritis 150 derajat Fahrenheit. Pemantau suhu berhenti di angka 143,6 derajat Fahrenheit, menyelamatkan perangkat dari kerusakan akibat air.

Karena pasar utama New York sudah tutup untuk hari itu, waktu henti akibat insiden ini sangat minimal dan operasional dapat kembali normal keesokan paginya. Rapat evaluasi perusahaan yang berjalan dengan tenang menyimpulkan bahwa sistem pemadam kebakaran akan tetap dipertahankan dengan prosedur serta pengawasan yang lebih ketat.

Sebagai tindak lanjut agar kejadian serupa tidak terulang hanya karena kebetulan, staf tersebut menulis program pemantauan baru menggunakan bahasa pemrograman OCaml. Program tersebut bertugas memantau suhu rata-rata dari setiap peladen Linux secara langsung setiap menit dan mengirimkan peringatan kepada tim sistem jika terjadi peningkatan suhu yang tidak normal.