Workday kesintisi kendi yedekleme testiyle başladı, çalışanlar mesaiye giriş yapamadı

Birçok büyük işverenin bordro, mesai giriş-çıkış kayıtları ve izin işlemleri için kullandığı Workday, şirketin acil durum yedekleme sistemini test ederken yaşanan bir aksaklık nedeniyle müşterilerine hizmet veremez hâle geldi. Şirket, felaket kurtarma sistemlerini kontrol ederken yedekleme hizmetlerinin beklenmedik biçimde müşterilerin çalıştığı canlı veritabanlarına bağlandığını ve kayıtların tutarsız bir duruma geldiğini fark etti. Workday, onarım çalışmaları için etkilenen sistemleri çevrimdışı duruma aldı.

Çalışanlar kesinti sırasında karşılarında “Workday şu anda kullanılamıyor” yazan bir giriş ekranı buldu. Etkilenen şirketlerdeki personel işe giriş veya çıkış kaydı yapamadı, maaş bilgilerini kontrol edemedi, izin talebinde bulunamadı ya da yan haklara kayıt işlemlerini tamamlayamadı. Diğer şirket sistemlerine veri aktaran zamanlanmış işler de başarısız olabilirdi. Hizmeti bir felaket sırasında çalışır durumda tutması gereken güvenlik ağı, bu kez sistemi devre dışı bıraktı.

Kesintinin ölçeği, meselenin neden İK departmanlarının ötesine geçtiğini gösteriyor. Workday, yazılımını 11.500’den fazla kuruluşun kullandığını söylüyor. Şirketin kamuya açık müşteri listesinde Walmart, Target, Netflix, Chipotle, Southwest Airlines, US Department of Energy ve NASA’s Jet Propulsion Laboratory bulunuyor. Workday, kaç müşterisinin etkilendiğini açıklamadı; etkiden yalnızca “müşterilerimizin bazıları” diye söz etti. Bu nedenle, adı geçen işverenlerin tamamının hizmet dışı kaldığını öne süren viral paylaşımlar bilinen gerçeklerin ötesine geçiyor. UC Today’e göre kesinti takip sitelerine ABD ve Hindistan’dan sorun bildirimleri geldi.

Workday’in müşteri durum sayfasında yayımlanan ve Washington University’nin BT ekibinin aktardığı açıklaması alışılmadık ölçüde açık sözlüydü. Duyuruda, “Felaket Kurtarma kiracıları için haftalık Bakım Penceresi’ni doğrularken, DR Site içindeki kiracıya tahsisli hizmetlerin beklenmedik biçimde Production veritabanlarına bağlandığını tespit ettik” denildi. Açıklamada, verilerin “tutarsız bir durumda” kaldığı; bunun kullanıcılar hesaplarını açtığında hatalara yol açabileceği veya görevlerin başarısız olmasına neden olabileceği belirtildi. Şirket daha sonra WD1 adını verdiği müşteri grubundaki tüm üretim ortamlarını bakıma aldı ve her 30 dakikada bir güncelleme paylaşma sözü verdi.

Bu açıklama, en önemli soruyu yanıtsız bırakıyor. Felaket kurtarma kopyası, bir konumdaki sorunun diğerine sıçramasını önlemek için vardır; oysa bu kez test gerçek sisteme ulaştı. Workday, bu bağlantı yolunun nasıl oluştuğunu ya da herhangi bir kaydın yalnızca eşleşmesi bozulmakla kalmayıp kaybolup kaybolmadığını açıklamadı. Şirketin iletişim biçimi de eleştirilere yol açtı. Reddit’teki sysadmin ve Workday forumlarında yöneticiler, sorunun müşterilere gönderilen ilk uyarıdan saatler önce başladığını söyledi; Workday bu zaman çizelgesini doğrulamadı. Forumlarda paylaşılan bir müşteri e-postasında da hizmetin ne zaman geri yükleneceğine dair tahmin bulunmadığı kabul edildi ve kritik teslim tarihleri olan şirketlere iş sürekliliği planlarını devreye almaları söylendi.

Çalışanların yaşayacağı somut sorunlar, kesintinin zamanlamasına bağlı. Mesai başlangıcını sisteme kaydedemeyen saatlik ücretli çalışanların çalışma saatlerinin elle düzeltilmesi gerekecek; yan haklar için son başvuru tarihine yetişmeye çalışanlar ise kapıyı kapalı buldu. Bazı işverenler takvimi değiştirdi: Emerson College, kesinti nedeniyle açık kayıt dönemini uzattığını açıkladı. Olay, iş yeri yazılımları açısından kötü geçen bir haftanın sonuna da denk geldi; Microsoft 365’teki bir arıza, Outlook ve Exchange e-postalarını ikinci güne sarkan bir süre boyunca güvenilmez hâle getirmişti.

Şu ana kadarki zaman çizelgesi şöyle: Emerson College, Workday’in sistemi 13 Kasım Cuma günü Doğu Yakası saatiyle yaklaşık 17.15’te çevrimdışı duruma aldığını söyledi. LiveNOW from FOX’un haberine göre Downdetector, saat 17.00’yi kısa süre geçtikten sonra yaklaşık 3.000 sorun bildirimi kaydetti. Bir Workday sözcüsü, şirketin “sorunu araştırıp çözmek için acil olarak çalıştığını” söyledi ve etkilenen müşterilerden özür diledi. Cumartesi sabahı Workday, müşterilerine ortamlarının yeniden indekslenip kullanıma açılmasının büyük çoğunluğu için 14 Kasım Cumartesi günü Doğu Yakası saatiyle 11.00’e kadar tamamlanmasının beklendiğini, bazılarında ise işlemin daha uzun süreceğini bildirdi. Bu müşterilerle bir destek kaydı üzerinden iletişime geçilecekti. Emerson’ın uzattığı kayıt dönemi artık 16 Kasım Pazartesi günü Doğu Yakası saatiyle öğlene kadar sürecek.

Hizmetin yeniden açılması, işverenlerin tedarikçilerine yönelttiği daha zor soruyu yanıtlamayacak. İşverenler, Workday’in bir felaketten sağ çıkabileceğini kanıtlaması gereken testin, korunması amaçlanan verilere nasıl erişebildiğini öğrenmek isteyecek.

Etiketler: bordro, BT kesintileri, bulut hizmetleri, felaket kurtarma, İK yazılımı, Workday