Sebuah sistem AI dapat tetap beroperasi secara teknis, tetapi menghasilkan keputusan yang salah. Chatbot memberikan informasi keliru kepada pelanggan. Sistem rekomendasi menolak kandidat yang sebenarnya layak. Pegawai memasukkan dokumen internal ke layanan AI publik. Agen AI mengirimkan pesan atau menjalankan tindakan tanpa pemeriksaan yang memadai. Ketika hal itu terjadi, organisasi biasanya segera mencari siapa yang bersalah. Tim bisnis menganggapnya sebagai masalah teknologi. Tim teknologi menunjuk vendor. Vendor menjelaskan bahwa sistem digunakan di luar skenario yang disepakati. Tim hukum dan komunikasi baru dilibatkan setelah masalah menyebar ke publik. Kegagalan AI kemudian berkembang menjadi krisis karena organisasi tidak memiliki pemilik respons yang jelas. Celah ini mulai terlihat ketika adopsi AI bergerak lebih cepat daripada tata kelolanya. Banyak perusahaan telah memiliki prosedur untuk menangani gangguan teknologi informasi, kebocoran data, atau serangan siber. Namun, belum tentu mereka memiliki protokol untuk menghadapi sistem yang tidak diretas dan tidak berhenti bekerja, tetapi tetap menghasilkan dampak yang merugikan. Kegagalan AI tidak selalu terlihat seperti kegagalan sistem Organisation for Economic Co-operation and Development (OECD) mendefinisikan AI incident sebagai peristiwa ketika pengembangan, penggunaan, atau malfungsi sistem AI secara langsung maupun tidak langsung menimbulkan kerugian. Dampaknya dapat mengenai manusia, hak, properti, komunitas, lingkungan, atau operasi infrastruktur kritis. OECD membedakannya dari AI hazard, yaitu keadaan yang belum menimbulkan kerugian, tetapi secara masuk akal berpotensi berkembang menjadi insiden. Perbedaan tersebut penting karena organisasi tidak seharusnya menunggu munculnya korban, gugatan, atau krisis reputasi sebelum bertindak. Penurunan akurasi, keluaran yang berulang kali harus dikoreksi, pola diskriminatif, serta keputusan yang sulit dijelaskan dapat menjadi sinyal awal. Insiden AI juga berbeda dari gangguan teknologi konvensional. Dalam gangguan sistem biasa, pertanyaannya relatif jelas: apakah layanan tersedia, data bocor, atau akses tidak sah terjadi? Pada AI, sistem dapat bekerja sesuai desain tetapi gagal dalam konteks penggunaannya. Model yang akurat secara rata-rata masih dapat merugikan kelompok tertentu. Keluaran yang tampak meyakinkan dapat salah secara faktual. Perubahan data di lapangan juga dapat menurunkan performa model tanpa menghasilkan tanda kerusakan yang mudah terlihat. Karena itu, respons terhadap kegagalan AI tidak dapat hanya diserahkan kepada help desk, tim teknologi, atau keamanan siber. Akuntabilitas mengikuti dampak Tidak ada satu fungsi yang dapat menangani seluruh jenis insiden AI. Kebocoran data membutuhkan keterlibatan fungsi keamanan informasi dan pelindungan data. Rekomendasi keliru dalam proses rekrutmen membutuhkan respons dari sumber daya manusia dan pemilik proses bisnis. Informasi palsu yang telanjur disampaikan kepada publik akan melibatkan fungsi komunikasi, hukum, layanan pelanggan, serta unit yang menguasai substansinya. Meskipun responsnya lintas fungsi, prinsip dasarnya perlu dibuat tegas: pemilik proses bisnis yang menggunakan AI tetap memegang akuntabilitas atas dampak yang dihasilkan. Tim teknologi dapat memperbaiki integrasi. Data scientist dapat memeriksa model dan data. Vendor dapat menjelaskan keterbatasan sistem. Namun, keputusan untuk menggunakan AI dalam proses kredit, rekrutmen, pengadaan, layanan pelanggan, atau operasi tidak pernah menjadi keputusan teknis semata. Unit yang memperoleh manfaat dari otomatisasi juga perlu terlibat ketika otomatisasi tersebut bermasalah. Vendor pun tidak dapat dijadikan tempat memindahkan seluruh tanggung jawab. Organisasi mungkin tidak membangun model sendiri, tetapi tetap menentukan alasan pemakaian, data yang dimasukkan, pengguna yang diberi akses, serta keputusan yang boleh dipengaruhi sistem. Ketergantungan kepada pihak ketiga justru membuat beberapa hal semakin penting: dukungan saat insiden, akses terhadap catatan aktivitas, pemberitahuan perubahan model, pembagian tanggung jawab, dan prosedur penghentian layanan. Siapa melakukan apa ketika insiden terjadi? Respons yang matang membutuhkan satu pemilik insiden dengan kewenangan mengambil keputusan. Pemilik tersebut kemudian didukung oleh fungsi lain sesuai jenis dan besarnya dampak. • Pengguna atau petugas lini depan melaporkan keluaran yang janggal. Jika memiliki kewenangan, mereka perlu dapat menghentikan sementara penggunaan sistem atau mengalihkan proses kepada manusia. • Pemilik proses bisnis menilai dampak terhadap operasi dan pihak yang dilayani. Fungsi ini menentukan apakah sistem perlu dihentikan, dibatasi, atau tetap digunakan dengan pengawasan tambahan. • Tim teknologi, data, atau model mempertahankan bukti teknis, memeriksa perubahan konfigurasi, menelusuri penyebab, serta menjalankan pembatasan, rollback, atau perbaikan. • Tim risiko, kepatuhan, hukum, dan pelindungan data menilai kewajiban organisasi, hak pihak yang terdampak, potensi pelanggaran, dan kebutuhan pelaporan kepada regulator. • Tim komunikasi dan layanan pelanggan memastikan informasi disampaikan secara konsisten. Mereka juga perlu menyediakan jalur pengaduan, koreksi, dan pemulihan bagi pihak yang dirugikan. • Manajemen senior atau tim krisis mengambil alih koordinasi ketika dampaknya melewati ambang material yang telah ditentukan. Tidak semua fungsi harus berkumpul setiap kali AI memberikan jawaban yang kurang tepat. Organisasi membutuhkan klasifikasi tingkat keparahan. Kesalahan kecil yang terdeteksi sebelum keluar dari lingkungan internal tentu berbeda dari keputusan otomatis yang merugikan ribuan pelanggan. Tingkat keparahan juga tidak cukup diukur dari lamanya sistem berhenti. Organisasi perlu melihat siapa yang terdampak, apakah keputusannya dapat dibatalkan, seberapa cepat kerugiannya meluas, dan apakah terdapat konsekuensi hukum atau keselamatan. Respons dimulai sebelum insiden terjadi Protokol respons tidak dapat disusun ketika masalah sudah viral. Organisasi perlu lebih dahulu mengetahui AI digunakan di mana, siapa pemiliknya, vendor apa yang terlibat, data apa yang diproses, serta keputusan apa yang dipengaruhi. Tanpa inventaris tersebut, tim krisis bahkan tidak mengetahui sistem mana yang harus diperiksa. Setiap sistem AI yang berdampak penting setidaknya perlu memiliki: • pemilik proses dan kontak yang dapat dihubungi; • jalur pelaporan bagi pengguna dan pihak yang terdampak; • batas eskalasi berdasarkan tingkat keparahan; • kewenangan untuk menghentikan atau membatasi sistem; • prosedur pengalihan proses kepada manusia; • mekanisme untuk menyimpan bukti; • ketentuan pemulihan dan pengaktifan kembali sistem. Kemampuan mempertahankan bukti menjadi sangat penting. Input, keluaran, waktu kejadian, versi model, sumber data, perubahan konfigurasi, dan tindakan pengguna dapat menentukan apakah organisasi mampu menjelaskan insiden atau hanya menyusun dugaan setelah kejadian. Setelah dampak dibatasi, perhatian tidak boleh berhenti pada perbaikan teknis. Pihak yang dirugikan mungkin membutuhkan koreksi keputusan, penjelasan, kompensasi, atau akses terhadap proses banding. Sistem baru dapat diaktifkan kembali setelah kondisi pemulihannya terpenuhi. Dalam beberapa kasus, solusinya bukan memperbaiki model, tetapi mempersempit penggunaannya atau mengembalikan bagian tertentu dari proses kepada manusia. NIST AI Risk Management Framework Playbook menempatkan respons insiden, mekanisme banding dan override, pemantauan pascapenerapan, serta kejelasan peran sebagai bagian dari tata kelola AI. ISO/IEC 42001 juga mendorong organisasi membangun sistem manajemen yang mencakup kebijakan, pengelolaan risiko, pemantauan, evaluasi kinerja, dan perbaikan berkelanjutan. Kesiapan menghadapi kegagalan dengan demikian perlu dibangun sejak sistem dirancang dan digunakan. Dalam konteks Indonesia, Surat Edaran Menteri Komunikasi dan Informatika Nomor 9 Tahun 2023 tentang Etika Kecerdasan Artifisial telah menempatkan kredibilitas, akuntabilitas, keamanan, dan pelindungan data pribadi sebagai prinsip penting. Surat edaran tersebut juga memberikan perhatian terhadap manajemen risiko dan manajemen krisis. Tantangan berikutnya adalah menerjemahkan prinsip-prinsip tersebut menjadi kewenangan, alur kerja, dan kompetensi yang dapat digunakan ketika insiden benar-benar terjadi. Uji kesiapan sebelum krisis Kesiapan organisasi dapat diuji melalui simulasi sederhana. Bayangkan sebuah sistem AI menghasilkan keputusan yang merugikan pelanggan dan masalah tersebut baru diketahui setelah tiga hari. Lihat apakah laporan pertama dapat segera sampai kepada pemilik yang tepat. Periksa apakah ada orang yang berwenang menghentikan sistem. Uji apakah seluruh keputusan yang terdampak dapat diidentifikasi dan dikoreksi. Organisasi juga perlu mengetahui siapa yang akan berkomunikasi dengan pelanggan, manajemen, regulator, dan publik. Pada saat yang sama, tim teknis harus mampu menyediakan bukti yang menjelaskan apa yang terjadi. Jika seluruh respons masih bergantung pada siapa yang kebetulan sedang bertugas, organisasi belum memiliki AI incident response. Ia baru memiliki teknologi dan harapan bahwa kesalahan besar tidak akan terjadi. AI governance sering dibicarakan melalui prinsip, kebijakan, dan kepatuhan. Nilai sebenarnya terlihat ketika organisasi mampu mendeteksi kegagalan, membatasi dampak, memulihkan pihak yang dirugikan, dan belajar sebelum kejadian yang sama berulang. Kesiapan AI tidak berhenti pada kemampuan membuat sistem bekerja. Kesiapan itu diuji ketika sistem gagal dan organisasi tetap mampu mengambil tanggung jawab.