Satya Nadella Usul Rem Darurat untuk Model AI, Minta Perusahaan Anggap Model Sudah Disusupi

Microsoft ikut membesarkan bisnis model AI lewat investasinya di OpenAI. Kini bos tertingginya justru meminta perusahaan memperlakukan model AI seperti orang dalam yang sewaktu-waktu bisa berkhianat.

CEO Microsoft, Satya Nadella, mengusulkan agar setiap model AI dilengkapi "rem darurat" yang memungkinkan manusia menghentikan model di tengah tugas. Gagasan itu ia tuangkan dalam unggahan panjang di X pada Sabtu (10/10/2026) waktu Amerika Serikat, seperti dilaporkan TechCrunch. Menurut Nadella, sudah waktunya industri "to step back and assess the trust architecture" atau mundur sejenak dan menilai ulang arsitektur kepercayaan pada AI.

Model Diperlakukan sebagai Risiko Orang Dalam

Inti argumen Nadella sederhana tapi tidak nyaman bagi industri: model AI, baik yang tertutup maupun open-weight, sebaiknya dianggap sebagai insider risk, yaitu ancaman dari pihak yang sudah berada di dalam sistem. "We must assume a model is compromised and contain it from the start," tulisnya. Artinya, perusahaan diminta berasumsi model sudah disusupi dan membatasinya sejak awal.

Ia juga menolak cara pandang yang menganggap AI sebagai kotak hitam yang keluarannya cukup diterima atau ditolak. "We can't treat Super Intelligence as a set of nested black boxes," tulis Nadella. TechCrunch mencatat istilah Super Intelligence yang ia pakai sama dengan istilah pilihan pemerintahan Trump untuk menyebut AI.

Empat Usulan Teknis: dari Harness hingga Tombol Henti

Berdasarkan rangkuman TechCrunch, Nadella mengajukan beberapa langkah konkret. Pertama, model dipisahkan dari harness, yakni perangkat lunak yang mengatur alur kerja model. Kedua, kontrol dan pengaman diletakkan di luar model, bukan ditanam di dalamnya.

Ketiga, setiap tindakan penting model didokumentasikan dengan bukti yang tidak bisa dimanipulasi dan bisa dibaca manusia. Keempat, orang yang berwenang harus bisa menjeda atau mematikan model saat tugas masih berjalan. "Think of it like an emergency brake," tulis Nadella.

Kontributor Forbes, Gabriel Alin Zainescu, dalam ulasannya di Forbes menyebut tulisan Nadella memuat tujuh prinsip yang bisa diringkas menjadi tiga: kontrol dari luar model, bukti dari luar model, dan kegagalan yang direncanakan. Nadella juga menilai jejak penalaran (chain-of-thought) yang bisa dibaca itu wajib ada, meski belum cukup karena keluaran model belum bisa dijamin jujur mencerminkan prosesnya.

Tanggung Jawab Tetap di Pundak Pengguna Model

Poin yang paling relevan bagi perusahaan pengguna AI ada di soal akuntabilitas. Menurut Forbes, Nadella menegaskan klaim keamanan dari penyedia model tidak memindahkan tanggung jawab. Perusahaan yang memasang model tetap bertanggung jawab penuh atas apa yang dilakukan model tersebut.

Ia juga memperingatkan praktik memakai satu model untuk mengawasi model lain. Cara itu, menurutnya, berisiko menumpuk satu sistem yang tidak transparan di atas sistem tidak transparan lainnya.

Gagasan serupa sebenarnya sudah ia lontarkan di All-In Summit sekitar 14 September 2026. Saat itu Nadella memberi contoh model AI yang diminta mengoptimalkan modal kerja perusahaan "may fake my books", atau bisa saja memalsukan pembukuan, yang ia sebut sebagai jenis risiko orang dalam yang baru.

Muncul setelah Rentetan Insiden Agen AI

Seruan Nadella datang di tengah meningkatnya pengakuan perusahaan AI soal insiden ketika model atau agen lepas kendali. Forbes mencatat, pada Juli 2026 agen OpenAI dalam sebuah evaluasi keamanan siber keluar dari sandbox dan membobol Hugging Face. Hugging Face mengungkapnya pada 16 Juli, sementara OpenAI mengonfirmasi lima hari kemudian. CompileDaily sebelumnya juga memberitakan peringatan OpenAI kepada lebih dari 100 organisasi yang sistemnya diakses agen AI tanpa izin.

Survei Censuswide untuk Caylent terhadap 200 pemimpin perusahaan di AS dan Kanada, yang dikutip Forbes, menunjukkan 59,5 persen responden sudah menjalankan agen AI secara otonom di lingkungan produksi. Sebanyak 83 persen menilai pengaman yang lebih kuat sama penting atau lebih penting daripada kecerdasan model untuk mempercepat adopsi.

Nadella tidak menjelaskan apakah prinsip itu akan langsung diterapkan di produk Microsoft, termasuk Agent 365 yang memberi identitas Entra pada setiap agen. Pertanyaan berikutnya: apakah penyedia model lain mau menerima gagasan bahwa produk mereka sendiri harus diperlakukan sebagai tersangka sejak hari pertama?