Sekolah ini telah ditubuhkan pada 1 Disember 1990 (15 Jamadilakhir 1411), hasil daripada hasrat Pengarah Pendidikan Sabah untuk menambah bilangan sekolah agama di Sabah dengan nama asal Sekolah Menengah Agama Kota Kinabalu (SMAKK). Sekitar tahun 2000 namanya ditukar kepada SMKAKK.

SMKAKK merupakan SMKA ketiga yang dibuka di Sabah selepas SMKA Limauan, Papar, dan SMKA Tun Ahmadshah, Kota Kinabalu.

Guru perintis SMKAKK seramai 12 orang iaitu terdiri daripada Haidon Hadi Sapiri sebagai Pengetua, Adenan Hussin sebagai Timbalan Pengetua, Mohd. Rozaimi Abdul Razak, A. Ismail, Anuar Jasimin, Melih Bidin, Mahyani Simih, Azlan Sukir, Wan Jah Hasbullah, Zaharah Bani Yamin, Rosnani Harun, Noor Husnah Abdullah dan Nasif Kasim sebagai kerani.

Pendaftaran SMKAKK bermula pada 1 Januari 1991. Pelajar pertama berjumlah 205 orang terdiri daripada pelajar 4 buah kelas Tingkatan 1 dan pelajar 3 buah kelas Tingkatan 4. Penubuhan SMKAKK berteraskan Taqwa, Islam dan Ihsan. Justeru, adalah menjadi cita-cita SMKAKK untuk menghasilkan pelajar yang cemerlang serta mempunyai keperibadian yang teguh sebagai pemimpin negara di masa depan.

Pada 13 April 2011, SMKAKK diiktiraf sebagai Sekolah Tanpa Sampah oleh Dewan Bandaraya Kota Kinabalu.