Maktab Mahmud Putera berasal daripada sebuah sekolah Arab Ugama iaitu Madrasah Hamidiah, nama yang diambil sempena nama DYMM Sultan Abdul Hamid yang memerintah Kedah ketika itu. Madrasah Hamidiah ini diasaskan pada tahun 1908 oleh Tuan Sheikh Haji Wan Sulaiman bin Haji Wan Siddik iaitu Kadi Besar Negeri Kedah ketika itu. Guru besar yang pertama ialah Tuan Haji Yasin bin Mohamad Tahir. Bangunannya bertempat di Limbong Kapal. Pada tahun 1937, penuntut-penuntut madrasah ini telah berpindah ke bangunan baru yang terletak di Simpang Kuala. Bangunan baru ini telah dirasmikan oleh DYMM Sultan Abdul Hamid Halim Shah Ibni Almarhum Sultan Ahmad Tajuddin dan menukar nama kepada Almaahadul Mahmud iaitu sempena nama Tunku Mahmud (Rejent dan President State Consul Negeri Kedah), pengasas bagi bangunan baru ini.

Maktab Mahmud Puteri ini pula berasal daripada sebuah sekolah Arab iaitu Attarbiatul Banat. Madrasah ini diasaskan oleh Tuan Haji Saad bin Said pada awal tahun 1948 di rumahnya di Kota Tanah. Tuan Haji Saad merupakan bekas guru Maktab Mahmud dan bekas kadi besar Negeri Kedah. Pada awal tahun 1958, sekolah ini telah berpindah ke bangunan barunya di Jalan Pegawai dan menukar nama kepada Madrasah Attarbiatul Islamiah. Pada tahun 1968, Yang Amat Berhormat Tun Abdul Razak bin Datuk Hussin telah menyampaikan bantuan untuk membina bangunan baru bagi sekolah ini. Pada 25hb April 1969, Yang Amat Berhormat Tun telah merasmikan pembukaan bangunan baru itu.

Kedua-dua sekolah ini berada di bawah pentadbiran pengetua dan lembaga pengelola yang berasingan. Kedua-dua sekolah ini menjalankan pelajaran Ugama mengikut sukatan pelajaran Malaysia sendiri di samping sukatan dari Timur Tengah. Pada 1hb Januari 1973, kedua-dua sekolah ini telah diletakkan di bawah satu lembaga pentadbiran dan seorang pengetua. Nama Maktab Mahmud ditukar kepada Maktab Mahmud Putera manakala Attarbiatul Islamiah kepada Maktab Mahmud Puteri.