Sekolah Menengah Ibrahim merupakan Sekolah Inggeris yang kedua didirikan. Ia diasaskan pada bulan Ogos, 1919. Pada mulanya ia dikenali sebagai "Government English School". Ia terletak berdekatan Sekolah Kebangsaan yang ada sekarang iaitu di hadapan Masjid Jalan Pangkalan. Guru Besar yang pertama ialah Tuan Syed Jan Al-Jeffri. Apabila beliau bersara pada tahun 1946, tempat beliau telah diganti oleh Dato JF Augustin JP. Di bawah pentadbiran beliau, Sekolah Menengah Ibrahim telah berjaya mencapai kejayaan yang membanggakan.

Pada tahun 1954, sekolah ini dibahagikan kepada bahagian rendah dan bahagian menengah. Bahagian rendah dikelolakan oleh En. Mohamad bin Man. Pada tahun 1960, Pengarah Pelajaran Kedah, En. Halliday memecah terus Sekolah Ibrahim. Sekolah Rendah dikenali sebagai Sekolah Rendah Ibrahim di bawah guru besarnya yang pertama, En. Lim Chin Gee. Sekolah ini adalah untuk murid lelaki sahaja.

Pada tahun 1959, bilangan pelajarnya adalah seramai 950 orang dan bilangan ini meningkat kepada 1,423 orang pada tahun 1971.

Selain daripada perkembangannya dalam pelajaran, sekolah ini juga mengadakan beberapa rancangan untuk membantu murid-murid yang miskin misalnya pada tahun 1963, mereka ini telah diberi bantuan berupa makanan percuma di kantin, buku teks, pakaian dan lain-lain.