MTs Negeri 2 Sleman semula bernama Madrasah Tsanawiyah Nahdhatul Ulama (NU) Tempel yang berdiri tahun 1967, terletak di Dusun Panggung, Tempel, Kabupaten Sleman atau di depan Stasiun Kereta Api Tempel.

MTs Negeri 2 Sleman didirikan oleh para alim ulama atau kyai, tokoh muslim wilayah Kecamatan Tempel dan sekitarnya. Para kyai yang ikut berperan dalam perintisan madrasah tsanawiyah ini antara lain :

  • (Alm) K.H. Djumali —— Pokoh, Banyurejo, Tempel
  • (Alm) Kyai M. Sanusi —— Krakitan, Salam, Magelang
  • (Alm) Kyai Marzuki —— Panggung, Lumbungharjo, Tempel
  • (Alm) K.H. Ismail S. —— Gondanglegi, Merdikorejo, Tempel
  • (Alm) K.H. Akhiyari Hadi —— Sleman, Triharjo, Sleman
  • (Alm) M. Subiyanto BA —— Kendal, Bangun Kerto, Turi
  • (Alm) Munwar Syamsudin —— Kendal, Bangunkero, Turi
  • H. Muhari Az, BA —— Pulewulung, Banunkerto Turi
  • Drs. H. Miftah Baidlowi —— Ngentak, Pondokrejo, Tempel
  • K.H Abu Salim Ali —— Lodoyong, Lumbungrejo, Tempel
  • dsb

Selanjutnya pada kepemimpinannya Bapak H. Muhari AZ, BA tepatnya pada bulan Januari 1968, madrasah tersebut dinegerikan dengan nama MTsN AIN (Madrasah Tsanawiyah Negeri Agama Islam Negeri). Dalam perkembangannya selanjutnya, MTsN AIN pada tahun 1976 pindah ke sebelah barat Kelurahan Lumbungrejo sampai awal tahun 1978. Kemudian kira-kira pertengahan tahun 1978 MTsN AIN Tempel pindah ke Jl. Magelang Km. 17 Ngosit, Margorejo, Tempel, Kabupaten Sleman sampai sekarang. Nama MTsN AIN berjalan 2 tahun lamanya (1968 – 1970).

Pada tahun 1970 MTsN AIN diganti dengan nama MTs Negeri Tempel berdasarkan Surat Keputusan Kantor Wilayah Kementerian Agama Propinsi DIY. Pada tahun 2014, berdasarkan Surat Keputusan Menteri Agama Nomor 157 Tahun 2014, nama Madrasah Tsanawiyah Negeri Tempel berubah menjadi Madrasah Tsanawiyah Negeri 2 Sleman.

Madrasah Tsanawiyah Negeri 2 Sleman telah dipimpin oleh 14 orang Kepala Madrasah. Berikut ini adalah nama-nama yang pernah menjabat sebagai Kepala MTs Negeri 2 Sleman :

1. Bapak H. Muhari AZ, BA Periode 1967 — 1976
2. Bapak Drs. Sarni Periode 1976 — 1980
3. Bapak H. Masyud Mz, BA Periode 1980 — 1984
4. Bapak Drs. H. Abdul Hadziq Periode 1984 — 1987
5. Bapak Drs. H. Sukiman Periode 1987 — 1990
6. Bapak Drs. H. M. Fadhil Periode 1990 — 1991
7. Bapak Drs. H. Qomari Zaman Periode 1991 — 1996
8. Ibu Dra. Siti Amriti Periode 1996 — 1998
9. Bapak Drs. Sudarno Periode 1998 — 2000
10. Bapak Drs. H. Moh. Achjadi Periode 2000 — 2003
11. Bapak Drs. Achmad Darodji, M.Pd.I Periode 2003 — 2007
12. Bapak Drs. Rudi Astono, S.Pd.I, M.Pd.I Periode 2007 — 2010
13. Bapak Drs. H. Ngabdullah, M.Pd.I Periode 2010 — 2014
14. Bapak Hadlirin, S.Ag, M.Pd Periode 2014 — 2019
15. Bapak Drs. H. Sigit Sugandono Periode 2019 — sekarang