MTs Negeri 2 Sleman semula bernama Madrasah Tsanawiyah Nahdhatul Ulama (NU) Tempel yang berdiri tahun 1967, terletak di Dusun Panggung, Tempel, Kabupaten Sleman atau di depan Stasiun Kereta Api Tempel.
MTs Negeri 2 Sleman didirikan oleh para alim ulama atau kyai, tokoh muslim wilayah Kecamatan Tempel dan sekitarnya. Para kyai yang ikut berperan dalam perintisan madrasah tsanawiyah ini antara lain :
- (Alm) K.H. Djumali —— Pokoh, Banyurejo, Tempel
- (Alm) Kyai M. Sanusi —— Krakitan, Salam, Magelang
- (Alm) Kyai Marzuki —— Panggung, Lumbungharjo, Tempel
- (Alm) K.H. Ismail S. —— Gondanglegi, Merdikorejo, Tempel
- (Alm) K.H. Akhiyari Hadi —— Sleman, Triharjo, Sleman
- (Alm) M. Subiyanto BA —— Kendal, Bangun Kerto, Turi
- (Alm) Munwar Syamsudin —— Kendal, Bangunkero, Turi
- H. Muhari Az, BA —— Pulewulung, Banunkerto Turi
- Drs. H. Miftah Baidlowi —— Ngentak, Pondokrejo, Tempel
- K.H Abu Salim Ali —— Lodoyong, Lumbungrejo, Tempel
- dsb
Selanjutnya pada kepemimpinannya Bapak H. Muhari AZ, BA tepatnya pada bulan Januari 1968, madrasah tersebut dinegerikan dengan nama MTsN AIN (Madrasah Tsanawiyah Negeri Agama Islam Negeri). Dalam perkembangannya selanjutnya, MTsN AIN pada tahun 1976 pindah ke sebelah barat Kelurahan Lumbungrejo sampai awal tahun 1978. Kemudian kira-kira pertengahan tahun 1978 MTsN AIN Tempel pindah ke Jl. Magelang Km. 17 Ngosit, Margorejo, Tempel, Kabupaten Sleman sampai sekarang. Nama MTsN AIN berjalan 2 tahun lamanya (1968 – 1970).
Pada tahun 1970 MTsN AIN diganti dengan nama MTs Negeri Tempel berdasarkan Surat Keputusan Kantor Wilayah Kementerian Agama Propinsi DIY. Pada tahun 2014, berdasarkan Surat Keputusan Menteri Agama Nomor 157 Tahun 2014, nama Madrasah Tsanawiyah Negeri Tempel berubah menjadi Madrasah Tsanawiyah Negeri 2 Sleman.
Madrasah Tsanawiyah Negeri 2 Sleman telah dipimpin oleh 14 orang Kepala Madrasah. Berikut ini adalah nama-nama yang pernah menjabat sebagai Kepala MTs Negeri 2 Sleman :
1. Bapak H. Muhari AZ, BA | Periode 1967 — 1976 |
2. Bapak Drs. Sarni | Periode 1976 — 1980 |
3. Bapak H. Masyud Mz, BA | Periode 1980 — 1984 |
4. Bapak Drs. H. Abdul Hadziq | Periode 1984 — 1987 |
5. Bapak Drs. H. Sukiman | Periode 1987 — 1990 |
6. Bapak Drs. H. M. Fadhil | Periode 1990 — 1991 |
7. Bapak Drs. H. Qomari Zaman | Periode 1991 — 1996 |
8. Ibu Dra. Siti Amriti | Periode 1996 — 1998 |
9. Bapak Drs. Sudarno | Periode 1998 — 2000 |
10. Bapak Drs. H. Moh. Achjadi | Periode 2000 — 2003 |
11. Bapak Drs. Achmad Darodji, M.Pd.I | Periode 2003 — 2007 |
12. Bapak Drs. Rudi Astono, S.Pd.I, M.Pd.I | Periode 2007 — 2010 |
13. Bapak Drs. H. Ngabdullah, M.Pd.I | Periode 2010 — 2014 |
14. Bapak Hadlirin, S.Ag, M.Pd | Periode 2014 — 2019 |
15. Bapak Drs. H. Sigit Sugandono | Periode 2019 — sekarang |