Pembangunan Masjid Jogokariyan tak bisa dipisahkan dari peran penting para pengrajin batik dan tenun yang ada di sekitar situ.
Mereka yang tergabung dalam kelompok Koperasi Batik “Karang Tunggal” dan Koperasi Tenun “Tri Jaya” di awal bulan Jui 1966 telah berhasil membeli tanah wakaf seluas 600 m2.
Tanah itulah yang kemudian menjadi cikal bakal pembangunan masjid.
Para pengusaha batik dan tenun itu sebagian besar adalah simpatisan partai politik MASYUMI dan pendukung kegiatan dakwah Muhammadiyah.
Sebelumnya, para pelopor pembangunan masjid berpikir bahwa masjid itu akan lebih baik apabila dibangun di tempat yang strategis.
Baca Juga : Remaja Dihukum Guling-guling di Sungai Pembuangan Air Kotor Usai Tawuran : Berantem Seenaknya Aja!
Persisnya di perempatan yang ada di tengah-tengah Kampung Jogokariyan.
Meski begitu, rencana ini sempat mau gagal, lantaran tanah yang ada di situ sudah dimiliki orang lain.
Tapi setelah melalukan beberapa diskusi, masjid akhirnya bisa didirikan di tempat yang direncanakan.
Pada tanggal 20 September 1965, dilakukan peletakan batu pertama di tanah tersebut.