Lahan yang digunakan untuk membangun masjid ini merupakan hibah dari pemerintah daerah.
Dengan dana awal Rp 150 juta, pembangunan Masjid Cheng Hoo Sriwijaya ini rampung dan diresmikan pada tahun 2006.
Pembangunan Masjid Cheng Hoo Sriwijaya ini tentu tidak dapat dipisahkan dari sejarah muslim di kota pempek itu yang konon berawal dari kunjungan Laksamana Cheng Hoo.
Cheng Hoo atau Zheng He merupakan seorang penjelajah asal Tiongkok beragama muslim yang sangat terkenal.
Di samping itu, dia juga orang kepercayaan Kaisa Yongle dari Tiongkok, yaitu kaisar ketiga Dinasti Ming.
Islam sendiri masuk ke Palembang melalui aktivitas perdagangan, salah satunya dengan pedagang dari Tiongkok.
Saat itu Palembang yang masih dikuasai Sriwijaya mendapat masalah dengan kedatangan para perampok yang mengganggu para pedagang.
Perampok tersebut dipimpin oleh seorang Tionghoa bernama Chen Tsu Ji.
Maka, penguasa Sriwijaya pun meminta bantuan kepada Kaisar Yongle.
Bantuan pun tiba dengan dipimpin oleh Laksamana Cheng Hoo.
Para perampok itu dalam sekejap bisa diringkus oleh Laksamana Cheng Hoo dan pasaukannya.