Masjid ini awalnya berada di jalan Merdeka, tepat di depan kantor walikota Palembang. Namun seiring dengan perkembangan kota yang makin pesat maka masjid yang di dirikan tahun 1960 ini kemudian di relokasi. Tidak jauh dari lokasi awal, sekitar 250m. Dilokasi baru sekarang sudah tersedia halaman parkir mobil yang luas di sayap kiri dan motor di sayap kanan. Diresmikan oleh walikota Harnojoyo pada bulan Desember 2021 bersama dengan Ustad Abdul Somad.