

Sebelum kedatangan kaum Belanda pada tahun 1624, penjajah Portugis telah, sejak tahun 1511, memusnahkan peninggalan rumah-rumah ibadat bukan Kristian di Melaka.
Antara yang dimusnahkan oleh Portugis adalah masjid yang pertama dibina di Melaka, yang kononnya terletak bertentangan dengan tapak Stadhuys sekarang.
Pemerintah Belanda telah menugaskan Kapitan untuk mengetuai penduduk tempatan dalam pembinaan tempat ibadat mereka, Dato' Samsuddin Bin Arom, seorang pendatang dari China yang telah memeluk Islam, ditugaskan pemerintah Belanda untuk membina Masjid Kampung Hulu.

Seperti banyak masjid yang dibina di Melaka pada zaman itu, hiasan dengan pengaruh Cina digunakan untuk menghiasi masjid ini. Bahan-bahan seperti jubin seramik dan jubin lantai daripada kerajaan China Dinasti Ching juga digunakan. Ukiran dan seni bina masjid menggunakan faktor alam semulajadi. Pada hujung bumbung terdapat ukiran berkonsepkan sulur bayur, mahkota dan awan larat.