Setelah selesai pembangunannya, nabi biasa pergi ke sana, mengendarai unta atau berjalan kaki, untuk menunaikan salat dua rakaat. Nabi Muhammad lantas menyarankan orang lain untuk melakukan hal yang sama, dengan mengatakan:
"Barang siapa yang berwudhu di rumah dan kemudian pergi dan berdoa di Masjid Quba, dia akan mendapat pahala seperti umrah." Hadits ini diriwayatkan oleh Ahmad bin Hanbal, Al-Nasa'i, Ibnu Majah dan Hakim al-Nishaburi.
Masjid itu berisi sebuah sumur milik Abu Ayyub Al-Ansari. Sumur itu menjadi tempat yang diberkati karena unta betina Nabi pertama kali berlutut di sana untuk meminum airnya, setelah menempuh perjalanan panjang bersama nabi.
Masjid Quba di Zaman Modern
Dengan meningkatnya jumlah jemaah dan juga karena kondisinya yang diakibatkan oleh perjalanan waktu, lingkungan dan cuaca, Pemerintah Saudi pada masa pemerintahan Raja Fahd bin Abdul-Aziz pada tahun 1986, telah merenovasi dan memperluas masjid ini secara besar-besaran dengan interior dan eksterior yang mengesankan.
Dengan empat menara dan 56 kubah, Masjid Quba menjadi masjid terbesar dan bergengsi kedua di kota. Selama berabad-abad terakhir, umat Islam telah memberi banyak perhatian pada Masjid Quba.
Perhatian itu mendorong sejumlah perbaikan, perawatan dan renovasi oleh sejumlah khalifah pada masa-masa itu. Khalifah ketiga, Utsman bin Affan adalah pemimpin yang melakukan renovasi pertama terhadap kondisi masjid.
Sedangkan, Khalifah Omar bin Abdul Aziz membangun menara masjid pertama. Lalu, masjid itu direnovasi lagi pada 1044 oleh Abu Yali Al-Husaini yang membangun ceruk doa yang dikenal sebagai "Mihrab."
Pada tahun 1160, beberapa penambahan dilakukan pada Masjid Quba oleh Kamal Al-Din Al-Isfahani. Renovasi masjid silih berganti dan perubahan terakhir dilakukan pada zaman Sultan Abdul Majid pada tahun 1830 pada masa Kekaisaran Ottoman.
Di zaman modern, rezim Saudi mengambil alih masjid dengan memberikan tanggung jawab kepada Kementerian Urusan Haji yang melakukan renovasi lebih lanjut dan menambahkan struktur ke desain aslinya.
Masjid Quba modern adalah prestasi arsitektur yang dilengkapi dengan fasilitas terbaru dengan tetap mempertahankan identitas kemurnian Islamnya. Masjid telah diperluas untuk menampung lebih dari 20 ribu jamaah.
Ada juga kompartemen terpisah untuk para wanita sehingga mereka dapat dengan mudah beribadah tanpa hambatan. Pada tahun 1984, mendiang Raja Fahd bin Abdulaziz meletakkan batu pertama untuk perluasan Masjid Quba yang bersejarah.