Yörede kutsal olarak bilinen ve Dua tepesi olarak adlandırılan Kibledağı Cami 1130 rakımlı tepenin başında bulunuyor. Bu mekânda 1800 lu yıllarda Meşula Mehmet Efendi ve Kuş Ahmed Efendi tarafından inşa ettirildi. 1960 yılında bu ahşap camide yangın çıkması nedeniyle Yusuf Yılmaz Hoca Efendi tarafından yapı yeniden taştan yapıldı. Yapı uzun yıllar bir dua ve ibadet merkezi olarak kullanıldı. Bölgeye gelen insanların yaya olarak ulaştıkları camide konaklama imkânı da bulunmaktaydı.
Rize'nin Güneysu ilçesindeki 1130 rakımlı "Dua Tepesi" olarak isimlendirilmeye başlanan Kıble Dağı'nın zirvesine inşa edilen ve manzarasıyla ziyaretçilerini hayran bırakan Kıbledağı Hacı Hafız Yusuf Yılmaz Camii'nin yapımı 2 yılda tamamlandı. Osmanlı döneminin önemli eserlerinden Üsküdar'daki Şemsi Ahmet Paşa Camisi'nin mimarisi ile yapılan caminin açılışı Cumhurbaşkanı Sayın Recep Tayyip Erdoğan'ın Güneysu ziyareti sırasında gerçekleştirildi.
Güneysu ilçesinde, kıble yönünde olması ve ilçenin birçok yerinden görülebilmesi nedeniyle Kıbledağı ismiyle anılan 1130 rakımlı dağın zirvesine inşa edilen caminin yapımı yaklaşık 2 yıllık çalışmanın ardından sona erdi.
Söz konusu proje çerçevesinde camiye giden yolun yapımı tamamlandıktan sonra etrafında yürüyüş parkuru, dinlenme alanı, konukların çay içebileceği park alanı ve mesire yerleri inşa edilerek, güzel vakit geçirmek isteyen vatandaşların hizmetine sunuldu.