Ada yang berpendapat, Umar Radhiyallahu Anhu membaca talbiyah ketika memasuki Baitul Maqdis, kemudian melaksanakan Sholat Tahiyyatul Masjid di Mihrab Dawud. Keesokan harinya, dia mengimami kaum Muslimin Sholat Shubuh di sana.
Saat itu, dia membaca surat Shad pada rakaat pertama, kemudian melakukan sujud tilawah bersama para makmum. Pada rakaat kedua, dia membaca surat Bani Israil (Al-Isra). Umar pun menuju sakhrah (batu suci tempat berdiri Nabi Ya’qub) setelah sebelumnya meminta Ka‘ab al-Akhbar Radhiyallahu Anhu menunjukkan tempatnya.
Ka‘ab mengisyaratkan kepadanya: supaya membuat masjid di belakangnya.
Umar berkata: “Anda menyerupai ajaran Yahudi.”
Umar Radhiyallahu Anhu kemudian membangun masjid di arah Baitul Maadis (sebelah selatannya) yang sekarang dikenal sebagai Masjid Umar. Dia memindahkan tanah yang berada di Sakhrah dengan ujung selendang dan pakaiannya, yang diikuti kaum Muslimin. Lalu dia menyuruh penduduk Yordan untuk memindahkan tanah yang masih tersisa.
Sebelumnya, bangsa Romawi (kaum Nashrani) menjadikan sakhrah sebagai tempat pembuangan sampah karena ia adalah kiblat kaum Yahudi. Sampai-sampai seorang perempuan membuang pembalutnya ke sakhrah melalui hauz (got dan selokan rumah) yang mengarah ke sana.