Umar bertanya kepada Hudzaifah tentang keberadaan orang munafik di jajaran para pejabat pemerintahannya, "Apakah ada di antara pejabat-pejabat ku di berbagai daerah yang termasuk orang munafik?"
"Ya, ada satu," jawab Hudzaifah bin al-Yaman
Adapun nama pejabat yang munafik itu tidak diberitahukan Hudzaifah. Sebab, itu merupakan rahasia yang mesti ia pegang, dan ia sudah berjanji kepada Rasulullah Saw untuk mengunci rapat-rapat rahasia tersebut. Namun, meskipun Hudzaifah tidak membeberkan nama pejabat yang munafik itu, Umar mengetahui siapa orang yang dimaksud sehingga ia segera memecat orang itu dari jabatannya.
Kesaksian bahwa Hudzaifah bin al-Yaman merupakan seorang pemegang rahasia Rasulullah Saw, juga disampaikan oleh Ali bin Abi Thalib. Sebagaimana dikutip Imam Adz Dzahabi, Ali bin Abi Thalib menyatakan sebagai berikut: “Ia (Hudzaifah) mengetahui data tentang orang-orang Munafik di sekitar Rasul, dan andai kalian bertanya kepada tentang konspirasi-konspirasi yang mereka rencanakan, niscaya ia (juga) mengetahuinya.”