Benar, seorang tokoh yang telah mendapat pujian dari Rasulullah SAW tentang keahliannya dalam memerangi orang-orang musyrik, tidaklah pada tempatnya menggunakan keahliannya itu dalam memerangi atau membunuh orang-orang mukmin.
Itulah sebabnya ia mengemasi barang-barangnya lalu meninggalkan Madinah berangkat menuju Rabdzah, yaitu kampung yang dipilih oleh Abu Dzar dulu sebagai tempat hijrah dan pemukiman barunya.
Maka di Rabdzah ini Salamah melanjutkan sisa hidupnya. Pada suatu hari di tahun 74 H, hatinya merasa rindu berkunjung ke Madinah. Maka berangkatlah ia untuk memenuhi kerinduannya itu. Ia tinggal di Madinah selama satu dua hari. Dan pada hari ketiga ia pun wafat.
Demikianlah, seolah-olah tanahnya yang tercinta itu memanggil putranya ini untuk merangkul ke dalam pelukannya dan memberikan ruang baginya di lingkungan sahabat-sahabatnya yang memperoleh berkah bersama para syuhada yang saleh.