"And the woman took the two men and hid him" (Joshua 2:4). She took them to conceal them. Phinehas said to her: I am a priest, and priests resemble an angel, as it is said, "For the lips of a priest guard knowledge... for he is a messenger of the LORD of hosts" (Malachi 2:7); and an angel, if he wishes, is seen, and if he wishes, is not seen. So she did not hide any but Caleb.
Rahab Hid Only Caleb, for an Angel Cannot Be Seen
Yalkut Shimoni on Nach 8:2
ותקח האשה את שני האנשים ותצפנו (יהושע ב, ד), נטלה אותן להטמינם אמר לה פינחס אני כהן והכהנים דומין למלאך שנאמר כי שפתי כהן ישמרו דעת וגו' מלאך ה' צבאות הוא, והמלאך מבקש נראה מבקש אינו נראה ולא הטמינה כי אם לכלב: