"And the riffraff (asafsuf) that was in their midst" (Numbers 11:4) — these are the mixed multitude that went up with them from Egypt. And some say: these are the great ones and the Egyptians among them, who were fit for gathering (asifah), as it is said, "Gather Me seventy men of the elders of Israel" (verse 16). "And the Children of Israel also sat and wept" (verse 4) — once these saw one another that they were craving, the others would weep over the craving.
Who Were the Asafsuf Who Wept and Craved in the Wilderness
Midrash Aggadah, Numbers 11:4
והאספסף אשר בקרבו. אלו ערב רב שעלה עמהם ממצרים: ויש אומרים אלו הגדולים והמצריים שבהם, שהיו ראויים לאסיפה, כמו שנאמר אספה לי שבעים מזקני ישראל (פסוק טז): וישבו ויבכו [גם] בני ישראל וגו'. כיון שראו אלו לאלו שהם מתאוים היו האחרים בוכים על התאוה: