Another interpretation of "And Joseph was brought down" (Genesis 39:1): What is the meaning of "And Joseph was brought down"? That he kept moving the Egyptians from place to place, just as you say, "And as for the people, he removed them by cities" (Genesis 47:21) — that he would carry them from here and set them down there, so that they would not be able to reproach Israel by calling them exiles, children of exiles.
Why Joseph Was Brought Down So Egypt Could Not Taunt Israel
Midrash Tanchuma Buber, Vayeshev 16:1
ד"א ויוסף הורד, מהו ויוסף הורד, שהיה מטלטל את המצרים ממקום למקום, כשם שאתה אומר ואת העם העביר אותו לערים (בראשית מז כא), שהיה נושאן מכאן ונותנן כאן, שלא יהו מונים לישראל לקרותם גלוותא בני גלוותא.