(Gen. 20:1) "And Abraham journeyed from there." This is what Scripture says (Ps. 26:4-5): "I have not sat with men of falsehood... I have hated the assembly of evildoers." "I have not sat with men of falsehood" — these are the men of the Tower, who were men of falsehood. They went and said to Abraham: "Come and sit with us, for you are a mighty man, since we see that the Holy One, blessed be He, has seated Himself above and left us below." And the Holy Spirit cries out (Isa. 57:20): "But the wicked are like the troubled sea" — you cannot sit at ease even for a single hour. (Ps. 82:5) "They do not know, nor do they understand; they walk about in darkness." "They do not know" — this is the generation of Enosh. "Nor do they understand" — this is the generation of the Flood. "They walk about in darkness" — this is the generation of the Tower. Abraham said to them: "What do you seek from the Holy One, blessed be He, who sits above? Did He perhaps say to you, 'Go, toil and sustain Me'? He creates and He sustains; He makes and He bears. What do you seek from Him?" (They said to him) (Gen. 11:4): "Come, let us build for ourselves a city and a tower" — and let us set our idol above Him, and make war with Him, as it is said (Gen. 11:4): "and let us make a name for ourselves" — and it is written (Exod. 23:13): "and the name of other gods you shall not mention." Abraham said to them: "Why all this?" They said to him: "So that He will not do to us as He did to the earlier ones." He said to them: "You have forsaken (Prov. 18:10) 'a tower of strength, the name of the LORD,' yet you say, 'let us make a name for ourselves'!" What did the Holy One, blessed be He, do to them? He scattered them, as it is said (Gen. 11:8): "And the LORD scattered them." And how far had they built the tower and ascended? And the Holy One, blessed be He, mocked them, as it is said (Ps. 2:4): "He who sits in heaven laughs." When they had gone up above the tower, immediately (Ps. 2:5): "Then He speaks to them in His anger" — and it fell from above, as it is said (Ps. 5:11): "Declare them guilty, O God; let them fall by their own counsels." And Abraham had no dealings with them. And the Holy One, blessed be He, looks down upon them and sees them, as it is said (Ps. 53:3-4): "God looked down from heaven upon the children of men... they have all turned aside" — for they became dross (sigim), they made themselves into deities. "None does good, not even one" — from here you learn that Abraham was not with them. The "one" stated here is none other than Abraham, as it is said (Ezek. 33:24): "Abraham was one, and he inherited the land." Abraham began to say (Ps. 26:4-5): "I have not sat with men of falsehood... I have hated the assembly of evildoers." Therefore it is said (Gen. 20:1): "And Abraham journeyed from there."
Abraham Refuses to Join the Builders of the Tower of Babel
Midrash Tanchuma Buber, Vayera 24:1
ויסע משם אברהם. זש"ה לא ישבתי עם מתי שוא וגו', שנאתי קהל מרעים וגו' (תהלים כו ד ה). לא ישבתי עם מתי שוא, אלו אנשי המגדל שהיו מתי שוא, הלכו ואמרו לאברהם בא ותשב אתנו שאתה גבור שאנו רואים להקב"ה שישב לו למעלן, והניח אותנו למטן, ורוח הקדש צווחת והרשעים כים נגרש (ישעיה נז כ), אין אתם יכולין לישב בשלוה אפילו שעה אחת, לא ידעו וא יבינו בחשיכה יתהלכו (תהלים פב ה), לא ידעו זה דורו של אנוש, ולא יבינו [זה] דור המבול, בחשיכה יתהלכו זה דור המגדל, אמר להם אברהם, ומה אתם מבקשים מן הקב"ה שיושב למעלה, שמא אמר לכם לכו ויגעו ופרנסו אותי, הוא בורא והוא מפרנס, הוא עשה והוא סובל, מה אתם מבקשים ממנו, (אמרו לו) [ויאמרו] הבה נבנה לנו עיר ומגדל (בראשית יא ד), ונשים ע"ז שלנו למעל הימנו, ונעשה עמו מלחמה, שנאמר ונעשה לנו שם (בראשית יא ד), וכתיב ושם אלהים אחרים לא תזכירו (שמות כג יג), אמר להם אברהם למה כל אלה, אמרו לו שלא יעשה לנו כמו שעשה לראשונים, אמר להם הנחתם מגדול עוז שם ה' (משלי יח י), ואתם אומרים נעשה לנו שם, מה עשה להם הקב"ה, הפיצם, שנאמר ויפץ ה' אותם (בראשית יא ח), ועד היכן היו בונים את המגדל ועולין, והקב"ה מלעיג עלין, שנאמר יושב בשמים ישחק וגו' (תהלים ב ד), כיון שעלו למעלה מן המגדל מיד אז ידבר אלימו באפו וגו' (שם שם ה), ונפל מלמעלה, שנאמר האשימם אלהים יפלו ממועצותיהם (שם ה יא), ואברהם לא היה לו עסק עמהם, והקב"ה משקיף עלין ורואה אותן, שנאמר (ה') [אלהים] משמים השקיף על בני אדם וגו' (הכל) [כולו] סג וגו' (שם נג ג ד), שנעשו סיגים עשו את עצמן אלהות, אין עשה טוב אין גם אחד (שם שם), מכאן אתה למד שלא היה אברהם עמהן, אין אחד האמור כאן אלא אברהם, שנאמר אחד היה אברהם וירש את הארץ (יחזקאל לג כד). התחיל אברהם לומר לא ישבתי עם מתי שוא וגו', שנאתי קהל מרעים (תהלים כו ד ה), לכך נאמר ויסע משם אברהם.