"In the third month" (Exodus 19:1). Why in the month of Gemini (the Twins)? So that the nations of the world would have no opening to speak, saying, "Had He given us the Torah, we would have kept it." The Holy One, blessed be He, said to them: See in which month I gave the Torah — under the sign of Gemini, so that if Esau the Wicked should come to convert, he could come and learn Torah. Therefore the Torah was given under the sign of the Twins.
Why the Torah Was Given Under the Sign of Gemini
Midrash Tanchuma Buber, Yitro 13:1
בחדש השלישי. למה בחודש תאומים, שלא יהא פתחון פה לאומות העולם, אילו נתן לנו את התורה היינו מקיימין אותה, אמר להם הקב"ה ראו באיזה חודש נתתי את התורה, במזל תאומים, שאם יבא עשו הרשע להתגייר יבא וילמד תורה, לפיכך נתנה תורה בתאומים.