Why do all the offerings come as males, while this one comes as a female? Rabbi Aibo said: It is like the son of a maidservant who soiled the king's palace. The king said, "Let his mother come and wipe away the filth with her bosom." So too the Holy One, blessed be He, said, "Let the heifer come and atone for the deed of the calf."
Why the Heifer Is Female and Atones for the Golden Calf
Pesikta DeRav Kahana 4:8
[ח] מפני מה כל הקרבנות באין זכרים וזו באה נקיבה, א"ר אייבו לבן שפחה שטינף בפלטין של מלך, א' המלך תבוא אמו ותקנח את הצואה בחיקה, כך אמ' הקב"ה תבוא פרה ותכפר על מעשה העגל.