R. Huna and R. Idi said in the name of R. Samuel bar Nahman: Israel were spared from that deed, for had they made the calf, it would have been fitting for them to say, "These are our gods, O Israel." Rather, it was the proselytes who came up with them who made it, and they said to Israel, "These are your gods, O Israel" (Exodus 32:4).
Who Really Made the Golden Calf in Tanchuma Emor
Midrash Tanchuma Buber, Emor 15:2
ר' הונא ור' אידי בשם ר' שמואל בר נחמן מוצלים היו ישראל מאותו מעשה, שאילו עשו את העגל היה להם לומר אלה אלהינו ישראל, אלא גרים שעלו עמהם עשאוהו ואמרו לישראל אלה אלהיך ישראל (שמות לב ד).