Rabbi Judah the Levite said: The tribe of Levi was free from the forced labor (latrugya) in Egypt. Pharaoh said to them: Because you are idle, you come and say, "Let us go... and let us sacrifice" (Exodus 5:3). He said to them: "Why, Moses and Aaron, do you distract the people from their tasks?" (Exodus 5:4).
Why Pharaoh Accused Levi of Idleness Before Moses and Aaron
Midrash Tanchuma Buber, Vaera 4:1
אמר ר' יהודה הלוי שבטו של לוי היה פנוי לטרגיה במצרים, אמר להם פרעה שביל שאתם פנויים אתם באים ותאמרו נלכה וגו' ונזבחה (שמות ה ג), אמר להם למה משה ואהרן תפרעו (שם).