Another interpretation: Noah suffered much distress in the ark, for he had no young son to serve him. He said, "When I go out, I will raise up for myself a young son to serve me." Once Ham did that deed to him, he said to him, "You prevented me from raising up a son to serve me; therefore that man shall be a slave to his brothers, who are servants to Me."
Noah Longed for a Son to Serve Him in the Ark
Yalkut Shimoni on Torah 61:13
דָּבָר אַחֵר הַרְבֶּה צַעֲר נִצְטַעֵר נֹחַ בַּתֵּיבָה שֶׁלֹא הָיָה לוֹ בֵּן קָטָן שֶׁיְּשַׁמְּשֶׁנּוּ, אָמַר, לִכְשֶׁאֵצֵא אֲנִי מַעֲמִיד לִי בֵּן קָטָן שֶׁיְּשַׁמְּשֵׁנִי, כֵּיוָן שֶׁעָשָׂה לוֹ חָם אוֹתוֹ מַעֲשֶׂה אָמַר לוֹ, אַתָּה מָנַעְתָּ מִלְּהַעֲמִיד לִי בֵּן שֶׁיְּשַׁמְּשֵׁנִי, לְפִיכָךְ יִהְיֶה אוֹתוֹ הָאִישׁ עֶבֶד לְאֶחָיו שֶׁהֵן עֲבָדִים לִי.