"And it shall be unto you a statute forever" — for the eternal house [the Temple]. "In the seventh month" — one might think during the whole month; therefore Scripture teaches, "on the tenth of the month." "You shall afflict [yourselves]" — one might think a person should sit in the sun or in the cold in order to afflict himself; therefore Scripture teaches, "and you shall do no work" — just as the work for which one is liable to karet, so too the affliction for which one is liable to karet. In the name of Rabbi Yishmael [they said]: affliction is stated here, and affliction is stated elsewhere — "and he afflicted you, and made you hunger" (Deuteronomy 8:3); just as the affliction stated there is the affliction of hunger, so too here it is the affliction of hunger. "And you shall do no work" — work is stated here, and work is stated regarding the Tabernacle; just as the work of the Tabernacle is significant work, so too here it is like them. And it says "any work" — even part of a work, such as the weaving of two threads, the writing of two letters.
Why Yom Kippur Affliction Means Hunger in Midrash Aggadah
Midrash Aggadah, Leviticus 16:29
והיתה לכם לחוקת עולם. לבית עולמים: בחדש השביעי. יכול בכל החדש תלמוד לומר בעשור לחודש: תענו. יכול ישב בחמה או בצנה בשביל שיצטער, תלמוד לומר וכל מלאכה לא תעשו, מה מלאכה שחייבים עליה כרת, אף עינוי שחייבים עליו כרת. משום ר' ישמעאל [אמרו] נאמר כאן עינוי, ונאמר להלן ויענך וירעיבך (דברים ח' ג'), מה עינוי האמור להלן עינוי רעבון, אף כאן עינוי רעבון: וכל מלאכה לא תעשו. נאמר כאן מלאכה, ונאמר במשכן מלאכה, מה מלאכת המשכן חשובה, אף כאן כיוצא בהם. ואמר וכל מלאכה, אפילו מקצת מלאכה, כמו אריגת שני חוטין כתיבת שתי אותיות: