"And Edom said to him" (Numbers 20:18). Edom said to them: You exalt yourselves against us with the blessing that your father blessed you, and with that which Jacob your father was blessed; and I exalt myself over you with that which our father was blessed, "and by your sword you shall live" (Genesis 27:40). Therefore it says, "lest I come out against you with the sword" (Numbers 20:18).
Why Edom Threatened Israel with Esau's Sword Blessing
Midrash Aggadah, Numbers 20:18
ויאמר אליו אדום. אמר להם אדום אתם מתגאים לנגדינו במה שבירך אביכם אתכם, ובמה שנתברך יעקב אביכם, ואני מתגאה עליכם במה שנתברך אבינו ועל חרבך תחיה (בראשית כ"ז מ'), לכך נאמר פן בחרב אצא לקראתך: