If he had ever sought to curse the children of Abraham, he would have found the children of Ishmael and the children of Keturah on this side and on that side. Had he sought to curse the children of Isaac, he would have found the children of Esau on one side, and so (Numbers 22:25) "SHE PRESSED HERSELF AGAINST THE WALL." But among the children of Jacob he found no defect by which to touch them. Therefore it is written concerning the third occasion (Numbers 22:26) "IN A NARROW PLACE."
Why Balaam Found No Defect Among the Children of Jacob
Midrash Tanchuma Buber, Balak 12:4
אם אילו ביקש לקלל בניו של אברהם, היה מוצא בני ישמעאל ובני קטורה מיכאן ומיכאן, ביקש לקלל בניו של יצחק היה מוצא בניו של עשו לצד אחד ותלחץ אל הקיר, אלא בניו של יעקב לא מצא בהן פסולת ליגע בהן, לכך כתיב בשלישית במקום צר.