"And the Lord said to Samuel: Behold, I am about to do a thing in Israel" (1 Samuel 3:11). Rabbi Shmuel bar Rav Nachman said: This is the capture of the Ark. "On that day I will fulfill against Eli all that I have spoken... and I will tell him that I judge... and he did not rebuke them" (ibid. 3:12-13) — he did not reprove them. "And therefore I have sworn concerning the house of Eli" (ibid. 3:14). Rav Kahana was standing and praying, and Rabbi Chiyya bar Abba was standing and praying before him. When Rabbi Chiyya bar Abba had finished, he did not wish to conclude before Rav Kahana. Rabbi Chiyya bar Abba said to him: Is this how you conduct yourselves in Babylonia, that you distress your elders? He said to him: Does the Rabbi not know that I come from the family of Eli, concerning whom it is written, "the iniquity of the house of Eli shall not be atoned for by sacrifice or by offering forever" (ibid. 3:14)? By sacrifice and by offering it is not atoned for, but it is atoned for by prayer. And he prayed for him, and he lived a long life, until his teeth became red like the teeth of date pits.
The House of Eli Atoned Through Prayer in Midrash Shmuel
Midrash Shmuel 10:1
ויאמר ה' אל שמואל הנה אנכי עושה דבר בישראל (שמואל א' ג' י"א), רבי שמואל בר רב נחמן אמר זו שביית הארון. ביום ההוא אקים אל עלי וגו' והגדתי לו כי שופט אני וגו' ולא כהה בם (שם שם י"ב י"ג), לא גער בהון. ולכן נשבעתי לבית עלי (שם שם י"ד), רב כהנא הוה קאים ומצלי והוי רבי חייא בר אבא קאים מצלי קודמוי, כיון דחסל רבי חייא בר אבא לא בעא דיפסוק קודם רב כהנא, אמר ליה רבי חייא בר אבא כן אתון נוהגין בבבל מצערין רברביכון, אמר ליה לית רבי ידע דאנא ממשפחת עלי קא אתי, שכתוב בו אם יתכפר עון בית עלי בזבח ובמנחה עד עולם (שם שם) (אמר ליה) בזבח ובמנחה הוא דאינו מתכפר אבל מתכפר בתפלה, וצלי עלוי והאריך ימים, עד דאתעבדון [שערוי] סמוקין כהלין דקקיא.