[7] "Good and upright is the LORD; therefore He instructs sinners in the way," etc. (Psalms 25:8). They asked Wisdom: The sinner, what is his punishment? She said to them: "Evil pursues sinners" (Proverbs 13:21). They asked Prophecy: The sinner, what is his punishment? She said to them: "The soul that sins, it shall die" (Ezekiel 18:4). They asked the Torah: A sinner, what is his punishment? She said to them: Let him bring a guilt offering and it will be atoned for him. They asked the Holy One, blessed be He: The sinner, what is his punishment? He said to them: Let him repent and it will be atoned for him. This is what is written: "Good and upright is the LORD," etc. (Psalms 25:8). Rabbi Pinhas said: Why is He good? Because He is upright. Why is He upright? Because He is good. "Therefore He instructs sinners in the way" (there) -- for He shows sinners the way to repent. Therefore Hosea warns Israel and says to them: "Return, O Israel" (Hosea 14:2).
What Does God Tell a Sinner Who Wants to Return
Pesikta DeRav Kahana 24:7
[ז] טוב וישר י"י על כן יורה חטאים בדרך וג' (תהלים כה:ח). שאלו לחכמה החוטא מהו עונשו, אמרה להם וחטאים תרדף רעה (משלי יג:כא). שאלו לנבואה החוטא מהו עונשו, אמרה להם הנפש החוטאת היא תמות (יחזקאל יח:ד). שאלו לתורה חוטא מה עונשו, אמרה להם יביא אשם ויתכפר לו. שאלו להקב"ה החוטא מהו עונשו, א' להם יעשה תשובה ויתכפר לו, הדא היא דכת' טוב וישר י"י וגו' (תהלים כה:ח). א"ר פינחס למה הוא טוב שהוא ישר, למה הוא ישר שהוא טוב. על כן יורה חטאים בדרך (שם), שהוא מורה לחטאים דרך שיעשו תשובה. לפיכך הושע מזהיר את ישראל ואו' להם שובה ישראל (הושע שם).