Marcus, geh zum Steuerberater oder Fachanwalt Deines Vertrauens und lass ihn das kurz durchrechnen und begutachten.
Kostet nicht wirklich viel und bringt Dir Sicherheit für Deine Entscheidung.
Letztlich darfst Du auch nicht übersehen, dass wegfallende Fahrten Dir mehr Freizeit und damit mehr Lebensqualität bringen. Die musst dann selbst bewerten