Dieter Frey, Ende und Aus