Freiheit und Verantwortung, Aufstieg und Niedergang