Po svatbě se Bedřich a Kateřina Smetanovi přestěhovali do svého prvního bytu, nacházejícího se ve Vodičkově ulici č.p. 26. Od roku 1850 do roku 1854 se jim narodily 4 dcery – Gabriela, Bedřiška, Kateřina a Žofie, avšak pouze Žofie se dožila dospělosti. Ztráta Bedřišky, hudebně nejtalentovanější dcery, Smetanu hluboce zasáhla. V čase smutku složil na památku Bedřišky svou dosud nejmodernější skladbu, Klavírní trio g moll. Zdraví Smetanovy manželky Kateřiny bylo taky dost podlomené, poněvadž se u ní začala projevovat tuberkulóza.

I Smetanově hudební škole se časem přestalo dařit. To jim v pozdějších letech způsobilo finanční problémy a přinutilo Smetanu i jeho novou rodinu k dočasnému přestěhování na venkov, do Jabkenice, ke své dceři z manželství s Kateřinou – Žofii Schwarzové.
Smetana se sem v roce 1876 odstěhoval definitivně.

„Víte, co? Když se koukám na tu budovu, jediné, na co dokáži myslet, jsou ty poslední šťastné chvíle, které nám jako rodině byly dopřány. Najednou nás bylo 6 v jednom bytě – celkem slušné množství po 4 letech, nemyslíte? A pak nás bylo 5 a než jsme se stihli vzpamatovat pouze 4, až nakonec jsme zůstali jenom já, Kateřina a naše malá Žofinka. Těžko se mi vzpomíná na ty dny plné žalu, pochopte. Sotva jsem to ustál v dobrém zdraví. O své milé to samé říci nemůžu. A přece, podívejte se, tahleta budova mě o tolik let přežila a pořád stojí a tihle lidi si prostě chodí kolem a nemají ani ponětí, kolika emočními zhrouceními si sama přes ty roky prošla…”