Townsend yang 15 tahun lebih tua dari Margaret ternyata saat itu telah memiliki istri dan dua putra.
Ketika George VI meninggal, Townsend pindah dari Istana Buckingham bersama Margaret dan Ibu Suri ke Clarence House.
Tak lama setelah itu, Townsend dan istrinya bercerai.
Townsend yang memiliki sifat lembut dikatakan sebagai pelengkap dari Margaret yang berapi-api.
Akhirnya pada 1953, Townsed melamar Margaret.
Di tengah-tengah penobatan Elizabeth sebagai ratu, Margaret tampak mengusap noda yang ada pada mantel Townsend.
Hal ini kemudian menjadi perhatian media dan menyebut keduanya sebagai 'pasangan tabu'.
Ratu Elizabeth II turut prihatin dengan kesulitan yang menimpa adiknya.
Apalagi Margaret akan dinyatakan melanggar aturan jika pernikahannya dengan Townsend dilangsungkan karena menikahi seseorang yang telah bercerai.