Я думаю, что тут разная любовь
Жена - она уже как родственник, тем более с ней имется общая собственность, возможно, что и дети. Т.е. уже сформировался определенный уклад жизни, который устраивает всех.
А любовница...для души...ну...как бы он может отвлечься с ней от тягот жизни. Легкие отношения, никаких обязательств, никакой общей собственности, никакой ответственности.
Поэтому, зачем уходить от жены и превращать любовницу в жену?
С любовницей завязывались отношения не для того чтобы создавать семью, а для ... того, чтобы отдыхать от семьи