Иск вы не предъявите. Точнее, предъявить-то можете, но ничего не получите. У семьи общее имужество (если договором не предусмотрено иное), а вот деньгами может каждый распоряжаться по-своему. Вы только можете требовать, чтобы муж не дал помереть вам с голоду, если вы утратили трудоспособность или вообще по тем или иным причинам не работали.
Детей своих он кормить обязан, так что он имел веские основания носить во вторую семью деньги.
Кстати, многие мужчины в этом отношении не дураки - крупные покупки оформляют на имя любовницы. Тогда жена, если что, остается с носом.
P.S. Я ими не восхищаюсь, но признаю, что порядочным надо быть со всеми женщинами, а не только по отношению к той, с которой в ЗАГС когда-то сходили.