Я бы не стал утверждать, что женщины всегда, или, как правило, уходят "от", а мужчины "к"
Я, конечно, не пример, поскольку убеждённый бабник. Для того, чтобы прийти к..., мне не надо уходить от ... Т.е. я ухожу от женщины только если уж совсем достанет.
А вот случаев, когда женщина уходила к мужчине получше или "получше" знаю массу.