Я тебя не держу

Вот стало любопытно. Мы с мужем в браке два с половиной года. За это время он уже неединожды пытался развестись, не случилось это моими силами. Он потом говорил, что не знает, что на него нашло, что настроение непонятное какое-то, говорил, что я, в отличие от его предыдущих жён (а их было две) стараюсь сохранить семью, это ему нравится. Да, разводится он собирался из-за таких мелочей, что даже говорить об этом смешно. Один раз, дело было как раз после переезда, не нашёл столовую ложку. Это да, стало поводом к выяснению отношений, обмену любезностями и обещаниями отъезда и развода.
И да, он хотя бы раз в неделю, но обязательно напомнит мне, что он меня не держит и ему всё равно, уйду я или нет. При этом говорит, что любит, иногда бывает, что я это даже чувствую. Но фраза "я никого никогда не держал, и тебя останавливать не стану" меня очень обижает. Такое чувство, что человеку вообще по фигу, есть я рядом, нету меня рядом. И вообще всё равно, кто с ним рядом. Я заморачиваюсь? Или нужно задуматься?

И да. Поговорить на эту тему он не хочет.