懇請大家給我意見,搬還是不搬

我現在住的地方是之前跟前男友一起租的房子
房租是一起攤的,家具幾乎都是前男友的
前男友工作不在北部,只有假日才會回來,
我們分手後的協議是平常房子給我住,假日我就回自己家,房子給他用
會這樣決定是因為這間房子的房租不便宜,合約尚未到期
且他每週都得回北部上課,所以還是需要在台北有間房子可住,
所以我們才做了這樣的協定
前陣子我與他有些爭執,他說他要搬走,不過家具還是會留給我,後來我看到他的衣服跟大部分的東西已經收拾帶走,
留下的只有家具而已,而房租我也開始都自己出,

這幾天我交了各新男友
我很苦惱不知道該怎麼處理房子的問題
我男友來看過這間房子,
他說因為我前男友人平常根本都不在北部,所以他目前能接受我繼續住,但是他並不希望我前男友週末會住那裡,即使他確定我週末一定是回家,不可能跟前男友有曖昧,但還是希望我能跟前男友說清楚
我了解我男友的立場,我也知道自己該處理
只是我現在不知該怎麼處理會比較好
因為我前男友似乎有聽說我身邊有新的男生,所以我前男友又開始不想要分手,
前幾天他打電話跟我說複合,我告訴他不可能,只是我還是沒說出口我有新男友,我怕會傷害他.
我前男友在電話中說他希望還是讓他週末能住那裡,他保證不會平日故意跑回來干擾我,
我並不想這樣,我覺得這樣對我男友很不公平,
我想過要直接搬走,但是這樣的話,這裡的房租會全丟給前男友出,
而他本來就幾乎都沒在住了,
我覺得這樣也很狠心

我該怎麼處理會比較好ㄋ……..
是在跟前男友談,還是直接搬走ㄋ…………