租屋糾紛.房東兒子要來住?!

事情是這樣的..(文長.抱歉喔~)
去年7月底我和朋友共三位年輕單身女生
一起在台北市大安區找到一層電梯公寓出租
當時是透過仲介看到這間公寓.大約60坪有5間房間
房東夫婦平日少來住.只有他們兒子來台北時才會住
那時仲介說房東只是想找人住在裡面.最好是夫妻或女孩子
可以幫忙照顧房子等.但是條件是保留2間房間
讓”房東太太”大約幾個月-半年一次上來台北可住
時間大概1-2天.來之前會先電話告知我們

於是我們3個歡天喜地的租下這層公寓
以房子大小.附冰箱.洗衣機.廚具.沙發.客廳電視等房東原有的家具
我們付出的租金的確算便宜.簽約時有房東太太與仲介
當時也當面確認會來住的只有”房東太太”而已
沒想到搬進去後才是惡夢的開始….

搬進去後不到一個月.我們發現房東兒子告訴我們
他半個月就會來台北一趟.所以等於一個月他要來住個2-3天
當時就已經不太愉快.跟仲介還有房東太太也有聯繫溝通
房東太太還表示他兒子東西都搬回家.並沒有要來住這房子
總之他們一家人都活在自己世界.溝通半天還是在講他們自己的邏輯
後來我們自己跟房東兒子當面談.也是在不太愉快又尷尬的氣氛下
房東兒子之後大概1-2個月才會來住一晚.或偶爾自行進來拿東西信件等

當初我們是簽一年的合約.簽約時其實沒有註名只限房東太太來住
這個部分只有寫來住會先電話告知.其它是口頭談的
現在租約剩3個多月..最近房東太太又打電話來
說她”另一個兒子”從國外回來.要住這間房子大約2-3星期
期間還會出差到大陸之類…
我們也是到現在才知道有另一個兒子的存在
其實當初若知道有此情形.再便宜也寧可不租阿@@”

現在我們是想確認是否有續約可能
若沒有就強硬一點告知房東太太我們不能接受
但房東太太含糊其詞.說他們家男生都反對.因為很不方便
又說房子那麼便宜租給我們.我們卻都不讓他們來住.她還要回去問問看..等
我們真的很困擾.這種情形到底該如何解決阿?