這樣算不算庸人自擾

我跟我男朋友都是自己一個人住
我會讓我男朋友來我家
但他從來沒有邀我到他家過
有一次我問他為什麼
他說因為那間房是他媽媽的
他當初要求要一個人住在那邊時曾經答應他媽不會帶人進去
我也接受了這個解釋

上一次見面時無意間聊起異性緣這件事
他跟我講了一些以前曾經被倒追的往事
其中有一個女孩子
他說他那時已經自己住了,  也有在考慮要跟那女的在一起
當時兩人約出去逛士林夜市
那女的在路邊買了兩件t-shirt
他問她為什麼要買,  她就說不然等一下去你家要換什麼衣服
後來兩個就回他家
那女的先去洗澡
洗出來之後我男友就問她她的心態
是想交往還是只是sex
那女的說只是sex
我男友覺得這樣不好,  就送她回去了

現在這件事就一直像一根針刺在我的心上
為什麼他說我不能去他家,  但那女的可以
各位姊妹開導開導我吧
我是不是太庸人自擾,  太想不開了?