我的男友是朋友的前男友，她的朋友覺得我是趁虛而入，怎麼辦？

我男友是以前大學校友會中，一位同學的男友，
以前與他只是點頭之交，未曾交談，對他的印象，僅是「某某某的男友」。
畢業幾年後，機緣巧合下，他與我取得聯絡，開始魚雁往返，
在書信中，覺得兩人在想法或是興趣上很大契合，也知道他當時是單身……
六月，我們兩個開始交往……

不過，後來才知道，我男友在大學時，便非常非常欣賞我，我那位同學也知道，
他周遭身邊的好友也知道，他心裡有個心儀好感的女生，是我。

可是後來發現，他與我校友會的女同學，是在四月分手，
這表示他分手兩個月後，就跟我在一起了，
雖然我男友一直表示，分手後多久的心態問題，遠比時間長短重要。
而他前女友的好朋友，對我採敵對的態度，認為我是趁虛而入，
雖然我可以大可不理會這些斐短流長，但是我男友與他前女友及其她的好友們有太多不可避免的交集，
我該怎麼辦呢？
給我點意見吧∼∼∼∼感激不盡！！