我該怎麼對付這種小人

我上的是大夜班會計工作,工作場所很雜亂.只有我一個女的
因為都是男的
所以廁所很髒很噁
因此我每次上廁所都會到鄰近的萊爾富上廁所
走路大概5分鐘
有時候我會去辦個小時（因為我都慢慢走或者慢慢上）
有幾次因為在辦公室講電話不方便
所以我會去很久
最久是１個小時
我知道我不可以這樣
但是這個小人主管
竟然把勞基法搬出來
說我們公司有義務保障女性夜間工作安全
所以他要我每次出去就打卡
回來再打一次卡
我聽到後
覺得我又不是小學生
我跟他說我以後不會這樣
我會控制自己的時間
但我不會打卡
他竟說
好ㄚ
那我就寫簽呈
交由上頭處理
馬的
之前跟他相處愉快我怎樣都不會說什麼
後來因為一些事
他就找我麻煩
如果他真的跟上頭講
我也會跟上頭說
他上班時間賭博
真的越想越氣
我工作場所只有一個會計
其他就兩個男的內勤倉管
另外都是司機
那我也可以說有的司機去送貨都送很久（比其他人久）
那他回來也要打一次卡
出去再打一次卡
我也知道我理虧
但是就是覺得他是公報私仇