衣服上出現一小區一小區的米黃色點點 (不是汗漬)

最近發現衣服上出現好多米黃色╱白色的點點，尤其是掛著的衣服，有的還會摻著黑黑的大點，如果用手去摳就會變成粉狀，有時候還弄不掉，一定要洗過才行。
請問這該不會某種蟲類的排泄物吧？今天發現放在廁所裡的架子上也有這樣黑色的點點，請問有誰能告訴我這是什麼和解決的辦法，非常謝謝。