На мой взгляд, все зависит от посыла, который человек вкладывает в эти слова. Я, что ли, не матерюсь? В курилке - да за милую душу. Но я делаю это весело, с подъемом, с юмором. Чтобы слова были выпуклыми, чтобы они играли... Разумеется, без всякой злости. И, по-моему, это совершенно безвредно как для меня, так и для окружающих.
Но вот в ситуации, когда человек злится, слова усиливают посыл. И ранят. Ранят обоих - и "стреляющего" и "мишень". Даже если человек, на которого они направлены, их и не слышит. И даже если злость не направлена ни на кого конкретно, ее энергетика сохраняется. И возвращается..
Я здесь говорю не только о мате, разумеется. Я говорю вообще о злости. А мат - это как увеличительное стекло...