Оправдываться? Ругаться? Надо сказать, что Вы говорите о двух совершенно различных действиях. Одно говорит о самозащите при неком воздействии на Вас, а втоное подразумевает просто не совсем культурное поведение.
Сомневаюсь, что случайный прохожий, по воле случая попавший на этот сайт и множество ему подобных, имеет правильное представление о том что такое магия и сам маг. Скорее всего его слова будут напоминать детский лепет. Можно ли обижаться на это? Нет. Скорее это вызовет улыбку. Как можно оправдываться в таком случае? Можно разве что попытаться объяснить этому прохожему где он ошибся. К сожалению, сделать это не всегда возможно. Но ругаться в этом слусае? Помилуйте! Как можно?