Раздражение не выгодно никому. Я по природе спокойный человек (флегматик) и к тому же интроверт. Соответственно внешне мое состояние понять очень сложно. Вряд ли у соседа есть на этот счет какие-либо свои планы.
Мне он неприятен как личность, что-то вроде отвращения при виде змей, пауков, тараканов у некоторых.
Жить с этим можно конечно, и даже без особых напрягов, но зачем. Хуже всем от такого проживания совместного будет.