소수자(minority)에 대한 차별이나 혐오표현이 문제가 되는 건 그런 것들이 소수자들의 실질적인 자유를 침해하기 때문입니다.
예를 들어 한국인이 소수자인 상황에서, 가령 일본에서 일본인들이, 혹은 미국에서 미국인들이 거리낌없이 '한국인들은 재수없다' '한국인들은 꼴도 보기싫다' '그냥 싫어서 싫다고 하는데 이게 무슨 문제야? 표현의 자유도 몰라?'라는 말을 한다면, TV의 연예인들도 직장 동료들도 학교 친구들도 자연스럽게 저런 말을 한다면 일본이나 미국에 사는 한국인들이 그들과 동일한 기본권을 누리며 살기는 어렵겠지요. 저런 상황에서 어떻게 맘편하게 취업을 하고 학교를 다니고 외출을 할 수 있겠어요.
(반대로, 한국에 놀러온 일본인 여행자가 저런 말을 한다고 해봤자 그 말을 듣는 한국인들이 화가 나거나 불쾌할지는 몰라도 일상생활에 지장을 받지는 않을 겁니다. 한국에서 한국인은 마이너리티가 아니니까요)
사회에서 산다는 것은 자유의 일부를 포기하는 것이고, 사회에서 자유는 타인의 자유를 침해하지 않는 한에서 허용됩니다.
그래서 표현의 자유를 일부 제한해야 하는 경우도 생기는 거지요.