APEACH: Attacking Pejorative Expressions with Analysis on Crowd-Generated Hate Speech Evaluation Datasets

APEACH는 헤이트 스피치 감지에서 훈련 및 평가 데이터셋을 다양한 도메인에서 개발하는 것이 핵심 문제임을 강조하며, 이에 대한 해결책으로 제안된 방법론이다. 기존 접근법은 소셜 미디어 텍스트를 크롤링하고 크라우드 워커를 활용해 데이터를 라벨링하는 방식을 사용하지만, 이는 페조리브 표현의 범위를 특정 도메인에 한정시켜 일반화 능력을 제한한다. APEACH는 이러한 한계를 극복하기 위해 비지정된 사용자에게 헤이트 스피치 예시를 생성하도록 요청하고, 이후 최소한의 후 라벨링을 통해 데이터셋을 생성한다. 이는 사전 학습 코퍼스와 평가 데이터셋 간의 어휘 중복에 민감하지 않도록 데이터를 수집함으로써 모델 성능을 정확하게 평가할 수 있도록 한다.

APEACH는 한국 소프트웨어 엔지니어에게 데이터 수집 및 모델 평가 방식에 혁신적인 변화를 가져올 수 있다. 기존의 크라우드 워커 기반 데이터 라벨링은 비용이 높고, 도메인 제한이 있는 반면, APEACH는 사용자 참여를 통해 더 다양한 헤이트 스피치 표현을 수집할 수 있어 모델의 일반화 능력을 향상시킬 수 있다. 이는 NLP 모델 개발 과정에서 데이터 품질과 다양성을 고려하는 엔지니어들에게 새로운 접근 방식을 제시하며, 특히 저자 언어 모델의 사전 학습 데이터와 평가 데이터 간의 격차를 줄이는 데 유용하다.

개발자는 데이터 수집 방식을 혁신적으로 바꾸고, 사용자 참여를 통한 데이터 생성을 고려해야 한다. APEACH는 단순한 라벨링이 아닌 사용자 생성 콘텐츠를 기반으로 데이터셋을 구성하므로, 데이터 품질 관리와 편향 방지를 위한 철저한 검증이 필요하다. 또한, 헤이트 스피치와 관련된 윤리적 문제를 고려해 데이터 수집 및 사용에 대한 명확한 가이드라인이 필요하다. 이러한 점을 고려해 개발자는 데이터 생성 과정에서 사용자 참여의 신뢰성과 데이터의 윤리적 사용을 보장해야 한다.