채팅 내 어뷰징 탐지 시스템
번개장터 내 채팅 기능을 통해 에스크로 결제를 회피하려는 어뷰징 시도를 오픈소스 LLM을 사용해 탐지하는 시스템 개발에 참여했습니다. 기존 시스템보다 50% 더 많은 어뷰징 사용자를 제재하고, 이로부터 안전결제 전환을 유도해 에스크로 거래액을 증가시킨 시스템 개발 과정을 설명합니다.
Situation
번개장터의 안전결제는 상품 가격의 6%를 판매자에게 수수료로 부과하는 에스크로 결제 시스템입니다. 이 수수료를 회피하기 위해 일부 판매자가 채팅에서 연락처·계좌번호 등 개인 식별 정보를 직접 공유하는 사례가 다수 확인되고 있었습니다. 안전결제를 우회한 거래는 구매자를 잠재적 사기 피해에 노출시킬 수 있기 때문에, 이러한 시도를 어뷰징으로 정의하고 탐지 및 제재를 가하는 기능을 도입해 운영하고 있었습니다. 하지만 기존의 규칙 기반 탐지는 은어·이미지 공유 등 점점 정교해지는 회피 패턴을 따라가지 못해, 탐지 로직의 고도화가 필요했습니다. 따라서 채팅 맥락을 해석해 회피 패턴을 판단하는 LLM 기반 탐지 시스템을 도입했습니다.
Task
- 맥락 추론 : 회피 패턴은 실시간으로 진화하므로, 정적인 데이터로 학습된 모델을 활용하는 시스템 대신 추론 시점에 맥락을 해석해 판단할 수 있는 LLM 기반 시스템이 필요했습니다.
- 정확도 우선 : 정상적인 대화를 어뷰징으로 잘못 적발해 제재시키는 오탐지는 선의의 사용자에게 즉시 직접적 불이익을 주는 반면 미탐지는 단계적으로 보완 가능하다는 의사결정이 있었기 때문에, 오탐지 최소화를 우선시해야 했습니다.
- 운영 유연성 : 초기에는 시간 단위 배치 추론으로 시작하고, 운영 안정화 후 실시간 추론으로 점진적으로 전환할 계획이었습니다. 따라서 배치, 실시간 추론에서 모두 사용 가능한 이벤트 기반 아키텍처가 필요했습니다.
Action
Result
사용자 제재 및 분쟁 해결 업무를 담당하는 사내 운영본부와의 협업으로 구축한 채팅 내 어뷰징 탐지 시스템이 실제 운영 환경에서 어떤 성과를 거두었는지 정리합니다.
기존 시스템은 DB에 저장된 금지 문구들에 대한 정규표현식 매칭과 OCR 모델에 의존하고 있었습니다. 이 방식은 저장되지 않은 새로운 어뷰징 패턴에는 대응할 수 없다는 한계가 있었습니다. 이를 해결하기 위해 새로 구현한 시스템에서는 LLM의 판단을 기반으로 어뷰징 패턴을 탐지합니다. 이 덕분에 처음 보는 어뷰징 패턴도 성공적으로 탐지하게 되어, 병렬 운영 기간 동안 기존 시스템 대비 4.6배 많은 어뷰징 시도를 탐지할 수 있음을 확인했습니다.
점진적 롤아웃 시작 이후, LLM 시스템이 어뷰징으로 판정한 사용자에게는 내부 운영 규칙에 따른 자동 제재가 적용되었습니다. 제재를 받은 사용자가 이의 제기를 하면 운영본부가 검토 후 승인 여부를 결정합니다. 이 이의제기 승인율을 시스템의 오탐율로 정의하고 모니터링했습니다. 일별 오탐율 지표가 일관적으로 낮게 유지되는 것을 근거로 기존 시스템을 전면 대체한다는 의사결정을 내렸고, 현재는 이 시스템이 번개장터의 모든 채팅에서 어뷰징 여부를 판단하는 표준 파이프라인으로 운영되고 있습니다.
전면 도입 이후, 어뷰징 시도가 탐지되어 이의 제기 없이 제재를 적용받은 사용자의 수는 기존 대비 49.5% 증가했습니다. 이들 중 일부는 이후 판매에서 더 이상 안전결제를 회피하지 않고 에스크로 결제로 전환했으며, 이 전환이 유의미한 거래액 증분을 만들어냈음을 추후 데이터 분석을 통해 확인했습니다. 기존에는 안전결제 시스템 밖에서 일어나고 있던 거래가 시스템 안으로 들어온 것으로 평가되어 비즈니스 측면에서 의미 있는 성과를 거뒀습니다.