우리가 직접 측정한 숫자를 그대로 공개합니다. 잘 나온 것도, 못 하는 것도 같이 싣습니다. 모든 수치는 자체 벤치마크 한정이며 재현 절차를 함께 적었습니다.
우리가 직접 측정한 숫자를 그대로 공개합니다. 잘 나온 것도, 못 하는 것도 같이 싣습니다. 모든 수치는 자체 벤치마크 한정이며 재현 절차를 함께 적었습니다. 회원가입 없이 무료이고, 분석은 브라우저 안에서 실행돼 파일이 서버로 올라가지 않습니다. 자체 공개 게이트(실사 30 + AI 83장) 실측에서 원본 화질 94.7%, SNS 재압축본 87.6% 정확했고 실제 사진을 AI로 확정 오판한 사례는 0건입니다. 다만 참고용 지표이며 최신 상용 생성기는 어떤 탐지기로도 놓칠 수 있습니다 — 채용·법적 판단의 단독 근거로 쓰지 마세요.
우리가 직접 측정한 숫자를 그대로 공개합니다. 잘 나온 것도, 못 하는 것도 같이 싣습니다. 모든 수치는 자체 벤치마크 한정이며 재현 절차를 함께 적었습니다.
2026-07 측정 · 최종 갱신 2026-07-17
"인물 사진이 대부분 50% 근처로 나온다"는 문제를 풀려고, 브라우저(ONNX)에서 구동 가능한 공개 탐지 모델들을 동일 테스트셋 12장(실사 6 + AI 6)으로 직접 비교했습니다. 실사는 재압축된 사진과 공식 포트레이트, AI 는 Flux 포토리얼 인물·SDXL·AI 아트를 섞었습니다.
결과는 갈렸습니다. 대부분의 공개 모델은 실사와 AI 를 거의 분리하지 못했고, 일부는 실사를 AI 로 오탐했습니다. 실사 평균이 높을수록(오른쪽 열) 애먼 사진을 AI 로 지목한다는 뜻입니다.
단일 모델로는 최신 생성기를 놓칩니다. 그래서 실패 유형이 다른 두 모델(SwinV2 + Community Forensics)을 가중 결합하고, 결합비를 실사 40장 + DALL-E 3 40장 + Gemini 30장(n=110)으로 그리드 서치했습니다.
주목할 지점은 정확도가 가장 높은 안을 버렸다는 것입니다. noisyOR 결합이 정확도 93.6% 로 가장 높았지만 실사 3장을 AI 로 "확정" 오판했습니다. 이 도구에서 오류는 방향이 비대칭입니다 — AI 를 놓치면 한 번 속지만, 실사를 AI 로 확정하면 실제 사람의 사진을 가짜라고 지목합니다. 그래서 "실사 확정 오판 0" 을 넘길 수 없는 선으로 두고, 그 안에서 정확도를 올렸습니다.
Gemini 2.5 Flash Image(나노바나나) 미탐 신고를 받고 진단해 보니, 2024년까지 학습된 모델은 이 세대를 거의 전멸(0~13%)했습니다. 학습 시점 이후의 생성기는 탐지기가 본 적이 없기 때문입니다. 이것이 AI 탐지의 구조적 한계입니다 — 생성기는 계속 나오고, 탐지기는 과거만 압니다.
대응으로 최신 생성기 데이터(nano-banana·Imagen 4 등 1,458장)로 자체 추가학습했습니다. 백본을 완전히 동결하고 head 385개 파라미터만 학습(linear probe)해, 원래 알던 실사 표현을 망가뜨리지 않도록 했습니다.
재학습한 v2 는 n=110 벤치에서 99.1% 로 v1 을 크게 앞섰습니다. 그런데 배포 직전 원본 12장 셋에 돌려 보니 스튜디오급 실사를 AI 로 오탐했습니다(공식 포트레이트 94%). 즉시 롤백했습니다.
원인은 학습에 쓴 실사가 한 가지 출처(Flickr30k) 뿐이었다는 것입니다. 벤치마크는 통과하는데 실제 분포에서 무너지는 전형적인 과적합입니다. 큰 벤치(n=110)가 작은 게이트 셋(12장)이 잡아낸 결함을 놓쳤습니다.
이후 실사를 4종(Flickr·picsum·TMDB 배우·FFHQ)으로 다양화하고, 매 에폭마다 12장 게이트에서 "실사 확정 오판 0" 을 필수로 걸었습니다. 이 게이트가 이후 결함 후보 3개를 정확히 실격시켰습니다. 숫자 하나만 보고 배포하지 않는다 — 이 사건에서 얻은 규칙입니다.
이미지와 달리 텍스트는 아직 신뢰할 수준이 아닙니다. 자체 게이트 셋(사람 글 181건 · AI 글 140건, 출처가 보장된 공개 벤치)으로 현재의 문체 휴리스틱을 채점한 결과, 사람이 쓴 글의 24.9% 를 AI 로 표시했습니다. 네 명 중 한 명꼴입니다.
임계값을 올려도 해결되지 않습니다. 오탐을 0 으로 만들면 탐지율이 13.6% 로 무너집니다 — 분리력 자체가 부족하다는 뜻입니다. 그래서 이 도구의 결과 문구를 "AI 작성 의심"(글쓴이에 대한 판정)에서 "AI 글에 흔한 패턴이 많음"(텍스트에 대한 관찰)으로 바꾸고, 실측 오탐률을 결과 옆에 함께 표시합니다.
소형 언어모델의 퍼플렉시티를 얹어 보는 실험도 했지만 접었습니다. 측정해 보니 이 지표는 "누가 썼는가"가 아니라 "문체가 얼마나 정형적인가"를 재고 있었습니다. 2022년식 ChatGPT 의 정형 문체는 잘 잡히지만(사람 대비 0.14배), 최신 모델이 자연스럽게 쓴 글은 사람과 구분되지 않았습니다(0.91배). 실제 LLM 이 쓴 한국어 격식 문서 4건과 사람 글의 퍼플렉시티는 값이 그대로 겹쳤습니다.
과제·자소서 판정에 AI 탐지 결과를 확정 근거로 쓰지 마세요. 우리 도구를 포함해서입니다.
모든 수치는 자체 벤치마크 한정입니다. 표준 벤치마크 순위가 아니며, 다른 테스트셋에서는 다르게 나옵니다.
이미지: 게이트 셋 12장(실사 6 + AI 6) + 회귀 벤치 n=110(실사 40 · DALL-E 3 40 · Gemini 30). SNS 재압축 조건을 근사하기 위해 JPEG 재압축을 적용했습니다.
텍스트: 사람 글은 HC3(영어 5개 도메인)과 KLUE(2021)·kowiki(2022-06) — 발행일이 ChatGPT 공개 이전이라 사람이 쓴 글임이 날짜로 보장됩니다. AI 글은 HC3 의 실제 ChatGPT 답변을 썼습니다.
표본이 작습니다(이미지 n=110, 텍스트 n=321). 신뢰구간을 넓게 보셔야 합니다.
측정 절차와 원자료는 저장소의 docs/DETECTION.md · docs/gates/ 에 공개돼 있습니다.