ChatGPT vs Claude vs Gemini
"뭐가 제일 좋아요?"에 정직하게 답하기
이 글은 특정 시점의 모델 버전별 스펙표나 순위를 제시하지 않는다. 세 서비스 모두 수개월 단위로 모델을 교체하고 가격 정책을 바꾸기 때문에, 그런 표는 발행 직후부터 틀리기 시작한다. 실제로 "○○이 1위"라고 단정한 비교글이 몇 달 만에 무의미해지는 걸 반복해서 봐왔다.
대신 이 글은 어떤 기준으로 판단할지를 다룬다. 기준은 모델이 바뀌어도 남는다. 현재 시점의 구체적 사양·요금은 반드시 각 서비스 공식 페이지에서 확인하시라.
① "어느 게 제일 좋냐"는 잘못 설정된 질문이다. 작업 종류에 따라 답이 갈리므로 "이 작업엔 무엇"으로 바꿔야 한다.
② 실사용에서 갈리는 축은 다섯 개 — 긴 문서 처리, 코드, 한국어 문장력, 최신 정보 접근, 비용.
③ 가장 정확한 판단은 리뷰 읽기가 아니라 본인 작업 5개를 세 도구에 똑같이 돌려보는 것이다. 30분이면 끝나고, 어떤 벤치마크보다 정확하다.
① 왜 벤치마크 순위를 믿으면 안 되나
새 모델이 나올 때마다 막대그래프가 따라온다. 시험 점수, 코딩 정답률, 추론 문제 성적. 이 숫자들에는 구조적인 문제가 두 가지 있다.
첫째, 학습 데이터 오염이다. 벤치마크 문제는 대개 인터넷에 공개돼 있고, 모델은 인터넷을 학습한다. 시험 문제를 미리 본 셈이니 점수가 부풀려진다. 어느 정도 부풀려졌는지는 외부에서 확인하기 어렵다.
둘째, 측정 대상이 내 작업과 다르다. 대학원 수준 수학 문제를 잘 푸는 능력과, 내가 쓴 메일을 자연스럽게 다듬는 능력은 별개다. 벤치마크는 전자를 재고 나는 후자가 필요하다.
절대 점수 대신 같은 벤치마크에서 세대 간 변화를 보는 건 의미가 있다. 동일 조건에서 전작 대비 얼마나 올랐는지는 오염 효과가 어느 정도 상쇄되기 때문이다. 또 독립 기관의 블라인드 평가(사용자가 어느 모델인지 모르고 답을 비교하는 방식)는 상대적으로 신뢰도가 높다.
② 실사용에서 갈리는 다섯 가지 축
축 1 — 긴 문서 처리
수십 페이지 PDF나 긴 회의록을 통째로 넣고 다루는 작업이다. 여기서 봐야 할 건 컨텍스트 윈도우 크기만이 아니다. 더 중요한 건 긴 입력의 중간 부분을 얼마나 잘 붙잡고 있는가다.
많은 모델이 문서 앞부분과 뒷부분은 잘 기억하지만 가운데는 흐릿해지는 경향을 보인다. 이걸 직접 확인하는 방법이 있다. 긴 문서 중간쯤에 특이한 문장 하나를 심어놓고, 그 내용을 물어보는 것이다. 컨텍스트 100만 토큰을 지원한다고 광고해도 이 테스트를 통과 못 하면 실사용에서는 의미가 제한적이다. 이 문제와 표가 깨지는 문제를 실전 대응법까지 자세히 다룬 글은 AI에게 문서를 읽히는 법에 따로 정리했다.
축 2 — 코드
코드는 정답이 명확해서 비교가 쉬운 편이다. 다만 "짧은 함수 하나 짜기"와 "기존 코드베이스를 이해하고 수정하기"는 완전히 다른 능력이다. 후자를 쓸 거라면 후자로 테스트해야 한다.
실무에서 갈리는 지점은 보통 모른다고 말하는가이다. 존재하지 않는 라이브러리 함수를 그럴듯하게 만들어내는 빈도가 도구마다 다르다.
축 3 — 한국어 문장력
영어 성능과 한국어 성능은 비례하지 않는다. 한국어 학습 데이터의 양과 질, 토크나이저가 한국어를 어떻게 쪼개는지에 따라 달라진다.
확인 방법: 같은 한국어 문단을 세 도구에 주고 "자연스럽게 다듬어줘"라고 시켜본다. 번역투가 남는지, 조사가 어색한지, 문어체/구어체를 일관되게 유지하는지가 금방 드러난다. 이 축은 개인차·취향이 크게 작용하므로 남의 평가가 특히 안 맞는 영역이다.
축 4 — 최신 정보 접근
모델 자체의 지식은 지식 컷오프에서 멈춰 있다. 그 이후 정보는 검색 기능(RAG)으로 보충한다. 그래서 봐야 할 건 두 가지다.
① 검색을 쓰는지 안 쓰는지 사용자가 알 수 있는가. 조용히 기억으로 답하는 것과 검색해서 답하는 것은 신뢰도가 완전히 다른데, 이걸 구분해 보여주지 않는 도구가 있다.
② 출처를 클릭 가능한 링크로 주는가. 출처 없는 최신 정보는 검증 불가능하므로 사실상 쓸 수 없다.
주가·실적·환율처럼 시시각각 변하는 숫자는 어떤 AI 도구에서도 그대로 받아쓰면 안 된다. 검색 기능이 붙어 있어도 마찬가지다 — 검색 결과가 오래된 페이지일 수 있고, 요약 과정에서 숫자가 바뀔 수도 있다. 자세한 이유는 AI 환각 가이드에 정리했다. 실제 수치는 거래소·기업 IR·공시 원문에서 확인해야 한다 — 예컨대 실적 수치는 빅테크 실적 해석 가이드처럼 원문 공시를 근거로 한 자료에서 확인하는 식이다.
축 5 — 비용
월 구독료만 비교하면 놓치는 게 많다. 실제로 봐야 할 것들:
- 무료 구간에서 어디까지 되는가 — 대부분의 개인 사용자는 무료로 충분한 경우가 많다
- 사용량 제한이 어떻게 걸리는가 — 시간당 메시지 수, 파일 업로드 크기, 고성능 모델 사용 횟수
- API를 쓸 거라면 토큰 단가 — 한국어는 영어보다 토큰을 많이 쓴다는 점을 감안해야 한다 (LLM 작동 원리 참고)
③ 30분 자체 테스트 방법
어떤 리뷰보다 정확한 방법이다. 절차는 단순하다.
| 단계 | 할 일 |
|---|---|
| 1 | 본인이 실제로 자주 하는 작업 5개를 고른다 (가상의 테스트 문제가 아니라) |
| 2 | 각 작업의 프롬프트를 글자 하나까지 동일하게 준비한다 |
| 3 | 세 도구에 각각 새 대화로 입력한다 (같은 대화창 재사용 금지) |
| 4 | 결과를 나란히 두고 이름을 가린 채 비교한다 — 브랜드 선입견 제거 |
| 5 | 작업별로 승자를 기록한다. 전체 1등이 아니라 작업별 1등이 나오는 게 정상이다 |
실제로 이 테스트를 해보면 "하나만 쓴다"는 결론이 잘 안 나온다. 긴 문서는 A, 한국어 다듬기는 B, 최신 뉴스는 C가 나은 식으로 갈리는 게 보통이다. 무료 계정을 세 개 만들어 작업별로 나눠 쓰는 게 현실적인 선택인 경우가 많다.
④ 도구를 고를 때 흔히 놓치는 것들
데이터 취급 정책. 입력한 내용이 모델 학습에 쓰이는지, 설정에서 끌 수 있는지, 대화가 얼마나 보관되는지. 업무 문서를 넣을 거라면 가장 먼저 확인해야 할 항목인데 성능 비교에 밀려 자주 생략된다.
기존 도구와의 연결. 문서·메일·캘린더와 붙는지, 사내 시스템과 연동할 수 있는지. 순수 성능 차이보다 실제 생산성에 미치는 영향이 클 때가 많다.
출력의 일관성. 같은 프롬프트를 다섯 번 돌렸을 때 결과가 얼마나 흔들리는지. 반복 작업에 쓸 거라면 최고 성능보다 이 안정성이 중요하다.
⑤ 정리
"어느 AI가 제일 좋냐"에 대한 정직한 답은 "작업에 따라 다르고, 몇 달 뒤엔 또 달라진다"이다. 실망스러운 답처럼 들리지만, 이 사실을 받아들이는 게 실용적이다.
그래서 남는 건 순위표가 아니라 판단 기준이다. 다섯 개 축을 알고, 30분 테스트를 돌릴 줄 알면, 모델이 몇 번을 바뀌어도 매번 스스로 답을 낼 수 있다.
※ 본 글은 2026년 7월 기준으로 작성되었으며, 특정 서비스의 현재 사양·요금·정책은 각 사 공식 페이지에서 확인하시기 바랍니다. 본문은 특정 서비스나 관련 기업에 대한 투자 권유가 아닙니다.
※ 본 가이드는 일반 교육 목적의 참고 자료이며, 이해를 돕기 위해 기술적 세부사항을 단순화했습니다.
새 가이드가 나오면 알려드립니다
AI 리터러시 가이드는 주 2회 발행합니다. 구독하시면 다음 편을 메일로 보내드립니다. 무료이고 언제든 해지할 수 있습니다.