jacebench

1. 개요

jacebench는 공개 벤치마크가 우리 작업과 다르다는 불만에서 출발했다. MMLU 점수가 몇 점이든, 정작 궁금한 건 "이 모델이 내가 매일 시키는 그 일을 잘 하느냐"다.

그래서 실제로 시키는 작업 — 기획 문서, 방송 공지, 댓글 답글, 리뷰 슬라이드, 앱·게임 목업, SVG 에셋 — 을 동결된 태스크 카드로 만들어 두고, 모델 로스터(2~4자)에게 같은 조건으로 원샷 수행시킨다. 서브에이전트도, 게이트도, 스킬 오케스트레이션도 금지가 1원칙이다. 다른 모델이 한 톨이라도 섞이는 순간 그건 벤치가 아니라 협업이기 때문이다.

심판은 둘이다. AI 크로스벤더 저지가 페어와이즈로 모든 쌍을 비교하고, 사람 블라인드 랭킹 투표가 별도로 순위를 매긴다. 사람 랭킹은 집계할 때 상위-하위 쌍으로 분해되어 같은 페어와이즈 수학에 합류한다.

블라인드가 생명이라 익명 라벨과 실제 모델의 매핑은 런마다 무작위로 섞이고 페이지 소스 어디에도 없다. 정체는 PIN을 넣어 서버가 확인해 줄 때만 열린다.

2. 핵심 기능

• 3단계 발행 게이트 — voting(산출물만 공개, 결과·리더보드 잠금) → judged(AI 심사 완료, 결과 공개·투표 계속) → closed(마감·리빌). 사람 투표가 AI 결과에 오염되지 않게 하는 장치다.
• 블라인드 랭킹 투표 — 이름 게이트를 지나 카드마다 산출물을 드래그로 줄 세운다. 하단 고정 투표바와 진행 게이지가 따라온다.
• 리더보드 — AI 심사와 사람 투표를 따로 세우고 종합을 덧붙인다. 둘이 갈리는 지점이 이 벤치의 관전 포인트다.
• 항목별 결과 — 카드별 요약 표와 저지의 심사평, 실제 산출물 링크.
• 모델 정체 공개 — 페이지의 PIN 버튼으로만 익명 라벨이 풀린다.
• 벤치마크 요청 생성기 — 종목을 고르면 그대로 붙여 넣을 지시문을 만들어 준다.
• 종목(suite) 레지스트리 — 태스크 카드 묶음을 종목 단위로 등록한다. 현재는 글쓰기·슬라이드·목업·SVG를 아우르는 종합 종목 하나.

3. 기술 스택

영역	기술
프론트	정적 HTML + vanilla JS, 외부 리소스 0
API	Cloudflare Pages Functions (투표 집계, PIN 리빌)
저장	Cloudflare KV
실행 하네스	bash + Python (러너 어댑터·헤드리스 캡처·페어와이즈 저지·2단계 발행)
저지	크로스벤더 2종(Claude 계열 · GPT 계열) 페어와이즈
호스팅	Cloudflare Pages

정본(태스크 카드·러너 어댑터·저지 프로토콜)은 사이트가 아니라 jacebench 스킬 쪽에 있다. 이 앱은 결과를 보여주는 창구다.

4. 개발 배경

모델이 바뀔 때마다 "이번 건 진짜 좋아졌나"를 감으로 판단하는 게 싫었다. 그렇다고 벤치마크 논문을 믿기도 어려웠다 — 거기 나오는 문제는 내가 시키는 일과 닮은 구석이 없다.

jacebench는 그 간극을 개인 규모로 메운다. 태스크가 열 몇 개뿐이라 통계적 엄밀함은 없지만, 내 일로 재기 때문에 나에게는 어떤 리더보드보다 정확하다.

설계 원칙도 그에 맞춰 잡았다 — 저비용 상시가 아니라 고품질 이벤트. 자주 돌리지 않는다.

5. 링크

• 라이브: jacebench.pages.dev

6. 관련 문서

• JaceApps 대문