랭킹 운영 정책

순위를 매기는 기준

해결한 문제 수가 우선입니다. 그다음이 점수입니다.

케이스를 전부 더하는 방식은 쓰지 않습니다. 케이스가 많은 쉬운 문제를 절반 맞힌 쪽이, 케이스가 적은 어려운 문제를 푼 쪽보다 앞서 버리기 때문입니다.

난이도는 푼 사람이 정합니다

출제자가 매긴 난이도는 처음 값일 뿐입니다. 그 문제를 푼 분들이 매긴 난이도가 5표 이상 쌓이면, 그 값이 그대로 배점이 됩니다.

출제자가 생각한 난이도와 실제로 풀어 본 사람이 느낀 난이도는 자주 다릅니다.

부분 점수

해결하지 못했어도 통과한 케이스 비율만큼 점수를 받습니다. 다만 해결이 부분 통과보다 확실히 나아야 하므로, 부분 점수는 비율의 40%만 반영합니다.

마진

같은 "해결"이라도 다 같지 않습니다. 모델이 정답 토큰을 1등으로 뽑을 때 2등과의 차이를 마진이라고 합니다. 마진이 작으면 다른 기기에서 뒤집힐 수 있습니다.

마진은 순위에 직접 반영하지 않습니다. 다만 기록에 남고 화면에 보입니다.

기록을 믿을 수 있게 하려고 두는 장치

순위권에 드는 것을 진지하게 원하시는 분들을 위해 검증 장치를 둡니다.

• 제출 기록에는 어떤 모델과 어떤 환경에서 돌렸는지가 함께 남습니다
• 다른 이용자가 같은 프롬프트를 자기 기기에서 다시 돌려 확인할 수 있습니다
• 자동화 도구를 이용한 대량 제출, 타인 답안 복제, 다중 계정 운영은 추적하고 차단합니다

불일치가 곧 조작은 아닙니다. 양자화와 그래픽카드가 다르면 아무도 속이지 않아도 출력이 갈립니다. 그래서 출력 일치, 내 기기에서의 통과 여부, 환경이 비교 가능한지를 따로 보여 드립니다.

데스크톱이나 휴대폰으로 접속해서, 이 사이트만 보며 직접 입력해 푸시는 것을 권합니다.