Q&A

채점에 쓰는 언어 모델을 제 서버가 아니라 여러분의 브라우저가 직접 내려받아서 실행한다는 뜻입니다. 처음 한 번은 수백 MB 를 받으셔야 하는데, 받아 두면 브라우저가 보관하기 때문에 다음부터는 바로 시작합니다.

이렇게 만든 이유가 있습니다. 모델을 서버에서 돌리면 사람이 늘어날 때마다 비용이 같이 늘어납니다. 그러다 감당이 안 되면 문을 닫게 되는데, 그런 이유로 사라진 사이트를 여럿 봤습니다. 여기는 사람이 많이 와도 제가 내는 비용이 늘지 않는 구조라서, 그 걱정은 하지 않으셔도 됩니다.

맞습니다. 기기가 바뀌면 같은 프롬프트라도 결과가 달라질 수 있습니다. 노트북에서 16개를 다 통과한 프롬프트가 휴대폰에서는 몇 개만 맞는 일도 생깁니다. 버그가 아니라 구조상 그렇습니다.

까닭은 세 가지입니다. 노트북에서는 WebGPU 로 돌지만 휴대폰에서는 WASM 으로 도는 경우가 많고, 이 둘은 연산 커널이 아예 다릅니다. 받아간 양자화도 다를 수 있는데, q4 와 q8 은 모델 가중치 숫자 자체가 다릅니다. 쓸 수 있는 스레드 수가 다르면 더하는 순서가 달라지고, 부동소수점은 더하는 순서가 바뀌면 값이 미세하게 달라집니다.

이 미세한 차이는 보통 묻힙니다. 그런데 모델이 다음 글자를 고를 때 1등과 2등의 점수 차이, 즉 마진이 0 에 가까운 자리에서는 순위가 뒤집힙니다. 그러면 그 자리부터 뒤의 글자가 통째로 달라집니다.

로컬 저지는 로컬 LLM의 활용에 대해서 진지하게 생각합니다. 실제로도 LLM 모델은 돌리는 GPU 환경에 따라서 뱉는 출력이 다릅니다. 자신의 컴퓨터 환경에 맞게 최대한 LLM 프롬프트를 활용하는 것도 요구되는 역량 중 하나라고 생각합니다.

다만 이를 악용할 수 있기에, 제출한 컴퓨터 환경을 제출한 답과 함께 기본적으로 출력합니다. 지금 내 컴퓨터가 무엇으로 도는지는 모델 화면에서 보실 수 있고, 남이 낸 답 옆에도 그 사람이 돌린 환경이 같이 적혀 있습니다. 어떤 장비에서 어떤 프롬프트를 넣으면 통과하는지가 같이 보이면 서로에게 쓸모가 있고, 저는 그런 이야기가 토론 게시판에서 오가기를 바라고 있습니다.

그래서 마진이 작은 통과는 좋은 통과가 아닙니다. 그 사람 기계에서만 통한 것일 수 있습니다. 채점 결과에 마진이 같이 뜨니, 작게 나왔다면 한 번 더 다듬어 보시는 쪽을 권해드립니다.

모델을 처음 불러올 때 자동으로 저장됩니다. 따로 누르지 않으셔도 됩니다. 저장되는 곳은 이 컴퓨터의 브라우저 안(Cache Storage)이고, 설치 파일이 생기거나 다운로드 폴더에 들어가지 않습니다. 다른 사이트는 이 파일을 볼 수 없습니다.

크기는 모델 하나당 150MB 에서 500MB 정도입니다. 지금 무엇을 받아 두었는지는 모델 화면에 나옵니다.

지우실 때는 브라우저 설정에서 이 사이트의 데이터를 지우시면 됩니다. 크롬이면 주소창 왼쪽 자물쇠를 누르고 사이트 데이터 삭제, 사파리면 설정에서 웹사이트 데이터 관리입니다. 지운 뒤 다시 푸실 때 한 번 더 받게 됩니다.

모델 파일은 저희 서버를 거치지 않습니다. 허깅페이스에서 여러분 브라우저로 바로 내려옵니다.

세 가지 이유가 있습니다.

첫째로, 작은 모델에서 되는 프롬프트는 큰 모델에서도 됩니다. 그 반대로는 안 됩니다. 쉬운 쪽에서 연습하면 쉬운 것까지만 할 수 있게 되는데, 어려운 쪽에서 연습하면 양쪽이 다 됩니다.

둘째로, 현장에는 좋은 모델을 못 쓰는 자리가 생각보다 많습니다. 사내망 안이라서, 인터넷이 없는 장비라서, 단가가 안 맞아서 그렇습니다. 작고 약한 모델을 잘 다루는 것은 실제로 필요한 능력입니다.

셋째로, 모두가 같은 모델을 써야 채점이 공평해집니다. 각자 쓰는 모델이 다르면 프롬프트 실력을 겨루는 것이 아니라 어떤 모델을 쓰는지를 겨루게 됩니다.

모델은 여러분 기기에서 돌지만, 정답과 맞춰보는 일은 서버에서만 합니다. 브라우저가 서버로 보내는 것은 모델이 내놓은 글자뿐이고, 그것이 맞았는지 틀렸는지는 서버가 정합니다. 브라우저가 통과했다고 주장해도 서버는 그 말을 쓰지 않습니다.

테스트 케이스도 공개 다섯 개만 기대하는 답을 같이 보여드립니다. 나머지는 입력만 내려가기 때문에 답을 미리 알 수 없습니다. 여기에 더해, 다른 분이 같은 프롬프트를 자기 기기에서 다시 돌려보는 상호 검증도 두었습니다.

모델이 정답 글자를 1등으로 뽑을 때, 2등과 얼마나 벌어져 있었는지를 재는 값입니다. 통과한 케이스마다 함께 기록됩니다.

이 값이 0 에 가까우면 아슬아슬하게 통과한 것입니다. 그래픽카드나 브라우저가 바뀌면 같은 프롬프트가 뒤집힐 수 있습니다. 반대로 마진이 넉넉하면 어디서 돌려도 같은 답이 나옵니다. 같은 100점이라도 그 안쪽이 다릅니다.

몰라도 문제를 푸는 데는 아무 상관이 없습니다. 통과는 통과입니다. 다만 어제 되던 프롬프트가 오늘 안 될 때, 이 숫자를 보시면 까닭이 대체로 설명됩니다.

참고로 이 값은 모델이 남의 서버에 있으면 꺼낼 수 없습니다. API 는 글자 하나하나의 확률을 돌려주지 않기 때문입니다. 모델이 여러분 기기 안에서 도니까 볼 수 있는 숫자입니다.

본 사이트에서는 휴대폰으로 문제를 푸는 사람도 최대한 지원하고 있습니다. 아이폰은 iOS 18 이상, 안드로이드는 크롬 최신판에서 동작을 검증하고 있습니다.

다만 두 가지는 알아두세요. 모델 파일의 용량이 수백 MB 정도라서 와이파이에서 받으시는 편이 좋고, 기기가 WebGPU 를 지원하지 않으면 한 번 채점에 수십 초가 걸릴 수 있습니다. 내 기기가 어떤지는 모델 화면에서 바로 확인하실 수 있습니다.

처음 풀어보실 때는 데스크탑 컴퓨터에서 푸시는 것을 권장합니다. 프롬프트를 고쳐가며 여러 번 돌리게 되는데, 화면이 넓은 쪽이 훨씬 편합니다.

가입할 때는 필요 없고, 문제를 3개 해결하신 다음부터 필요합니다. 한 사람이 계정을 여러 개 만들어서 순위를 흔드는 일을 막기 위한 최소한의 장치입니다. 번호는 암호화해서 보관하고 어디에도 공개하지 않습니다.

10문제 이상 해결하시고 휴대폰 인증을 마치시면 출제하실 수 있습니다. 올려주신 문제는 검수자 세 분의 승인을 받고, 그다음 최종 검토를 거쳐서 공개됩니다. 꼭 새 문제를 내지 않으셔도, 기존 문제의 오류를 제보해 주시는 것도 기여가 됩니다. 다만 모든 제보가 기여자로 올라가는 것은 아니고, 내용에 따라 반영됩니다.

없습니다. 풀어주신 기록은 순위의 근거라서 쉽게 지우지 않습니다.

계정을 정리하고 싶으시면 말씀해 주시면 화면에서 보이지 않게 처리해 드립니다. 다만 순위와 분쟁 처리에 필요한 범위에서는 기본적으로 일정 기간 보관하도록 하고 있습니다. 항목별로 얼마나 두는지는 개인정보처리방침에 적어 두었습니다.

프롬프트를 어떻게 짜시든 자유입니다. 꼼수처럼 보이는 방법도 괜찮습니다. 모델을 어디까지 밀어붙일 수 있는지 알아내는 것이 이곳의 재미입니다.

다만 사이트 자체를 건드리는 일은 다릅니다. 사이트에 악영향을 미치는 부정한 행위 및 악의적인 공격 시도는 법적 처벌 대상이 될 수 있습니다.