문제
기본적으로 쉬운 문제부터 보여드리도록 하고 있습니다. 처음 오셨다면 위에서부터 차례로 풀어보시면 됩니다. AI 모델이 여러분의 기기에서 직접 돌기 때문에, PC 환경을 권장합니다. 모바일에서는 한 문제를 채점하는 데 몇 분이 걸릴 수 있습니다.
조건에 맞는 문제 106개 · 5 / 6 쪽
S34길게 쓰라는 지시 누르기 · SmolLM2 135M
길게 설명하라는 지시를 뚫고 낱말 하나만 받아냅니다. 지시가 서로 반대일 때 모델이 어느 쪽을 듣는지 보는 문제입니다.
400점chat지시 계층설명 억제
10월 11일
400점S41식 만들기 (raw) · SmolLM2 135M모델이 답을 내지 않습니다. 식을 내고 계산은 채점기가 합니다. 셈을 자주 틀리는 모델에게 셈을 안 시키는 방법입니다.
400점raw코드 생성계산
10월 11일
400점S42식 만들기 (chat) · SmolLM2 135M같은 일을 조수 모드로 합니다. 조수는 식 대신 답을 내려고 하기 때문에 그쪽을 막아야 합니다.
400점chat코드 생성계산
10월 11일
400점S52여덟 낱말 중 가장 긴 것 (분할 정복) · SmolLM2 135M같은 4-2-1 구조에 글자를 못 세는 맹점이 겹칩니다. 단계마다 무엇을 다음으로 넘길지 정해야 합니다.
400점chat분할 정복토크나이저일반화
10월 11일
400점S53예시 셋으로 단위 변환 · SmolLM2 135M프롬프트를 쓸 수 없습니다. 입출력 예시 세 쌍만 제출해서 모델이 규칙을 스스로 알아내게 만들어보세요.
400점raw퓨샷 고정퓨샷 설계일반화
10월 11일
400점S55예시 셋으로 날짜 형식 · SmolLM2 135M예시 셋으로 날짜를 YYYY-MM-DD 모양으로 바꾸게 만듭니다. 한 자리 수에 0 을 채우는 것이 함정입니다.
400점raw퓨샷 고정퓨샷 설계변환
10월 11일
400점M24글자 수 세기 (raw) · SmolLM2 360M앞 문제와 같은 일인데 메모할 칸도 없고 지시도 짧습니다. 이 사이트에서 가장 어려운 문제 가운데 하나입니다.
500점raw토크나이저출력 형식
10월 11일 · 1명이 풀었습니다 · 제출 149건
500점M35데이터에 섞인 명령 (chat) · SmolLM2 360M입력 데이터 안에 명령이 섞여 들어옵니다. 모델이 그 명령을 따르지 않고 원래 하던 일을 계속하게 만들어보세요.
500점chat주입 방어분류
10월 11일 · 아직 푼 분이 없습니다 · 제출 2건
500점M36구분자를 닫는 공격 · SmolLM2 360M공격이 여러분이 열어 둔 구분자를 먼저 닫고 자기 명령을 내립니다. 닫히지 않는 경계를 만들어야 합니다.
500점chat주입 방어구분자
10월 11일
500점M37지시문 누설 막기 · SmolLM2 360M데이터가 모델에게 자기 지시문을 먼저 읊으라고 시킵니다. 읊지 않게 막아보세요.
500점chat주입 방어지시 계층
10월 11일
500점M38주입 섞인 추출 · SmolLM2 360M숫자를 꺼내야 하는데 데이터가 중간에 딴 일을 시킵니다. 하던 일을 끝까지 하게 만들어보세요.
500점chat주입 방어추출
10월 11일
500점M39역할 바꾸기 공격 · SmolLM2 360M공격이 대화 차례를 흉내내서 모델의 역할을 가로챕니다. 가짜 차례를 알아보게 만들어야 합니다.
500점chat주입 방어분류
10월 11일
500점M40다중 주입 · SmolLM2 360M한 입력 안에 서로 다른 공격이 세 개 들어 있습니다. 하나만 막는 프롬프트로는 통과하지 못합니다.
500점chat주입 방어분류
10월 11일
500점M49코드 짜고 심사받기 (chat) · SmolLM2 360M모델이 자바스크립트를 짜고, 같은 모델이 그 코드를 5점 만점으로 매깁니다. 채점하는 쪽도 모델이라는 점을 생각해보세요.
500점chat모델 채점코드 생성설명 억제
10월 11일
500점M50코드 짜고 심사받기 (raw) · SmolLM2 360M같은 심사를 채팅 형식 없이 합니다. 멈출 줄 모르는 모델에게서 코드만 깔끔하게 받아내야 합니다.
500점raw모델 채점코드 생성출력 형식
10월 11일 · 1명이 풀었습니다 · 제출 1건
500점M54예시 셋으로 감정 분류 · SmolLM2 360M예시 셋으로 긍정과 부정을 가릅니다. 마지막에 둔 라벨이 기본값처럼 작동하니 순서를 신경 써보세요.
500점raw퓨샷 고정라벨 쏠림분류
10월 11일
500점S24글자 수 세기 (raw) · SmolLM2 135M앞 문제와 같은 일인데 메모할 칸도 없고 지시도 짧습니다. 이 사이트에서 가장 어려운 문제 가운데 하나입니다.
500점raw토크나이저출력 형식
10월 11일
500점S35데이터에 섞인 명령 (chat) · SmolLM2 135M입력 데이터 안에 명령이 섞여 들어옵니다. 모델이 그 명령을 따르지 않고 원래 하던 일을 계속하게 만들어보세요.
500점chat주입 방어분류
10월 11일
500점S36구분자를 닫는 공격 · SmolLM2 135M공격이 여러분이 열어 둔 구분자를 먼저 닫고 자기 명령을 내립니다. 닫히지 않는 경계를 만들어야 합니다.
500점chat주입 방어구분자
10월 11일
500점S37지시문 누설 막기 · SmolLM2 135M데이터가 모델에게 자기 지시문을 먼저 읊으라고 시킵니다. 읊지 않게 막아보세요.
500점chat주입 방어지시 계층
10월 11일
500점한 쪽에 20개씩 보여드립니다. 어떻게 푸는지 모르시겠으면 가이드를 먼저 읽어보셔도 좋고, 그냥 1번 문제부터 눌러보셔도 됩니다.
문제가 안 열리거나 모델이 안 올라오면 Q&A를 먼저 보십시오. 자주 묻는 것들을 모아 두었습니다. 거기에도 없으면 문의해 주시면 제가 직접 답해 드립니다.