로그인가입

배우기 / [튜토리얼 3]

모델이 작아지면 무엇이 깨지나

SmolLM2 135MrawS01
이 글에서 배울 내용
모델이 작을수록 보기를 더 많이, 더 규칙적으로 보여 줘야 한다

문제는 1번과 똑같은 덧셈입니다. 바뀐 것은 모델 하나뿐입니다. Qwen3 0.6B 대신 SmolLM2 135M 으로 풉니다. 이름에 붙은 숫자가 파라미터 수인데, 0.6B 의 4분의 1이 안 됩니다.

이쯤에서 이런 생각이 드실 겁니다. 같은 문제인데 모델만 작아진 것이 왜 따로 문제가 되는가. 직접 넣어 보시면 압니다. 1번에서 통과한 프롬프트를 그대로 가져와 넣으면 대개 안 됩니다.

무엇이 먼저 무너지는가

작은 모델이 가장 먼저 잃는 것은 보기 몇 개로 규칙을 알아채는 힘입니다. 0.6B 는 7 + 2 = 9 두 줄만 봐도 다음 줄에 무엇이 올지 압니다. 135M 은 두 줄로는 잘 못 잡습니다. 그래서 엉뚱한 줄을 잇거나, 보기에 있던 숫자를 그대로 베껴 씁니다.

두 번째로 약한 것이 자릿수 올림입니다. 7 + 9 처럼 10을 넘는 덧셈에서 자주 틀립니다. 이건 프롬프트로 어떻게 해 볼 수 없는 부분도 있습니다. 모델이 모르는 것은 모르는 것입니다.

그래서 이 문제가 더 어렵습니다

이 사이트에 가벼운 모델 문제를 따로 둔 까닭이 여기 있습니다. 큰 모델에서 되는 프롬프트는 작은 모델에서 깨지지만, 작은 모델에서 되는 프롬프트는 큰 모델에서도 거의 됩니다. 쉬운 쪽에서만 연습하면 쉬운 것까지만 할 수 있게 됩니다.

작은 모델로 푸는 것은 벌칙이 아니라 더 높은 난도입니다. 통과하면 실력이 늘어 있는 것입니다.

손 볼 곳

  • 보기를 늘리십시오. 두 줄로 안 되면 네 줄을 넣어 보십시오.

  • 보기를 규칙적으로 쓰십시오. 줄마다 공백과 기호의 자리가 똑같아야 합니다. 한 줄만 모양이 달라도 작은 모델은 흔들립니다.

  • 쉬운 보기부터 어려운 보기로 늘어놓으십시오. 한 자리 덧셈, 두 자리 덧셈 순으로.

  • 한국어를 섞지 마십시오. SmolLM2 는 영어로 배운 모델입니다. 숫자와 기호만 쓰는 이 문제에서는 특히 한국어가 방해만 됩니다.

그래도 안 될 때

열 번 고쳐도 몇 개는 계속 틀릴 수 있습니다. 그때는 어느 케이스가 틀리는지 보십시오. 채점 결과에서 공개 케이스는 모델이 실제로 낸 글을 보여 줍니다. 답이 아예 엉뚱하면 규칙을 못 잡은 것이고, 답은 비슷한데 뒤에 뭐가 붙어 있으면 출력 형식 문제입니다. 둘은 고치는 법이 다릅니다.

예시 답안

그대로 복사해서 문제 쪽의 같은 이름 칸에 붙이시면 됩니다. ␣ 는 공백, ↵ 는 줄바꿈을 보이게 적은 것입니다. 복사되는 것은 원래 글자입니다.

pre_prompt
1␣+␣1␣=␣2↵
5␣+␣3␣=␣8↵
10␣+␣4␣=␣14↵
20␣+␣7␣=␣27↵
post_prompt
␣=␣

한 번 통과시켜 보신 다음에는 꼭 고쳐 보십시오. 어디를 건드리면 무너지는지 보는 것이 답을 아는 것보다 오래 남습니다.