이번에는 영어 소문자 낱말을 대문자로 바꾸는 문제입니다. hello 가 들어오면 HELLO 입니다. 사람에게 시키면 설명이 한 줄도 필요 없는 일입니다. 그래서 오히려 프롬프트를 길게 쓰게 됩니다.
먼저 해보기 쉬운 쪽
처음에는 대개 이렇게 씁니다.
다음에 주어지는 영어 단어를 모두 대문자로 바꾸어 출력해 주세요. hello
사람이 읽으면 뜻이 분명합니다. 그런데 0.6B 짜리 모델에게는 이 글이 지시(instruction)가 아니라 그냥 글입니다. 모델은 이 글 다음에 올 법한 글을 잇습니다. 그러면 다음에 주어지는 단어는... 하고 설명을 이어 쓰거나, 네, 알겠습니다 같은 것을 내놓습니다.
왜 긴 지시가 더 나쁜가
세 가지가 겹칩니다. 첫째, 모델이 작을수록 지시를 따르는 힘(instruction following)이 약합니다. 둘째, 글이 길면 그 안에 모델이 따라갈 수 있는 길이 여러 개 생깁니다. 셋째, 이 문제의 모델들은 영어를 훨씬 많이 보고 배웠습니다. 한국어로 길게 쓰면 그만큼 흐려집니다.
지시를 길게 써서 안 되면, 더 길게 쓰는 것은 거의 도움이 안 됩니다. 방향을 바꾸십시오.
보기로 바꾸기
앞 글에서 쓴 방법을 그대로 가져옵니다. 설명하지 말고 보기를 보여 줍니다.
cat -> CAT dog -> DOG hello ->
두 줄이면 규칙이 보입니다. 화살표 왼쪽은 소문자, 오른쪽은 같은 낱말의 대문자입니다. 세 번째 줄은 화살표까지만 적혀 있으니 모델은 HELLO 를 채웁니다. 지시는 한 글자도 없는데 지시한 것보다 잘 통합니다.
보기를 고를 때
실제 입력과 같은 모양으로 고르십시오. 입력이 한 낱말이면 보기도 한 낱말이어야 합니다.
답을 외워서 맞힐 수 있는 보기는 피하십시오. 보기에 쓴 낱말이 케이스에 또 나오면 규칙을 익혔는지 알 수 없습니다.
두세 줄이면 대개 충분합니다. 더 늘려서 좋아지지 않으면 길이 문제가 아닙니다.
직접 해보기
예시 답안을 넣어 통과시킨 다음, 보기 두 줄을 지우고 대문자로 바꿔라. 한 줄만 남겨 보십시오. 같은 모델인데 결과가 어떻게 달라지는지 보시면 이 글의 요점이 한 번에 들어옵니다.