LLM의 창의성을 조절하는 마법: Temperature와 텍스트 생성 방식 이해하기

거대언어모델(LLM)은 문맥을 바탕으로 다음에 올 확률이 가장 높은 단어(토큰)를 순차적으로 예측하며 답변을 완성합니다. 이 과정에서 모델이 항상 뻔하고 기계적인 답변만 내놓지 않도록 출력의 창의성과 일관성을 제어하는 핵심 파라미터가 바로 Temperature입니다.

1. LLM의 기본 텍스트 생성 방식

• 자기회귀(Autoregressive) 생성: 모델이 이전에 생성한 토큰을 다시 새로운 입력값의 일부로 삼아, 종료 토큰이 나올 때까지 다음 토큰을 하나씩 이어 붙이는 반복 생성 방식입니다.
• 확률 분포 계산(Softmax): 문맥 벡터가 형성되면 모델은 어휘 사전의 수많은 후보 토큰 중 현재 문맥 뒤에 등장할 확률을 통계적으로 계산합니다.

2. 생성 제어의 핵심: Temperature

Temperature는 확률 분포의 평탄화 정도를 조절하여 모델이 다음 단어를 선택할 때의 무작위성을 제어합니다.

• 낮은 Temperature 설정: 값을 낮추면 가장 확률이 높은 1위 단어의 가중치가 극대화되어 논리적이고 결정론적이며 일관된 답변이 출력됩니다. 사실 기반의 질의응답, 번역, 코딩 등 정확성이 중요한 과업에 적합합니다.
• 높은 Temperature 설정: 값을 높이면 확률 분포가 평탄해져 1위 단어 외에도 다양한 후보 단어가 선택될 확률이 커집니다. 창의적이고 다채로운 어휘가 선택되어 아이디어 브레인스토밍, 스토리텔링 등에 유리합니다.

3. 엉뚱한 출력을 막는 보조 샘플러: Top-p와 Top-k

Temperature를 높여 창의성을 부여할 때 문맥에서 완전히 벗어난 단어가 나오는 것을 방지하기 위해 보조 디코딩 파라미터를 함께 활용합니다.

자연어 생성 과업의 목적에 따라 Temperature와 Top-p/Top-k의 균형을 맞추는 프롬프트 엔지니어링은 LLM의 성능을 극대화하는 가장 효과적인 방법입니다.