LLM이 프롬프트를 처리하는 내부 원리를 이해하고, 토큰·컨텍스트 윈도우·온도 등 핵심 개념을 정확하게 파악한다.
프롬프트의 정의
프롬프트(Prompt)는 언어 모델에게 주는 모든 입력 텍스트입니다. 단순한 질문부터 수백 줄의 지시문까지, 모델이 응답을 생성하기 위해 읽는 모든 내용이 프롬프트입니다.
프롬프트 엔지니어링은 이 입력을 의도한 출력을 얻도록 체계적으로 설계하는 기술입니다. 프로그래밍 언어로 코드를 작성하듯, 자연어로 AI를 프로그래밍하는 것입니다.
LLM이 프롬프트를 처리하는 원리
프롬프트를 잘 쓰려면 모델이 내부에서 무슨 일을 하는지 알아야 합니다.
1단계: 토크나이제이션
텍스트는 먼저 토큰(Token)으로 분할됩니다. 토큰은 단어보다 작을 수도, 클 수도 있습니다.
"프롬프트 엔지니어링" → ["프롬프", "트", " 엔지니어링"] (한국어 예시)
"ChatGPT" → ["Chat", "G", "PT"] (영어 예시)
"Hello, world!" → ["Hello", ",", " world", "!"]GPT-4 기준 1토큰 ≈ 영어 4글자, 한국어 1~2글자. API 비용은 토큰 수로 계산됩니다.
2단계: 컨텍스트 윈도우 처리
모델은 프롬프트 전체를 한 번에 읽습니다. 이 한 번에 처리할 수 있는 최대 토큰 수가 컨텍스트 윈도우입니다.
| 모델 | 컨텍스트 윈도우 | 약 한국어 글자 수 |
|---|---|---|
| GPT-3.5-turbo | 16K 토큰 | 약 16,000자 |
| GPT-4o | 128K 토큰 | 약 128,000자 |
| Claude 3.5 Sonnet | 200K 토큰 | 약 200,000자 |
| Gemini 1.5 Pro | 1M 토큰 | 약 1,000,000자 |
컨텍스트 안의 모든 내용(프롬프트 + 대화 기록)이 각 응답 생성에 영향을 줍니다.
3단계: 다음 토큰 예측
모델은 본질적으로 "다음에 올 가장 그럴듯한 토큰"을 반복해서 예측합니다. 수백억 개의 파라미터가 이 확률을 계산합니다.
# 모델의 내부 동작 (의사 코드)
입력: "한국의 수도는"
출력 후보 확률:
"서울" → 0.94
"부산" → 0.03
"평양" → 0.02
"기타" → 0.01
→ 가장 높은 확률 토큰 선택 (또는 확률적으로 샘플링)온도(Temperature): 창의성 조절 파라미터
온도는 다음 토큰 선택의 무작위성을 조절합니다.
| 온도 값 | 특성 | 적합한 작업 |
|---|---|---|
| 0.0 | 항상 가장 높은 확률 선택 (결정론적) | 코드 생성, 사실 확인, 데이터 추출 |
| 0.3~0.5 | 약간의 변형 허용 | 요약, 번역, 구조화된 응답 |
| 0.7~1.0 | 창의적, 다양한 응답 | 브레인스토밍, 스토리텔링, 아이디어 생성 |
| 1.5 이상 | 매우 무작위적, 일관성 낮음 | 특수 실험적 용도 |
시스템 프롬프트 vs. 유저 프롬프트
현대 챗 LLM은 보통 세 가지 역할 구조를 사용합니다.
# OpenAI API 구조 예시
messages = [
{
"role": "system",
"content": "당신은 10년 경력의 한국어 카피라이터입니다. 간결하고 임팩트 있는 문장을 씁니다."
},
{
"role": "user",
"content": "친환경 텀블러 광고 카피 3개 써줘."
}
]- system: 모델의 전반적인 행동 방식 정의 (페르소나, 규칙, 제약)
- user: 실제 요청
- assistant: 모델의 이전 응답 (멀티턴 대화 시)
프롬프트 엔지니어링이 중요한 이유
동일한 모델에 같은 질문을 해도 프롬프트 품질에 따라 결과가 극적으로 달라집니다.
# 나쁜 프롬프트
"마케팅 전략 알려줘"
→ 일반적이고 두루뭉술한 답변
# 좋은 프롬프트
"B2B SaaS 스타트업(월 구독 평균 30만원, 주 타겟: 50인 이하 제조업)의
LinkedIn 콘텐츠 마케팅 전략을 수립해줘.
3개월 로드맵 형태로, 각 단계별 KPI와 예산 비율을 포함해서."
→ 실행 가능한 구체적 전략 제공프롬프트 엔지니어링의 적용 범위
- 업무 자동화: 이메일 초안, 보고서 요약, 데이터 분류
- 코드 생성: 함수 구현, 버그 수정, 코드 리뷰
- 콘텐츠 제작: 블로그, 광고 카피, SNS 포스팅
- 분석 및 리서치: 시장 조사, 경쟁사 분석, 문서 요약
- AI 애플리케이션 개발: 챗봇, RAG 시스템, AI 에이전트
프롬프트 엔지니어링은 AI를 "사용"하는 것이 아니라 AI를 "제어"하는 기술입니다. 이 시리즈를 마치면 어떤 LLM에서도 원하는 결과를 이끌어낼 수 있게 됩니다.
관련 검색어 · 프롬프트 엔지니어링이란, LLM 작동 원리, 토큰 컨텍스트 윈도우, 온도 파라미터, ChatGPT 프롬프트 기초, AI 프롬프트 작성법