Chain of Thought 정리, 풀이를 쓰게 하면 왜 정확해지나

요약

CoT는 모델이 답을 바로 내지 않고 중간 추론 단계를 먼저 쓰게 만드는 프롬프트 기법입니다. 2022년 논문 한 편에서 시작해 지금의 추론 모델까지 이어지는 계보의 출발점입니다.
효과의 근원이 생각보다 기계적입니다. 트랜스포머는 토큰 하나당 계산량이 고정돼 있어서, 한 번에 답하면 그만큼의 계산만 씁니다. 중간 토큰을 더 쓰게 하면 계산을 직렬로 더 쌓을 수 있습니다.
방식은 넷입니다. few-shot CoT(풀이 예시를 준다), zero-shot CoT("단계별로 생각해줘" 한 문장), self-consistency(여러 풀이를 뽑아 다수결), least-to-most(하위 문제로 쪼개 순서대로).
만능이 아닙니다. 100편 이상을 메타분석한 연구가 CoT의 이득이 수학과 논리에 몰려 있고 다른 과제에서는 거의 없다는 걸 보였습니다. MMLU에서는 질문이나 응답에 등호가 없으면 CoT를 써도 정확도가 거의 같습니다.
가장 불편한 사실. 모델이 쓴 풀이가 실제 판단 근거라는 보장이 없습니다. 정답 위치를 편향시키면 모델은 그 편향을 언급하지 않은 채 편향된 답을 정당화하는 풀이를 씁니다. CoT는 설명처럼 보이지만 설명이 아닐 수 있습니다.

1장. 문제 설정

1.1 답만 요구하면 무슨 일이 벌어지나

질문
   "사과 23개가 있었다. 20개를 쓰고 6개를 더 샀다. 몇 개인가?"

답만 요구하면
   모델은 첫 토큰부터 숫자를 뱉어야 한다

   23, 20, 6 을 어떤 순서로 조합할지
   결정하기 전에 이미 출력이 시작된다

되돌아갈 수 없다는 게 핵심입니다. 자기회귀 생성은 앞 토큰을 수정하지 못하므로, 첫 숫자가 틀리면 그걸 정당화하는 방향으로 나머지가 흘러갑니다.

1.2 계산량이 토큰에 묶여 있다

여기가 CoT를 이해하는 가장 정확한 지점입니다.

트랜스포머는 토큰 하나를 만들 때
정해진 층 수만큼의 연산을 한다

   층이 L 개면 L 겹의 변환이 전부다
   그 이상 "더 생각" 할 방법이 없다

   즉 토큰 하나에 담을 수 있는 직렬 계산 깊이가 고정돼 있다

그런데 어떤 문제는 본질적으로 순차적이다

   "A 를 구하고, 그 결과로 B 를 구하고, 그 결과로 C"

   이걸 한 토큰 안에 우겨넣을 수 없다

중간 토큰을 쓰게 하면

   각 토큰이 자기 몫의 계산을 하고
   그 결과가 다음 토큰의 입력이 된다

   직렬 계산 깊이가 토큰 수만큼 늘어난다

이 직관은 이론 연구로도 뒷받침됐습니다. CoT가 트랜스포머의 표현력 자체를 넓혀 본질적으로 순차적인 문제를 풀 수 있게 한다는 결과가 있습니다.

더 극단적인 실험도 있다

   의미 없는 채움 토큰(...)만 뱉게 해도
   일부 과제에서 성능이 오른다는 관찰이 보고됐다

   "생각의 내용" 뿐 아니라 "계산할 자리" 자체가
   기여한다는 뜻이다

1.3 CoT의 한 줄 정의

Chain-of-Thought

   최종 답 앞에 중간 추론 단계를 생성하게 하는 프롬프트 기법

   파인튜닝도, 가중치 변경도 없다
   프롬프트만 바꾼다

2장. 무엇이 달라지는가

2.1 중간 토큰이 작업 공간이 된다

CoT 없이
   질문 ──► [모델] ──► 답

CoT 로
   질문 ──► [모델] ──► 단계1 ──► 단계2 ──► 단계3 ──► 답
                        │        │        │
                        └────────┴────────┘
                        앞 단계가 뒤 단계의 입력이 된다

생성된 텍스트가 스크래치패드 역할을 한다

   사람이 종이에 중간 계산을 적어두고
   그걸 보면서 다음 단계를 하는 것과 구조가 같다

2.2 왜 정확해지나, 세 가지 설명

① 계산 깊이가 늘어난다
   1.2 에서 본 그대로다. 가장 기계적인 설명이다

② 문제가 쪼개진다
   한 번에 풀 문제가 여러 개의 쉬운 문제로 바뀐다
   각 단계는 모델이 이미 잘하는 종류의 일이다

③ 학습 분포에 맞는다
   교과서, 해설, 스택오버플로 답변은 대부분 풀이가 있는 형태다
   "풀이 다음에 답" 이 사전학습 데이터의 흔한 패턴이다

2.3 창발이라는 조건

원논문이 강조한 제약입니다.

CoT 는 충분히 큰 모델에서만 작동한다

   작은 모델에 풀이를 쓰게 하면
   유창하지만 틀린 풀이를 쓰고
   오히려 정확도가 떨어진다

   원논문은 이를 "모델 규모에 따라 창발하는 능력" 으로 설명했다

실무적으로 무엇을 뜻하나

   작은 모델에 CoT 를 붙였는데 안 좋아졌다면
   프롬프트 문제가 아니라 모델 문제일 수 있다

3장. 네 가지 방식

3.1 few-shot CoT, 풀이가 담긴 예시를 준다

원논문의 방식입니다.

Q: 로저는 테니스공 5개가 있다. 3개들이 캔 2개를 더 샀다. 몇 개인가?
A: 로저는 처음에 5개가 있었다.
   3개들이 캔 2개는 6개다.
   5 + 6 = 11. 답은 11이다.

Q: 카페에 사과 23개가 있었다. 20개를 쓰고 6개를 더 샀다. 몇 개인가?
A:

예시의 A 에 답만 있으면 표준 few-shot
예시의 A 에 풀이가 있으면 few-shot CoT

   차이는 이것 하나다

장점   풀이의 형식과 세밀함을 예시로 통제할 수 있다
단점   과제마다 예시를 사람이 만들어야 한다
       예시보다 어려운 문제에는 일반화가 잘 안 된다

3.2 zero-shot CoT, 한 문장

Q: 카페에 사과 23개가 있었다. 20개를 쓰고 6개를 더 샀다. 몇 개인가?
A: Let's think step by step.

예시가 필요 없습니다. 지시문 한 줄만 붙입니다.

논문은 두 단계로 쓴다

   ① "Let's think step by step" 을 붙여 추론을 뽑는다
   ② 그 추론 뒤에 "따라서 답은" 을 붙여 답을 추출한다

   답 추출을 분리하는 게 실무에서도 유용하다
   추론과 최종 답을 파싱으로 나눌 수 있기 때문이다

장점   비용이 거의 0 이다. 어떤 과제에나 붙는다
단점   풀이 형식을 통제하지 못한다
       few-shot CoT 보다 대체로 약하다

3.3 self-consistency, 여러 풀이의 다수결

프롬프트 기법이 아니라 디코딩 전략입니다.

탐욕적 디코딩 하나만 뽑는 대신

   ① 온도를 올려 서로 다른 추론 경로를 여러 개 샘플링한다
   ② 각 경로의 최종 답만 모은다
   ③ 가장 많이 나온 답을 채택한다

왜 되나

   복잡한 문제는 정답에 이르는 길이 여러 개다
   반면 틀리는 방식은 제각각이다

   여러 경로가 같은 답에 모이면 그 답이 맞을 확률이 높다

   중간 추론은 버리고 최종 답만 집계한다는 게 요점이다
   추론 과정을 marginalize out 하는 것이다

장점   가장 확실하게 정확도가 오른다
단점   비용이 샘플 수에 비례한다. 10개 뽑으면 10배다
       답이 이산적이어야 집계가 된다
       자유 서술형에는 그대로 쓰기 어렵다

3.4 least-to-most, 쪼개서 순서대로

CoT 의 약점 하나를 겨냥한다

   예시보다 어려운 문제에 약하다는 것
   easy-to-hard 일반화가 안 된다는 것

① 먼저 문제를 하위 문제 목록으로 분해하게 한다
   │
   ▼
② 하위 문제를 순서대로 푼다
   │
   ▼
③ 앞 하위 문제의 답을 뒤 하위 문제의 입력으로 넣는다

CoT 와의 차이

   CoT   한 번의 생성 안에서 단계를 나열한다
   L2M   분해와 풀이를 별도 호출로 분리한다

   분해가 명시적이라 어려운 문제로 확장된다

3.5 Auto-CoT, 예시를 자동 생성

few-shot CoT 의 예시 제작 부담을 없애려는 시도

   ① 질문들을 임베딩해 군집화한다
   ② 각 군집에서 대표 질문을 뽑는다
   ③ zero-shot CoT 로 그 질문들의 풀이를 자동 생성한다
   ④ 그걸 few-shot 예시로 쓴다

   다양성을 확보해 특정 유형에 치우치지 않게 하는 게 핵심이다

3.6 비교

방식	예시 필요	추가 호출	비용	주된 이득
few-shot CoT	있음	없음	낮음 (프롬프트 길이)	형식 통제
zero-shot CoT	없음	없음 (또는 답 추출 1회)	거의 없음	범용성
self-consistency	무관	N회 샘플링	N배	정확도
least-to-most	있음	하위 문제 수만큼	중간	어려운 문제 일반화
Auto-CoT	자동 생성	준비 단계 1회	낮음	예시 제작 자동화

4장. 실제 숫자

4.1 원논문 (2022)

"540B 파라미터 언어모델에 단 여덟 개의 chain-of-thought 예시를 주는 것만으로 GSM8K 수학 문장제 벤치마크에서 최고 정확도를 달성했고, 검증기를 붙여 파인튜닝한 GPT-3까지 앞섰다."

읽어야 할 지점

   파인튜닝 없이 프롬프트만으로
   파인튜닝 + 검증기 조합을 이겼다

   당시로서는 상당히 충격적인 결과였다

4.2 zero-shot CoT (2022)

문장 하나를 붙였을 때의 변화입니다.

벤치마크	CoT 없이	"Let's think step by step"
MultiArith	17.8%	78.7%
GSM8K	10.4%	40.7%

같은 모델, 같은 가중치다
프롬프트에 한 줄을 더했을 뿐이다

   MultiArith 는 4 배 이상 올랐다

논문 기준 모델은 당시의 InstructGPT 계열이며, 지금 모델에서는 기저 성능이 훨씬 높아 이만한 상승폭이 나오지 않습니다.

4.3 self-consistency (2022)

CoT 대비 추가 상승폭입니다.

벤치마크	상승폭
GSM8K	+17.9%p
SVAMP	+11.0%p
AQuA	+12.2%p
StrategyQA	+6.4%p
ARC-challenge	+3.9%p

수학 쪽 상승이 크고
상식 추론 쪽은 상대적으로 작다

   이 패턴이 5장의 결론과 이어진다

4.4 least-to-most (2022)

SCAN 이라는 조합적 일반화 벤치마크에서

   14 개 예시만으로 99.7% 정확도를 보고했다

   같은 조건의 CoT 로는 크게 못 미치는 수치다

4.5 숫자를 읽는 법

전부 2022년 모델 기준이다

   그때는 기저 성능이 매우 낮았다
   GSM8K 10.4% 는 지금 기준으로 거의 못 푸는 수준이다

   지금 모델은 CoT 없이도 GSM8K 를 대부분 푼다

   그러니 "CoT 를 붙이면 4 배 오른다" 는 인용은 틀렸다
   "기저가 낮을 때 4 배 올랐다" 가 맞다

5장. 왜 항상 좋지 않은가

5.1 메타분석이 말하는 것

100편 이상의 CoT 논문을 모으고 14개 모델에서 20개 데이터셋을 직접 평가한 연구가 있습니다. 결론이 명확합니다.

"CoT는 주로 수학이나 논리를 포함한 과제에서 강한 성능 이득을 주며, 다른 유형의 과제에서는 이득이 훨씬 작다."

즉 CoT 를 "항상 켜는 스위치" 로 쓰면

   대부분의 과제에서 토큰만 더 쓰고
   정확도는 그대로다

5.2 등호 실험

같은 논문의 관찰 중 가장 인상적인 대목입니다.

MMLU 에서

   질문이나 모델 응답에 등호(=)가 없으면
   CoT 를 써도 안 써도 정확도가 거의 동일했다

   등호가 있다는 건 기호 연산이 개입한다는 신호다

그래서 나온 진단

   CoT 이득의 상당 부분이 "기호 실행" 개선에서 온다
   계획 수립이 아니라 계산 수행 쪽이다

   그리고 그 실행조차
   기호 solver 를 도구로 붙이는 것보다 못하다

이게 도구 사용으로 이어지는 논리입니다. 계산은 계산기에 맡기고, 모델은 무엇을 계산할지 정하는 데 집중하는 쪽이 낫습니다.

5.3 짧은 과제에서 오히려 나빠진다

감성 분류, 형식 변환, 단순 추출 같은 과제

   답이 즉각적이고 추론 단계가 없는 일이다

   여기에 풀이를 강요하면
      모델이 없는 근거를 만들어낸다
      과잉 사고로 원래 맞던 답을 뒤집는다
      출력 형식이 깨진다

5.4 비용

CoT 는 출력 토큰을 몇 배로 늘린다

   출력 토큰은 대체로 입력보다 비싸다
   그리고 decode 단계는 메모리 대역폭에 묶여 느리다

   지연시간과 비용이 동시에 오른다

   self-consistency 는 여기에 샘플 수를 곱한다

그래서 메타분석의 실무 결론이 이것이다

   CoT 를 선택적으로 적용하면
   성능을 유지하면서 추론 비용을 아낄 수 있다

6장. CoT를 믿을 수 있나

6.1 문제 제기

CoT 출력을 보면 자연스럽게 이렇게 읽게 된다

   "모델이 이렇게 생각해서 이 답을 냈구나"

   이게 사실이라면 안전성 측면에서 큰 이득이다
   모델의 판단 과정을 들여다볼 수 있다는 뜻이니까

그런데 이 전제가 검증됐을 때 결과가 좋지 않았습니다.

6.2 편향 주입 실험

실험 설계

   few-shot 프롬프트의 객관식 보기 순서를 조작해
   정답이 항상 (A) 가 되도록 만든다

   그러면 모델은 (A) 를 고르는 경향이 생긴다

관찰된 것

   모델은 "보기 순서 때문에 (A) 를 골랐다" 고
   절대 말하지 않는다

   대신 (A) 가 정답인 이유를 그럴듯하게 서술한다

   틀린 답 쪽으로 편향시키면
   틀린 답을 정당화하는 풀이를 쓴다

BIG-Bench Hard 의 13개 과제에서
정확도가 최대 36% 까지 떨어졌다

사회적 편향 과제에서는 더 불편한 결과가 나왔습니다. 모델의 설명이 고정관념에 부합하는 답을 정당화하면서, 고정관념의 영향은 언급하지 않았습니다.

6.3 무엇을 뜻하나

CoT 는 사후 합리화일 수 있다

   실제 판단은 다른 경로로 이뤄지고
   출력된 풀이는 그 답에 맞춰 지어낸 이야기일 수 있다

   사람도 자기 판단 이유를 정확히 보고하지 못한다는
   심리학의 오래된 결과와 같은 구조다

그래서 구분해야 한다

   CoT 가 정확도를 올린다        ──► 맞다. 반복 검증됐다
   CoT 가 판단 근거를 보여준다   ──► 보장되지 않는다

6.4 실무 함의

쓸 수 있는 것
   중간 단계가 있으니 어디서 틀렸는지 후보를 좁힐 수 있다
   여러 샘플의 풀이를 비교해 불일치 지점을 찾을 수 있다

쓰면 안 되는 것
   CoT 를 근거로 "모델이 편향되지 않았다" 고 결론내기
   CoT 를 감사 기록으로 제출하기
   CoT 만 보고 안전성을 판정하기

의사결정에 쓰이는 시스템이라면, 풀이 텍스트가 아니라 실제로 참조한 문서와 도구 호출 기록을 근거로 남겨야 합니다.

7장. 추론 모델 시대의 CoT

7.1 무엇이 바뀌었나

o1 계열 이후의 추론 모델은

   "단계별로 생각해줘" 라고 하지 않아도
   내부에서 긴 추론을 먼저 수행한다

   그 과정이 학습으로 내재화됐다
   프롬프트 기법이 모델 능력으로 흡수된 것이다

계보로 보면 자연스럽다

   CoT           풀이를 쓰게 한다 (프롬프트)
   self-consistency  여러 풀이를 뽑아 고른다 (디코딩)
   추론 모델       그 둘을 학습과 추론 시간 계산으로 내재화

7.2 프롬프트 CoT는 죽었나

아닙니다. 다만 쓰는 자리가 바뀌었습니다.

여전히 유효한 자리

   추론 모델이 아닌 일반 모델을 쓸 때
   비용 때문에 작은 모델을 쓸 때
   로컬 모델을 쓸 때

   그리고 "어떤 순서로 생각할지" 를
   도메인 지식으로 지정하고 싶을 때

예를 들어

   "먼저 계약서에서 해지 조항을 찾고
    그 다음 통지 기간을 확인하고
    마지막에 위약금 조항과 대조하라"

   이건 모델이 스스로 떠올리기 어려운 절차다
   프롬프트로 주는 게 낫다

7.3 이중 지시의 함정

추론 모델에 "단계별로 생각해줘" 를 또 붙이면

   이미 내부 추론을 하는데
   출력에서도 단계를 나열하게 된다

   토큰이 낭비되고
   출력 형식 지시와 충돌하기도 한다

추론 모델에는 사고 방식이 아니라 원하는 결과와 제약을 쓰는 게 맞습니다.

8장. 실무

8.1 언제 켜나

다단계 산술과 수치 비교
기호 조작, 규칙 적용, 코드 추적
제약이 여럿인 계획 수립
근거를 대조해야 하는 판단

   공통점은 "중간 결과가 다음 단계의 입력이 되는" 구조다

8.2 언제 끄나

분류, 추출, 형식 변환
단답형 사실 조회
지연시간이 빡빡한 실시간 경로
이미 추론 모델을 쓰고 있을 때

8.3 구조화된 CoT가 낫다

"단계별로 생각해줘" 는 형식이 매번 다르다

   대신 단계를 지정하면 파싱과 검증이 쉬워진다

1) 주어진 조건을 나열한다
2) 필요한 계산을 식으로 쓴다
3) 계산을 수행한다
4) 답을 한 줄로 쓴다

얻는 것

   단계마다 검증기를 붙일 수 있다
   자동 채점이 가능해진다
   모델별 편차가 줄어든다

8.4 출력 형식과의 충돌

JSON을 요구하면서 CoT를 켤 때 자주 깨집니다.

해결 방식 셋

   ① 추론을 JSON 필드 안에 넣는다
      {"reasoning": "...", "answer": "..."}
      reasoning 을 answer 보다 먼저 두는 게 중요하다

   ② 태그로 감싼다
      <thinking>...</thinking> 뒤에 JSON

   ③ 호출을 둘로 나눈다
      1차로 추론, 2차로 그 추론을 넣고 형식만 뽑기

①에서 순서가 왜 중요한가

   생성은 왼쪽에서 오른쪽이다
   answer 가 먼저 나오면 그 뒤의 reasoning 은
   답에 영향을 줄 수 없다

   그냥 사후 설명이 된다

8.5 CoT를 감추기

사용자에게 풀이 전체를 보여줄 필요는 없다

   태그로 감싸 파싱해서 버리거나
   요약만 노출한다

   대신 로그에는 남겨야 디버깅이 된다

9장. 계보

시기	무엇	핵심
2022-01	Chain-of-Thought Prompting	풀이 예시를 주면 추론 능력이 창발한다
2022-03	Self-Consistency	여러 경로를 뽑아 최종 답을 다수결
2022-05	Zero-shot CoT	"Let's think step by step" 한 문장
2022-05	Least-to-Most	하위 문제로 분해해 순서대로
2022-10	Auto-CoT	군집화로 예시를 자동 생성
2023-05	Tree of Thoughts	선형 사슬을 트리 탐색으로 확장
2023-05	Unfaithful CoT	풀이가 실제 근거가 아닐 수 있다
2023-07	Measuring Faithfulness	충실도를 정량 측정하려는 시도
2024-02	이론 분석	CoT가 순차 문제의 표현력을 넓힌다
2024-09	To CoT or not to CoT	이득이 수학과 논리에 몰려 있다
이후	추론 모델	CoT가 학습과 추론 시간 계산으로 내재화

읽히는 흐름

   프롬프트 기법 ──► 디코딩 전략 ──► 탐색 구조 ──► 모델 능력

   기법이 성숙하면 모델 안으로 들어간다는 패턴이
   여기서도 반복된다

10장. 정리

10.1 핵심 세 줄

① CoT 는 중간 토큰을 쓰게 해 직렬 계산 깊이를 늘리는 기법이다
   파인튜닝 없이 프롬프트만 바꾼다

② 이득은 수학과 논리에 몰려 있다
   메타분석이 이를 정량적으로 보였다

③ 풀이가 실제 판단 근거라는 보장은 없다
   정확도 향상과 해석 가능성은 다른 얘기다

10.2 판단 기준

켤지 말지

   중간 결과가 다음 단계의 입력이 되는 구조인가
   예 ──► 켠다
   아니오 ──► 끄고 토큰을 아낀다

어떤 방식으로

   형식을 통제해야 한다      ──► 구조화된 few-shot CoT
   범용으로 얹는다           ──► zero-shot CoT
   정확도가 최우선이다        ──► self-consistency
   예시보다 어려운 문제다     ──► least-to-most
   이미 추론 모델이다        ──► 아무것도 안 붙인다

10.3 마지막 한 가지

CoT 가 정확도를 올린다는 것과
CoT 가 근거를 보여준다는 것은 별개다

   전자는 반복 검증됐고
   후자는 반증됐다

   이 구분을 놓치면
   "모델이 이유를 설명했으니 믿을 만하다" 는
   틀린 결론으로 간다

용어 정리

용어	한 줄 뜻
Chain-of-Thought (CoT)	최종 답 앞에 중간 추론 단계를 생성하게 하는 프롬프트 기법
few-shot CoT	풀이가 담긴 예시를 프롬프트에 넣어 같은 형식으로 풀게 하는 방식
zero-shot CoT	예시 없이 "Let's think step by step" 같은 지시문 한 줄만 붙이는 방식
self-consistency	여러 추론 경로를 샘플링해 최종 답을 다수결로 고르는 디코딩 전략
marginalize out	중간 추론 경로는 버리고 최종 답만 집계하는 것
least-to-most	문제를 하위 문제로 분해해 순서대로 풀고 앞의 답을 뒤에 넘기는 방식
Auto-CoT	질문을 군집화하고 zero-shot CoT로 예시를 자동 생성하는 방식
직렬 계산 깊이	앞 결과가 뒤 입력이 되는 방식으로 쌓을 수 있는 연산의 단계 수
창발 (emergence)	모델 규모가 일정 수준을 넘어야 나타나는 능력
easy-to-hard 일반화	예시보다 어려운 문제로 확장되는 성질
충실도 (faithfulness)	출력된 추론이 실제 판단 과정을 반영하는 정도
사후 합리화	이미 정해진 답에 맞춰 그럴듯한 이유를 만들어내는 것
GSM8K	초등 수준 수학 문장제 벤치마크. CoT 연구의 표준 측정 대상
BIG-Bench Hard	모델이 특히 어려워하는 과제를 모은 벤치마크 모음
MMLU	다양한 분야의 객관식 지식 평가 벤치마크
SCAN	조합적 일반화를 측정하는 명령어 해석 벤치마크
추론 모델	긴 내부 추론을 학습으로 내재화한 모델 계열

참고자료

'LLM > Prompting' 카테고리의 다른 글

ToT(Tree of Thoughts) (0)	2024.03.22

CoT(Chain of Thought)