LLM/Context1 Prompt Caching (프롬프트 캐싱) 프롬프트 캐싱, 같은 앞부분을 다시 계산하지 않기요약여러 요청이 공통으로 쓰는 앞부분의 KV 캐시를 저장해두고 재사용해, 반복되는 prefill을 건너뛰어 비용과 지연을 줄이는 기법입니다.KV 캐시와 다릅니다. KV 캐시는 한 번의 생성 안에서 재사용하고, 프롬프트 캐싱은 그 KV를 요청과 사용자를 가로질러 재사용합니다. 프롬프트 캐싱은 KV 캐시 위에 세워집니다.핵심 규칙이 하나 있습니다. 앞에서부터 정확히 일치하는 구간까지만 유효합니다. 그래서 불변 부분을 앞에, 변하는 질문을 뒤에 둡니다.입력이 길고 반복되며 출력이 짧은 워크로드에서 절감이 가장 큽니다. RAG나 문서 QA, 에이전트가 여기 해당합니다.prefill만 단축됩니다. 생성 자체는 그대로입니다.무엇을 아끼나챗봇이나 에이전트는 매 요청마다.. 2025. 9. 1. 이전 1 다음