LLM/Architecture2 Agent Observability (Langfuse, LangSmith) 에이전트 관측성 완전 정리, Langfuse와 LangSmith요약에이전트는 한 요청에 여러 도구를 여러 턴에 걸쳐 자율로 부릅니다. 최종 응답만 로깅하면 실패해도 어느 스텝에서 왜 깨졌는지 재현할 수 없습니다.로깅과 관측은 다릅니다. 로깅은 줄글 텍스트를 시간순으로 흘려보내는 것이고, 관측은 스팬의 위계와 속성과 상관키를 구조로 남기는 것입니다.두 대표 도구가 데이터를 다르게 쪼갭니다. Langfuse는 observation / trace / session 3층, LangSmith는 run / trace / thread에 trajectory라는 뷰를 하나 더 둡니다.결정적 차이는 성능이 아니라 철학입니다. Langfuse는 OpenTelemetry 기반 오픈소스로 self-host가 1급이고, Lang.. 2026. 4. 15. GQA와 MQA GQA와 MQA, Key와 Value를 얼마나 공유할까요약GQA와 MQA는 어텐션에서 Key와 Value를 헤드끼리 공유해, 자기회귀 생성의 메모리 병목인 KV 캐시를 줄이는 기법입니다. Query 헤드 수는 그대로 두고 K와 V만 공유합니다.세 방식이 있습니다. MHA는 헤드마다 K와 V를 따로 둬서 캐시가 크고, MQA는 전체가 한 벌만 공유해 캐시가 최소이며, GQA는 그룹당 공유하는 절충입니다.핵심 트레이드오프는 명확합니다. K와 V 그룹 수를 줄이면 캐시가 줄고 속도가 오르지만 품질이 떨어질 위험이 있습니다.GQA는 MHA와 MQA 사이를 잇는 일반화입니다. 그룹 수가 헤드 수와 같으면 MHA, 1이면 MQA가 됩니다.품질을 거의 안 깎으면서 캐시를 크게 줄여 Llama 3와 Mistral 같은.. 2024. 10. 7. 이전 1 다음