Show GN: Ephemeral System Prompt - 실행마다 달라지는 지시사항을 넣고도 프롬프트 캐시 유지하기

한 줄 요약

LLM 에이전트를 만들다 보면 시스템 프롬프트는 유지하면서도 현재 시각, 세션 상태, 호스트 정책처럼 실행마다 달라지는 지시사항을 추가해야 할 때가 있습니다.

핵심 내용

• LLM 에이전트를 만들다 보면 시스템 프롬프트는 유지하면서도 현재 시각, 세션 상태, 호스트 정책처럼 실행마다 달라지는 지시사항을 추가해야 할 때가 있습니다.

• 하지만 이런 내용을 시스템 프롬프트에 직접 합치면 매번 프롬프트 prefix가 달라져 provider의 prompt caching을 제대로 활용하기 어렵습니다.

• maestro-agent-sdk v0.2.3에 추가한 ephemeralSystemPrompt는 이를 위해 만든 기능입니다.

• for await (const event of maestroProvider({

• agent: "maestro",

왜 중요한가

하지만 이런 내용을 시스템 프롬프트에 직접 합치면 매번 프롬프트 prefix가 달라져 provider의 prompt caching을 제대로 활용하기 어렵습니다. maestro-agent-sdk v0.2.3에 추가한 ephemeralSystemPrompt는 이를 위해 만든 기능입니다. for await (const event of maestroProvider({

참조한 것 · 가져온 것

• 원문: https://github.com/maestrojeong/maestro-agent-sdk/pull/51

• GeekNews: https://news.hada.io/topic?id=32189