Trimming the context window without losing the plotКак сжимать контекст агента и не терять нить
Summaries, pinned facts and when to just start over.Саммари, закреплённые факты и когда проще начать заново.
Notes and experiments around AI agents, LLM integrations, backend services and the infrastructure underneath them — mostly lessons I didn't want to learn twice. Заметки и эксперименты про AI-агентов, интеграции с LLM, backend-сервисы и инфраструктуру под ними — в основном уроки, которые не хочется учить дважды.
Multi-agent workflows with tool-use, streaming and careful context-window management.Многошаговые multi-agent сценарии с tool-use, стримингом и аккуратным управлением контекстным окном.
Chunking, embeddings, vector search, LLM re-ranking and caching — measured, not guessed.Чанкинг, эмбеддинги, векторный поиск, LLM-реранкинг и кэширование — с замерами, а не на глаз.
Agents that read alerts and logs, reconstruct failure chains and draft a first diagnosis for humans.Агенты, которые читают алерты и логи, восстанавливают цепочку сбоя и готовят первичную диагностику для людей.
REST and gRPC microservices, message queues, concurrency limits and predictable deployments.REST и gRPC микросервисы, очереди сообщений, ограничение конкурентности и предсказуемые деплои.
Tracing LLM calls end to end, metrics and logs that on-call actually reads.Сквозная трассировка LLM-вызовов, метрики и логи, которые дежурные действительно читают.
Containers, Helm charts, CI/CD pipelines and keeping a small VPS fleet boring.Контейнеры, Helm-чарты, CI/CD и парк небольших VPS, который не доставляет хлопот.
Summaries, pinned facts and when to just start over.Саммари, закреплённые факты и когда проще начать заново.
Timeouts, retries and tools that return too much.Таймауты, ретраи и инструменты, которые возвращают слишком много.
Numbers from a small RAG setup and where caching helped.Цифры с небольшого RAG-стенда и где помогло кэширование.
Partition count, batch size and a lot of patience.Число партиций, размер батча и много терпения.
Runners, Docker and one very tired VPS.Раннеры, Docker и один очень уставший VPS.