按该标签聚合的大模型资讯列表（自动分类与标签提取）。共 4 篇文章。
Cloudflare 为 Workers AI 平台推出了一套完整的超大规模语言模型部署方案。通过预填充‑解码分离、提示缓存、跨 GPU KV 缓存以及推测性解码等技术，实现了首令牌延迟下降 3‑5 倍、缓存命中率提升至 80% 等性能突破。自研的 Infire 推理引擎进一步支持多 GPU、降低内存占用并将冷启动时间压至 20 秒，整体吞吐提升约 20%…
本文解析Claude Code的上下文管理优化策略，重点探讨如何通过提示缓存机制有效控制token成本。文章指出，频繁开启新会话或长期维持单一会话状态均会导致资源浪费，建议开发者根据任务需求动态调整会话策略。核心亮点在于揭示上下文长度与成本的关系，并提供可操作的使用技巧，帮助开发者在保持模型性能的同时降低计算开销。
Reco利用Amazon Bedrock中的Anthropic Claude，将技术性安全警报自动转化为可操作的自然语言摘要，实现警报理解与响应流程自动化。核心亮点包括：通过提示工程与提示缓存降低延迟75%，集成AWS云原生架构，实测调查时间缩短54%、响应时间缩短63%，显著提升SOC效率与跨团队协作能力。
提示缓存是一种通过预存和优化常见提示来提升AI系统效率的技术。它能减少计算资源消耗，加快响应速度，适用于NLP、ML和智能助手等场景。文章解析了其原理、实现方法及实际应用中的优劣。