SSE

大模型 API 调用慢（2-5 秒）、贵（按 Token 计费），如何在保证效果的前提下优化性能和成本？ 一、大模型应用的性能瓶颈 1.1 延迟——大模型推理本身慢 1.2 成本——每次都调 API 很贵 1.3 吞吐——API 有并发限制 二、语义缓存（Semantic Cache） 2.1 原理——相似的问题，答案也相似 2.2 不是精确匹配——余弦相似度 > 0.95 就复用 2.3 Redis + Embedding 实现 2.4 Spring AI 的缓存支持 2.5 缓存命中率和成本节省 三、SSE 流式响应 3.1 普通调用——等 5 秒，一次性返回 3.2 ...