Together AI：流量形态决定推理瓶颈，先测量再优化

Together AI 指出，推理性能瓶颈取决于流量形态，应先测量实际工作负载再优化。短输入/长输出关注解码速度，长提示词关注预填（prefill）性能，工具调用密集的 agent 关注端到端延迟，多轮重复对话则关注 token 经济性，而非泛泛比较单一指标。