[错误]: 流式回复内容丢失

[aigc4o]

平台

Windows

版本

0.8.27

错误描述

• 模型：chatgpt-4o-latest
• 报错：启用流式输出后，模型可以回复，但是最后会消失并报错。关闭流式输出后回复正常。
• 测试：我在openwebui上测试，同一个API和模型，流式输出没问题。不知道是不是因为流式请求，响应不及时，导致Cherry直接终止？

重现步骤

复现视频如下：

2024-12-17.14-52-46.mp4

预期行为

正常来说应该返回完整文本

相关日志输出

main.log无输出

附加信息

No response

[kangfenmao]

官方 API 还是第三方 API

[kangfenmao]

本地环境对网络还是有要求的，服务器上网络稳定性更好一些，特别是这种对网络依赖高的数据流

[aigc4o]

官方 API 还是第三方 API

三方API

[aigc4o]

本地环境对网络还是有要求的，服务器上网络稳定性更好一些，特别是这种对网络依赖高的数据流

我换了个API，同样的模型，流式没问题。所以我感觉是不是原来的API响应不稳定，导致Cherry选择终止了？

[kangfenmao]

本地环境对网络还是有要求的，服务器上网络稳定性更好一些，特别是这种对网络依赖高的数据流

我换了个API，同样的模型，流式没问题。所以我感觉是不是原来的API响应不稳定，导致Cherry选择终止了？

应该是，Cherry 请求过程也是使用的官方 SDK 进行开发的，网络通信中断就会导致你截图的这种情况

[kangfenmao]

不过可以改进的是错误的提示，目前来看出错信息并没有能够在界面上显示出来

[aigc4o]

本地环境对网络还是有要求的，服务器上网络稳定性更好一些，特别是这种对网络依赖高的数据流

我换了个API，同样的模型，流式没问题。所以我感觉是不是原来的API响应不稳定，导致Cherry选择终止了？

应该是，Cherry 请求过程也是使用的官方 SDK 进行开发的，网络通信中断就会导致你截图的这种情况

根据openweb的表现来看，我猜测流式传输可能是响应缓慢，而并非完全中断。
我不太懂开发，不知道cherry对这种响应是否可以调高timeout，或者加入其他等待机制？

[cyanray]

流式生成出错或者超时的时候，不应该让错误消息覆盖已经生成的内容，因为还可以让LLM继续生成后续的内容的。

[aigc4o]

流式生成出错或者超时的时候，不应该让错误消息覆盖已经生成的内容，因为还可以让LLM继续生成后续的内容的。

对的，我生成的消息最后直接被错误消息覆盖了