Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

OkHttpClient 默认并发数问题 #22

Closed
lcky666 opened this issue Aug 2, 2023 · 2 comments
Closed

OkHttpClient 默认并发数问题 #22

lcky666 opened this issue Aug 2, 2023 · 2 comments

Comments

@lcky666
Copy link

lcky666 commented Aug 2, 2023

OpenAiProxyService类中使用defaultClient方法初始化OKHttpClient，Builder时没有指定dispatcher，自动使用默认构造器
此行为限制了最大只能有64个请求且每个host最多5个请求
实际压测时发现接口大量超时，起初怀疑是目标代理带宽/并发等问题，最后调查代理端一切正常，翻调用源码发现此问题
OpenAiProxyService方法没有提供客制化Client的构造方法，目前依然只能通过重写源码的方式解决

另外在压测时发现，如果目标地址返回null，数据也会被写入本地cache，但再次读取时会报空指针异常。
@asleepyfish
Copy link
Owner

OpenAiProxyService类中使用defaultClient方法初始化OKHttpClient，Builder时没有指定dispatcher，自动使用默认构造器 此行为限制了最大只能有64个请求且每个host最多5个请求 实际压测时发现接口大量超时，起初怀疑是目标代理带宽/并发等问题，最后调查代理端一切正常，翻调用源码发现此问题 OpenAiProxyService方法没有提供客制化Client的构造方法，目前依然只能通过重写源码的方式解决

另外在压测时发现，如果目标地址返回null，数据也会被写入本地cache，但再次读取时会报空指针异常。

client的问题有空可以更新一波，返回null的具体的操作流程是怎么样的，指的是返回的结果是null么，可以附上图片嘛

@asleepyfish
Copy link
Owner

OpenAiProxyService类中使用defaultClient方法初始化OKHttpClient，Builder时没有指定dispatcher，自动使用默认构造器 此行为限制了最大只能有64个请求且每个host最多5个请求 实际压测时发现接口大量超时，起初怀疑是目标代理带宽/并发等问题，最后调查代理端一切正常，翻调用源码发现此问题 OpenAiProxyService方法没有提供客制化Client的构造方法，目前依然只能通过重写源码的方式解决

另外在压测时发现，如果目标地址返回null，数据也会被写入本地cache，但再次读取时会报空指针异常。

自定义client，1.3.3版本已解决~

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@lcky666 @asleepyfish