最近在做一个文件上传需求,发现当上传文件大于60M时,前端ajax文件上传后,服务请求不到服务端。
排查过程:
第一步,先查前端代码如下:前端在上传文件请求后,设置10S的请求超时时间,初步猜测是上传文件较大,前端请求包还没有发送完毕就中断请求了,于是把timeout时间设置加大,增加到20秒,发现60多M的文件上传成功。
1 $.ajax({ 2 url: '/upload_url', 3 type: 'post', 4 data: data, 5 timeout: 10000, // 超时 6 cache: false, 7 processData: false, 8 contentType: false, 9 success: function(json) { 10 ....... 11 } 12 }, 13 error: function() { 14 15 }, 16 complete: function(XMLHttpRequest, status) { 17 if (status === 'timeout') { 18 // 超时直接提示 19 // '上传时间较长,请稍后查看结果', 20 }); 21 } 22 } 23 })
第二步,测试上传文件大于100M时的情况,发现服务端不会接收到请求,加大了超时时间也没有任何效果,排查Nginx配置上传文件大小限制是300M,即 client_max_body_size 300m。
并且发现Nginx如下日志:
。。。。。。。。。。。a client request body is buffered to a temporary file /dev/。。。。。。。/client_body/XXXXXXX, client
。。。。。。。。。。。pwrite() "/dev/。。。。。。。/client_body/XXXXXXX" failed (28: No space left on device), client
所以,优化nginx配置,client_max_body_size 300m; client_body_buffer_size 300m; 加大上传缓存Buffer size文件,reload nginx生效。
ps :
client_max_body_size
此指令设置NGINX能处理的最大请求主体大小。 如果请求大于指定的大小,则NGINX发回HTTP 413(Request Entity too large)错误。 如果服务器处理大文件上传,则该指令非常重要。
client_body_buffer_size
此指令设置用于请求主体的缓冲区大小。 如果主体超过缓冲区大小,则完整主体或其一部分将写入临时文件。 如果NGINX配置为使用文件而不是内存缓冲区,则该指令会被忽略。 默认情况下,该指令为32位系统设置一个8k缓冲区,为64位系统设置一个16k缓冲区。 该指令在NGINX配置的http,server和location区块使用。
第三步,继续测试100M以上的文件,仍然不成功,浏览器前端请求结果返回 net::ERR_INCOMPLETE_CHUNKED_ENCODING,于是排查nginx日志如下:
。。。。。。。。。 错误日志全部是104: Connection reset by peer) while reading upstream
显然,由于upstream重置连接了,就是说后端主动断开了连接,然后发现连接里有很多TIME-WAIT,一直等待远程TCP接收到连接中断请求的确认
。于是分析nginx配置,nginx作为反向代理既然是客户端又是服务端,当和后端服务建立连接时并没有默认开启长连接,开启长连接后性能应该会提升很多,于是优化nginx配置开启nginx长链接【说明:(从client到nginx的连接是长连接,对于客户端来说,nginx长连接是默认开启的。从nginx到server的连接是长连接,需要自己开启】。
配置如下:
proxy_connect_timeout 120; <bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonsMultipartResolver"> <property name="maxUploadSize" value="314572800" /> <!--300M--> <property name="maxInMemorySize" value="314572800" /> <!--300M 设置multipart请求所允许的最大大小,默认不限制 --> <property name="defaultEncoding" value="UTF-8"></property> <!-- 设置一个大小,multipart请求小于这个大小时会存到内存中,大于这个内存会存到硬盘中 --> </bean>修改服务端文件大小校检,重新编辑发布服务端服务,问题解决。经测试300M以内文件上传没有问题。 当然,如果有业务需求上传文件的大小更大的,需要同时修改nginx配置及maxUploadSize配置,然后会报如下错误: 。。。。682 client intended to send too large body:。。。。。。。。。 至此,问题得以解决,真相大白于天下,由于是解决问题之后理解的,可能会有些遗漏,及忽略掉一些本人觉得没必要的其它的排查过程及说明,敬请见谅。