永洪社区

标题: 永洪崩溃处理 [打印本页]

作者: yh_gtzKz4Pr 时间: 2022-1-6 08:45
标题: 永洪崩溃处理
请问是否可以帮忙解决永洪服务崩溃的问题，可以邮件问题解决吗？之前联系没有回应。

作者: 永洪tech-Lan 时间: 2022-1-6 08:45
咱们只有catalina.out的话只能看系统有没有出现oom，当前宕机的原因不排除是不是内存耗等导致，需要Yonghong/log下出现问题前bi.log和jvm.log等日志一起。
以下附件是自动打印jstack&jmap的脚本，建议咱们部署下，解压后附件中txt中有部署步骤，部署启动后永洪安装目录Yonghong下会生成jmap_log和jstack_log两个目录，待下次出现宕机需要打包这两个目录日志，部署脚本后若再次宕机所需的日志及信息如下：

1、服务器查询Bi进程看进程是否还存在，查询后截图即可。
2、服务器执行这两个命令看是否服务器将进程kill掉.执行后截图即可。
（1）grep "Out of memory" /var/log/messages
（2）egrep -i -r 'killed process' /var/log
3、Yonghong/log下出现问题前bi.log和jvm.log。
4、tomcat/logs下catalina.out一起，若该目录下有hs_err开头的日志也需要一起打包。
5、jmap_log和jstack_log两个目录打包。

作者: 环环 时间: 2022-1-6 09:36
崩溃是什么现象呢，访问不了还是有报告白屏之类吗，取下日志看看呢

作者: yh_gtzKz4Pr 时间: 2022-1-6 10:58

永洪tech-秀秀发表于 2022-1-6 09:36
崩溃是什么现象呢，访问不了还是有报告白屏之类吗，取下日志看看呢

服务宕掉，登录页报表页面都无法打开。
查看catalina.out，发现下述报错，这个会引发服务崩溃无法访问的情况吗？
** BEGIN NESTED EXCEPTION **

javax.net.ssl.SSLException
MESSAGE: closing inbound before receiving peer's close_notify

STACKTRACE:

javax.net.ssl.SSLException: closing inbound before receiving peer's close_notify
at java.base/sun.security.ssl.Alert.createSSLException(Alert.java:133)
at java.base/sun.security.ssl.Alert.createSSLException(Alert.java:117)
at java.base/sun.security.ssl.TransportContext.fatal(TransportContext.java:308)
at java.base/sun.security.ssl.TransportContext.fatal(TransportContext.java:264)
at java.base/sun.security.ssl.TransportContext.fatal(TransportContext.java:255)
at java.base/sun.security.ssl.SSLSocketImpl.shutdownInput(SSLSocketImpl.java:645)
at java.base/sun.security.ssl.SSLSocketImpl.shutdownInput(SSLSocketImpl.java:624)
at com.mysql.jdbc.MysqlIO.quit(MysqlIO.java:2241)
at com.mysql.jdbc.ConnectionImpl.realClose(ConnectionImpl.java:4267)
at com.mysql.jdbc.ConnectionImpl.close(ConnectionImpl.java:1531)
at g5.qry.sql.impl.GConn.close(GConn.java:66)
at g5.qry.sql.impl.SQLConnPool$CloseConn.run0(SQLConnPool.java:454)
at g5.thread.AbsRunnable.run(AbsRunnable.java:38)
at g5.qry.sql.impl.SQLConnPool$2.run0(SQLConnPool.java:434)
at g5.thread.GThread.run(GThread.java:197)

** END NESTED EXCEPTION **

作者: 环环 时间: 2022-1-6 11:05
这个是数据库连接方面的报错，应该是这个引起的，收集一下详细日志文件上传吧，需要这些
1. 配置打开后，重现问题时的 Yonghong/log 目录下对应时间点前一小时的bi.log
2. tomcat/logs路径下hs_err开头的日志
3. tomcat/logs/catalina.out
4. 检查进程是否存在，并收集使用的jdk版本信息

作者: yh_gtzKz4Pr 时间: 2022-1-6 11:15

永洪tech-秀秀发表于 2022-1-6 11:05
这个是数据库连接方面的报错，应该是这个引起的，收集一下详细日志文件上传吧，需要这些
1. 配置打开后，重 ...

好的，我排查一下。另外，方便邮箱传文件吗？我这边外发上传文件有限制

作者: 环环 时间: 2022-1-6 11:26
可以 lichunyu@yonghongtech.com

作者: yh_gtzKz4Pr 时间: 2022-1-6 13:42

永洪tech-秀秀发表于 2022-1-6 11:26
可以

根据上述问题
1. 暂先不提供
2. 日志文件里没有hs_err开头的日志信息
3. 12月21日下午向提供邮箱lichunyu@yonghongtech.com发过一封名为【永洪服务崩溃原因排查】的邮件，您方便先找一下吗？没有的话我再发，我这边得走审批
4. 服务崩溃的时候进程是存在的，使用的jdk版本 11.0.4

作者: 环环 时间: 2022-1-6 13:59
看到了但是只有一个catlina.out的日志，你们是数据库系统吗

作者: yh_gtzKz4Pr 时间: 2022-1-6 14:12

永洪tech-秀秀发表于 2022-1-6 13:59
看到了但是只有一个catlina.out的日志，你们是数据库系统吗

应该是数据库系统，只看catalina.out不能定位具体原因是吗？

作者: 环环 时间: 2022-1-6 14:20
如果是数据库系统，可能就是这个协议的原因，可以再数据库连接的url后面拼接这个&useSSL=false
Sun Oct 31 19:35:47 CST 2021 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
Sun Oct 31 21:00:00 CST 2021 WARN: Caught while disconnecting...

参考文档
https://blog.csdn.net/qq_41785135/article/details/85118329

作者: yh_gtzKz4Pr 时间: 2022-1-6 14:38

永洪tech-秀秀发表于 2022-1-6 14:20
如果是数据库系统，可能就是这个协议的原因，可以再数据库连接的url后面拼接这个&useSSL=false
Sun Oct 31 ...

数据库系统定义是什么？我这边连了很多数据源，除了mysql还有pg,clickhouse等，这个改动好大。系统是最近两个月出现这个问题次数比较多，之前用了很久都没发现过

作者: 环环 时间: 2022-1-6 14:42
管理系统数据空间配置里可以看

作者: yh_gtzKz4Pr 时间: 2022-1-6 14:52

永洪tech-秀秀发表于 2022-1-6 14:42
管理系统数据空间配置里可以看

哦哦，跟图片一样，是文件系统

作者: yh_gtzKz4Pr 时间: 2022-1-6 15:14

永洪tech-Lan 发表于 2022-1-6 15:07
咱们只有catalina.out的话只能看系统有没有出现oom，当前宕机的原因不排除是不是内存耗等导致，需要Yonghon ...

好的，这个也适用于8.5.2版本吧

作者: 永洪tech-Lan 时间: 2022-1-6 15:21

yh_gtzKz4Pr 发表于 2022-1-6 15:14
好的，这个也适用于8.5.2版本吧

适用的，只要是linux服务器就行。

作者: yh_gtzKz4Pr 时间: 2022-1-10 13:19
本帖最后由 yh_gtzKz4Pr 于 2022-1-10 13:24 编辑

永洪tech-Lan 发表于 2022-1-6 15:21
适用的，只要是linux服务器就行。

多谢~我试试看，下次出问题就直接发之前的邮箱啦~

欢迎光临永洪社区 (https://club.yonghongtech.com/)