C/C++教程

【TPC-DS】trino+S3+hive+postgresql性能测试----异常问题与解决方案(九)

本文主要是介绍【TPC-DS】trino+S3+hive+postgresql性能测试----异常问题与解决方案(九),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

问题一:./trino --server 10.201.0.125:8080 --catalog postgresql --schema public链接pg,执行show tables报错

 解决:启动start-metastore

/opt/hive-metastore/bin/start-metastore -p 9083

 

问题二:postgresql中执行./trino --server 10.201.0.125:8080 --catalog postgresql --schema public。再次show tables出现报错如下

 

 

解决:重启pg

[root@cluster-data-node-02 ~]# ss -tulnp | grep 5432
[root@cluster-data-node-02 ~]# su - postgres
Last login: Mon Nov  1 21:12:33 CST 2021 on pts/4
[postgres@cluster-data-node-02 ~]$ pg_ctl restart -D /data1/pgsql/data

 

问题三:执行查询时,报错:proxy:null和read timed out

解决方式一:不用做任何处理,等待一会再次执行SQL语句

解决方式二:node.properties中添加内容

spill-enabled=true
spiller-spill-path=/tmp
max-spill-per-node=100GB
query-max-spill-per-node=150GB

问题四:insert数据到Postgresql中插入数据,报错“超时”

 

 

排查定位问题:进入对应的数据库,输入show session查看query_max_run_time参数的值为600s

解决

进入/root/trino/trino-server-363/etc打开node.properties,添加参数

query.max-run-time=1d

将600s修改为1d,修改后,再次执行show session查看值已经被更改成功

更多内容参考trino参数的官网介绍:https://trino.io/docs/current/admin/properties-query-management.html#query-max-execution-time

 

问题提示memory不足

 解决(注:每个节点服务器都需要修改)

(1)进入/root/trino/trino-server-363/etc修改jvm.configs中的参数

修改前

-Xmx32G

修改后

-Xmx40G

(2)在trino文档中搜索“memory”,并进入/root/trino/trino-server-363/etc修改config.properties中的参数,

trino文档查看了解链接:https://trino.io/docs/current/admin/properties-memory-management.html?highlight=per%20node%20user%20memory

#单个查询在集群的最大内存

query.max-memory=60GB

#单个查询在单个节点上的最大用户内存

query.max-memory-per-node=16GB

#单个查询在单个节点上的最大用户和系统内存

query.max-total-memory-per-node=20GB

【重要】注意如上的内存参数修改时,均已JVM给定的大小基础上进行倍数相乘,详细注意看官方文档

 

 

 

这篇关于【TPC-DS】trino+S3+hive+postgresql性能测试----异常问题与解决方案(九)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!