有两种应用场景需要用到数据生成器,一种是需要测试数据库性能,比如在100万条和1000万条记录的时候对比查询或更新语句执行耗时,一种是随机模拟生成一堆数据,用来测试程序的性能,看下程序中到了百万千万级别的数据量的时候,程序的代码执行是否受影响,影响有大等。很多人觉得sqlite数据库性能超过几十万就不行,于是亲自用这个数据发生器随机模拟生成了一亿条记录,测试下来发现性能有损失,但是不像传说中的垃圾,起码还是完全可用的,只要注意索引要建好,文件体积比较大就是,文件体积膨胀到了1.2GB,估计性能损耗很大程度上在磁盘读写。
通过对各种数据库(sqlite、postgres、mysql、sqlserver等)不同数据量阶段(1万条、100万条、1000万条等)做不同的sql语句处理(查询、插入、删除、更新),Qt内置了sqlite数据库,所以对sqlite的支持是最快最友好的,其次是postgresql数据库、然后是mysql,支持最差的性能最低的是ODBC模式连接的数据库,比如sqlserver数据库必须用odbc的形式连接,由于odbc是一个中间层,理论上性能也是肯定没有直接连接处理快,不过纵观各种用Qt写的项目的场景,很少是需要千万级别亿级别的数据量的,真的到了这个程度可以考虑分库分表来解决。
关于Qt数据库相关开发的一些经验总结:
https://qtchina.blog.csdn.net/article/details/119022424
void frmDbCreat::on_btnOpen_clicked() { if (ui->btnOpen->text() == "打开数据库") { DbInfo dbInfo; dbInfo.connName = this->objectName(); dbInfo.dbName = AppConfig::DbName2; dbInfo.hostName = AppConfig::HostName2; dbInfo.hostPort = AppConfig::HostPort2; dbInfo.userName = AppConfig::UserName2; dbInfo.userPwd = AppConfig::UserPwd2; QString dbType = AppConfig::DbType2.toUpper(); if (dbType == "SQLITE") { dbInfo.dbName = DbHelper::getDbDefaultFile(); } dbConn->setConnInfo(DbHelper::getDbType(dbType), dbInfo); if (dbConn->openDb()) { dbConn->start(); ui->btnOpen->setText("关闭数据库"); } else { QString error = dbConn->getDatabase().lastError().text(); QUIHelper::showMessageBoxError("打开数据库失败!\n" + error, 3); } } else { dbConn->stop(); dbConn->closeDb(); ui->btnOpen->setText("打开数据库"); on_btnClear_clicked(); } QTimer::singleShot(100, this, SLOT(getMaxID())); QTimer::singleShot(1000, this, SLOT(on_btnStart_clicked())); } void frmDbCreat::on_btnCopy_clicked() { //将数据库设置参数一键粘贴过来 ui->cboxDbType->setCurrentIndex(ui->cboxDbType->findText(AppConfig::LocalDbType)); ui->txtDbName->setText(AppConfig::LocalDbName); ui->txtHostName->setText(AppConfig::LocalHostName); ui->txtHostPort->setText(QString::number(AppConfig::LocalHostPort)); ui->txtUserName->setText(AppConfig::LocalUserName); ui->txtUserPwd->setText(AppConfig::LocalUserPwd); } void frmDbCreat::getMaxID() { if (!dbConn->getOk()) { return; } //根据插入sql语句取出对应的表名和自增字段 QString sqlColumn = AppConfig::SqlColumn2; QString sqlValue = AppConfig::SqlValue2; if (sqlValue.contains("AUTO_INCREMENT")) { sqlColumn.replace("insert into ", ""); sqlValue.replace("values", ""); QString tableName = sqlColumn.split("(").first(); sqlColumn.replace(tableName, ""); sqlColumn.replace("(", ""); sqlColumn.replace(")", ""); sqlValue.replace("(", ""); sqlValue.replace(")", ""); QStringList listColumn = sqlColumn.split(","); QStringList listValue = sqlValue.split(","); int index = listValue.indexOf("'AUTO_INCREMENT'"); QString columnName = listColumn.at(index); //取出最大记录数 maxID = DbHelper::getMaxID(tableName, columnName, dbConn->getDatabase()); } } void frmDbCreat::on_btnDo_clicked() { if (!dbConn->getOk()) { return; } QString sql = AppConfig::SqlColumn2 + " " + AppConfig::SqlValue2; //qDebug() << TIMEMS << sql; QStringList sqls; for (int i = 0; i < AppConfig::Count2; ++i) { QString temp = sql; //替换自增ID maxID++; temp.replace("AUTO_INCREMENT", QString::number(maxID)); //替换时间 temp.replace("DATETIME", DATETIME); sqls << temp; } dbConn->append(sqls); } void frmDbCreat::on_btnCount_clicked() { dbConn->selectCount("LogInfo", "LogID", "where 1=1"); } void frmDbCreat::on_btnStart_clicked() { if (ui->btnStart->text() == "启动服务") { on_btnDo_clicked(); timer->start(); ui->btnStart->setText("停止服务"); } else { timer->stop(); ui->btnStart->setText("启动服务"); } }