本文共 3577 字，大约阅读时间需要 11 分钟。

关于批量插入数据（100万）数据优化

一、批量插入数据优化思路

在处理大规模数据插入任务时，直接使用JDBC批量插入虽然能够提高效率，但如果没有正确配置事务设置，可能会导致性能瓶颈。以下是优化方法：

两种优化方法对比

方法一：使用固定前缀和动态值拼接

public static void insert() {
    Long begin = new Date().getTime();
    String prefix = "INSERT INTO tb_big_data (count, create_time, random) VALUES ";
    
    try {
        conn.setAutoCommit(false);
        PreparedStatement pst = conn.prepareStatement("");
        
        for (int i = 1; i < 100; i++) {
            for (int j = 1; j < 10000; j++) {
                suffix.append("(" + j * i + ", SYSDATE(), " + j * i * Math.random() + ")");
            }
            
            String sql = prefix + suffix.substring(0, suffix.length() - 1);
            pst.addBatch(sql);
            
            pst.executeBatch();
            conn.commit();
            
            suffix = new StringBuffer();
        }
        
        pst.close();
        conn.close();
    } catch (SQLException e) {
        e.printStackTrace();
    }
    
    Long end = new Date().getTime();
    System.out.println("cast : " + (end - begin) / 1000 + " ms");
}

测试结果：耗时23ms，效率最高。

方法二：使用参数化预编译语句

public static void insertRelease() {
    Long begin = new Date().getTime();
    String sql = "INSERT INTO tb_big_data (count, create_time, random) VALUES (?, SYSDATE(), ?)";
    
    try {
        conn.setAutoCommit(false);
        PreparedStatement pst = conn.prepareStatement(sql);
        
        for (int i = 1; i < 100; i++) {
            for (int j = 1; j < 10000; j++) {
                pst.setLong(1, j * i);
                pst.setLong(2, j * i);
                pst.addBatch();
            }
            
            pst.executeBatch();
            conn.commit();
        }
        
        pst.close();
        conn.close();
    } catch (SQLException e) {
        e.printStackTrace();
    }
    
    Long end = new Date().getTime();
    System.out.println("cast : " + (end - begin) / 1000 + " ms");
}

测试结果：耗时111ms，效率较低。

总结：两种方法在原理上相似，但方法一通过动态拼接和批量添加数据，性能更优。建议优先采用方法一。

MySQL亿级数据优化

为了处理大规模数据存储和查询需求，MySQL数据库优化可以从以下几个方面入手：

一、数据库设计优化

二、服务器和存储优化

三、查询优化

防止SQL注入

一、预编译语句集

使用PreparedStatement对象，可以有效防止SQL注入攻击。通过参数占位符传递动态值，避免直接拼接字符串。

示例代码：

String sql = "SELECT * FROM users WHERE username=? AND password=?";
PreparedStatement pre = conn.prepareStatement(sql);
pre.setString(1, userName);
pre.setString(2, password);
ResultSet rs = pre.executeQuery();

原理：预编译语句集会自动对参数值进行转义处理，避免特殊字符注入。

二、正则表达式替换

如果需要拼接查询语句，可以使用正则表达式替换特殊字符。

防注入函数示例：

public static String TransactSQLInjection(String str) {
    return str.replaceAll(".*([';]+|(--)+).*", " ");
}

使用示例：

String sql = TransactSQLInjection("'或' 1='1'") + " WHERE username='";
sql += TransactSQLInjection(userName) + "'";

三、Ibatis防注入

在Ibatis框架中，通过参数引用符号#和$来控制参数引用方式。

示例：

SELECT * FROM t_user WHERE name LIKE '%#name#%'

注意事项：#方式会自动转义，$方式需要谨慎使用，避免注入攻击。

四、综合防护措施

以上优化方法可以有效提升数据库性能和安全性。在实际应用中，建议根据具体场景选择合适的优化方案，并通过持续监控和测试不断优化数据库配置和查询执行计划。

转载地址：http://uxpmz.baihongyu.com/