【Java的批量操作】

心疼你的一切

发布于 2026-01-20 15:39:57

1160

👉前言

批量数据处理是一项常见且关键的需求。随着数据量的增长，传统的逐条处理方式往往导致性能瓶颈，尤其是在使用对象关系映射(ORM)框架如Hibernate、JPA等情况下。虽然ORM框架极大地简化了Java应用与数据库的交互，但其默认配置通常并非针对批量操作优化。本文将深入探讨如何在保持ORM框架便利性的同时，优化批量操作性能，包括批量插入、更新、删除以及读取策略，帮助开发者构建高效的数据密集型应用程序。

博客将会介绍如何实现 Java的批量操作。希望这篇博客对Unity的开发者有所帮助。大家好，我是心疼你的一切，不定时更新Unity开发技巧，觉得有用记得一键三连哦。欢迎点赞评论哦.下面就让我们进入正文吧 !

提示：以下是本篇文章正文内容，下面案例可供参考

👉一、常见批量操作方法

在Java开发中，批量操作常用于提升数据库、文件或集合处理的效率。

👉1-1、JDBC 批量操作（数据库）

Connection conn = dataSource.getConnection();
try {
    conn.setAutoCommit(false); // 关闭自动提交
    PreparedStatement ps = conn.prepareStatement("INSERT INTO users(name) VALUES (?)");
    
    for (int i = 0; i < 1000; i++) {
        ps.setString(1, "user" + i);
        ps.addBatch(); // 添加到批处理
        if (i % 100 == 0) { // 分批次提交，避免内存溢出
            ps.executeBatch();
            ps.clearBatch();
        }
    }
    ps.executeBatch(); // 执行剩余操作
    conn.commit();     // 提交事务
} catch (BatchUpdateException e) {
    conn.rollback();   // 回滚事务
} finally {
    conn.close();
}

👉1-2、MyBatis 批量操作

<!-- Mapper XML 中使用 foreach -->
<insert id="batchInsert">
    INSERT INTO users(name) VALUES 
    <foreach item="user" collection="list" separator=",">
        (#{user.name})
    </foreach>
</insert>

Java

// 使用 ExecutorType.BATCH 模式
SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
try {
    UserMapper mapper = sqlSession.getMapper(UserMapper.class);
    for (User user : userList) {
        mapper.insert(user);
    }
    sqlSession.commit(); // 统一提交
} finally {
    sqlSession.close();
}

👉1-3、Java 8 Stream 批量处理集合

List<User> users = getUsers();
users.parallelStream()           // 并行流提升速度
     .filter(u -> u.getAge() > 18)
     .forEach(this::processUser); // 批量处理

👉1-4、多线程批量处理

ExecutorService executor = Executors.newFixedThreadPool(4);
List<Future<?>> futures = new ArrayList<>();

for (List<User> batch : splitIntoBatches(users, 100)) {
    futures.add(executor.submit(() -> processBatch(batch)));
}

// 等待所有任务完成
for (Future<?> future : futures) {
    future.get();
}

批量操作的核心是减少 I/O 开销和网络往返次数，但需权衡内存、事务和异常处理。根据实际场景选择合适方案（如 JDBC 原生批处理性能最优，MyBatis/Hibernate 更便捷）。

👉二、注意事项

事务管理数据库事务：批量操作需手动管理事务，避免逐条提交（如关闭自动提交）。原子性：若需保证全部成功或失败，需捕获异常并回滚（如 BatchUpdateException）。
批处理大小单次批处理量不宜过大（如每次 100~1000 条），避免内存溢出（OOM）或数据库超时。分批次处理大数据集，及时释放资源。
资源释放确保关闭数据库连接、Statement、ResultSet 等资源（使用 try-with-resources）。
异常处理捕获 BatchUpdateException 时，部分数据库可能只返回部分错误信息。记录失败数据，实现重试或补偿机制。
性能优化数据库：调整 rewriteBatchedStatements=true（MySQL）以优化批量插入。索引：批量插入前可暂时禁用索引，完成后重建。
框架特性 MyBatis：ExecutorType.BATCH 模式需手动提交，避免一级缓存膨胀。 Hibernate：使用 StatelessSession 或定期 flush()/clear() 避免内存占用。
数据库限制参数数量限制（如 Oracle 的 IN 语句最多 1000 个参数）。 SQL 长度限制（需分批次处理）。

适用场景 1 数据库：批量插入、更新、删除。