Inserciones por lotes utilizando JPA EntityManager

Dependiendo de si la transacción encierra el bucle, el procesamiento por lotes normalmente ya ocurre en su caso.

JPA recopilará todas sus actualizaciones en su caché L1, y normalmente escribirá todas en la base de datos en un lote cuando se confirme la transacción. Esto no es realmente tan diferente con el procesamiento por lotes en JDBC, donde cada elemento por lotes que agregue también está temporalmente en memoria hasta que llame a un método de actualización.

Potencialmente problemático es que no tiene garantías duras de que JPA de hecho hace este procesamiento por lotes en absoluto y si hace esto en commit transacción o cuando se alcanza un umbral, pero he encontrado que en la práctica en casi todos los casos y especialmente en los casos que implican un bucle de actualización tan simple, de hecho hace el procesamiento por lotes.

Un problema es que incluso si JPA ya hace el procesamiento por lotes, es posible que desee controlar los tamaños de los lotes. Los artículos vinculados por las otras respuestas proporcionan información bastante útil para eso.

Finalmente, debe tener en cuenta que su caché L1 mantiene creciendo en un bucle, por lo que si el número de actualizaciones es realmente grande, límpielo periódicamente. Alternativamente, si su lógica de negocio puede sostenerlo, haga actualizaciones parciales en varias transacciones. Por ejemplo, elemento 0 a 100.000 en la transacción 1, 100.001 a 200.000 en la transacción 2, etc.

Sé que esta es una pregunta bastante antigua con una respuesta aceptada. Sin embargo, me gustaría dar una nueva respuesta a este tema muy específico "inserciones por lotes JPA".

@PersistenceContext
private EntityManager entityManager;

@Value("${hibernate.jdbc.batch_size}")
private int batchSize;

public <T extends MyClass> Collection<T> bulkSave(Collection<T> entities) {
  final List<T> savedEntities = new ArrayList<T>(entities.size());
  int i = 0;
  for (T t : entities) {
    savedEntities.add(persistOrMerge(t));
    i++;
    if (i % batchSize == 0) {
      // Flush a batch of inserts and release memory.
      entityManager.flush();
      entityManager.clear();
    }
  }
  return savedEntities;
}

private <T extends MyClass> T persistOrMerge(T t) {
  if (t.getId() == null) {
    entityManager.persist(t);
    return t;
  } else {
    return entityManager.merge(t);
  }
}

Fuente: http://frightanic.com/software-development/jpa-batch-inserts/

JPA por sí mismo no tiene ninguna configuración para el procesamiento por lotes. Sin embargo, hay algunas configuraciones dependientes de la implementación. Aquí hay un ejemplo para hibernar.