How to bulk insert data in TypeORM?

在使用 TypeORM 处理大批量数据插入时，有几种方法可以有效提高性能和效率。以下是几种主要的实现方式：

1. 使用 save 方法的批量操作

TypeORM 的 save 方法支持接收一个实体数组，从而一次性插入多条记录。例如：

typescript
import { getConnection } from 'typeorm';
import { User } from './entity/User';

async function insertBulkUsers(usersData: User[]) {
    const userRepository = getConnection().getRepository(User);
    await userRepository.save(usersData);
}

在这个例子中，usersData 是一个包含多个用户实体的数组。这种方法相较于单条插入，能显著减少数据库的 I/O 操作次数。

2. 使用 QueryBuilder 的 insert 方法

对于更复杂的批量插入需求，可以使用 QueryBuilder 来实现。QueryBuilder 提供了更灵活的方式来构建 SQL 语句，包括批量插入：

typescript
import { getConnection } from 'typeorm';

async function insertBulkUsers(usersData: any[]) {
    await getConnection()
        .createQueryBuilder()
        .insert()
        .into(User)
        .values(usersData)
        .execute();
}

在这个例子中，usersData 可以是包含多个用户数据的数组，每个元素都是一个对象，键为列名，值为数据。

3. 使用原生 SQL 查询

若需要更高的性能，可以通过执行原生 SQL 来进行批量插入：

typescript
import { getConnection } from 'typeorm';

async function insertBulkUsers(usersData: any[]) {
    const queryRunner = getConnection().createQueryRunner();
    await queryRunner.connect();
    await queryRunner.startTransaction();
    try {
        for (let userData of usersData) {
            await queryRunner.query(
                `INSERT INTO user(name, age) VALUES (?, ?)`,
                [userData.name, userData.age]
            );
        }
        await queryRunner.commitTransaction();
    } catch (err) {
        await queryRunner.rollbackTransaction();
    } finally {
        await queryRunner.release();
    }
}

使用原生 SQL 可以完全控制 SQL 执行，但也失去了 ORM 的许多便利和安全性。

4. 性能考虑

在处理大量数据时，应考虑以下几点以优化性能：

• 批量操作：尽量使用批量操作而不是单条记录操作。
• 事务管理：合理使用事务，可以减少中间状态的I/O操作。
• 索引优化：确保数据库表的索引适用于你的查询，特别是在插入操作中涉及到的字段。
• 限制条目数量：对于极大量数据的插入，考虑分批次进行，避免单次插入过多数据导致系统负载过高。

通过以上方法，你可以有效地在 TypeORM 中实现大批量数据的插入操作。