记录ado.net批量新增最快的一种入库方式

// 循环 INSERT：每条数据单独执行一次，性能最差
for (int i = 0; i < list.Count; i++)
{
    using var cmd = conn.CreateCommand();
    cmd.CommandText = "INSERT INTO T(UserName,Age) VALUES(@u,@a)";
    cmd.Parameters.AddWithValue("@u", list[i].UserName);
    cmd.Parameters.AddWithValue("@a", list[i].Age);
    cmd.ExecuteNonQuery(); // 每条都走一次网络往返 + 解析 + 提交
}

// 事务批量 INSERT：一个事务包裹所有语句，减少提交次数
using var tran = conn.BeginTransaction();
using var cmd = conn.CreateCommand();
cmd.Transaction = tran;
cmd.CommandText = "INSERT INTO T(UserName,Age) VALUES(@u,@a)";
cmd.Parameters.Add(new SqlParameter("@u", SqlDbType.NVarChar, 50));
cmd.Parameters.Add(new SqlParameter("@a", SqlDbType.Int));

foreach (var item in list)
{
    cmd.Parameters["@u"].Value = item.UserName;
    cmd.Parameters["@a"].Value = item.Age;
    cmd.ExecuteNonQuery(); // 同一连接、同一事务，复用参数
}
tran.Commit(); // 一次性提交

using System.Data;
using System.Data.SqlClient;
using Microsoft.Data.SqlClient; // 推荐使用 Microsoft.Data.SqlClient

public static class BulkCopyHelper
{
    /// <summary>
    /// 使用 SqlBulkCopy 将 DataTable 高速写入目标表
    /// </summary>
    /// <param name="conn">已打开的连接</param>
    /// <param name="tran">外部事务，可为 null</param>
    /// <param name="destinationTable">目标表名</param>
    /// <param name="source">源数据</param>
    /// <param name="columnMappings">列映射，key=源列，value=目标列</param>
    /// <param name="batchSize">每批大小，建议 5000~10000</param>
    /// <param name="timeout">超时秒数</param>
    /// <param name="cancellationToken">取消令牌</param>
    public static void BulkInsert(
        SqlConnection conn,
        SqlTransaction? tran,
        string destinationTable,
        DataTable source,
        Dictionary<string, string>? columnMappings,
        int batchSize = 10000,
        int timeout = 60,
        CancellationToken cancellationToken = default)
    {
        // 使用 SqlBulkCopyOptions.KeepIdentity 可保留源表自增ID
        // 这里用默认选项，让目标表自己生成标识列
        using var bulk = tran is null
            ? new SqlBulkCopy(conn)
            : new SqlBulkCopy(conn, SqlBulkCopyOptions.Default, tran);

        bulk.DestinationTableName = destinationTable;
        bulk.BatchSize = batchSize;          // 每批写入的行数
        bulk.BulkCopyTimeout = timeout;      // 整体超时(秒)

        // 列映射：源列名 -> 目标列名
        if (columnMappings is null || columnMappings.Count == 0)
        {
            // 不指定时按列名自动匹配（要求源列名和目标列名一致）
            foreach (DataColumn col in source.Columns)
            {
                bulk.ColumnMappings.Add(col.ColumnName, col.ColumnName);
            }
        }
        else
        {
            foreach (var kv in columnMappings)
            {
                bulk.ColumnMappings.Add(kv.Key, kv.Value);
            }
        }

        // 注册取消回调：取消时立即中止 bulk 操作
        using var registration = cancellationToken.Register(() =>
        {
            // 取消令牌触发时，强制关闭以中断当前 bulk load
            try { bulk.Close(); } catch { /* 忽略关闭异常 */ }
        });

        // 执行写入
        bulk.WriteToServer(source);
    }
}

// 构造源数据
var dt = new DataTable();
dt.Columns.Add("UserName", typeof(string));
dt.Columns.Add("Age", typeof(int));

for (int i = 0; i < 100_000; i++)
{
    dt.Rows.Add($"user_{i}", 18 + (i % 50));
}

// 使用 CancellationTokenSource 支持外部取消
using var cts = new CancellationTokenSource(TimeSpan.FromMinutes(5));
using var conn = new SqlConnection("Server=.;Database=Demo;Trusted_Connection=True;TrustServerCertificate=True;");
await conn.OpenAsync();

var mappings = new Dictionary<string, string>
{
    { "UserName", "UserName" },
    { "Age", "Age" }
};

BulkCopyHelper.BulkInsert(
    conn,
    tran: null,
    destinationTable: "T_User",
    source: dt,
    columnMappings: mappings,
    batchSize: 10000,
    timeout: 120,
    cancellationToken: cts.Token);

Console.WriteLine("批量写入完成");