你是否还在用笨重的脚本或者手动复制粘贴来迁移数据库数据？面对几十万甚至上百万条数据，不仅效率低下，稍有不慎还可能导致数据丢失或表锁死。作为 N8N大学 的首席主编，笔者深知这种痛苦。今天，我们就用 n8n 的 MySQL 节点，硬核拆解如何通过“批处理”策略，一次性搞定百万级数据的迁移。这不仅是技术的升级，更是工作流的解放。
为什么传统方式在百万级数据面前不堪一击？
在低代码自动化领域，数据迁移是一个高频需求。很多初学者习惯使用“循环”节点，一次次插入数据。这种做法在数据量较小时尚可，一旦数据量超过 10 万，你会发现工作流变得极其缓慢，甚至直接卡死。
核心原因在于网络交互和数据库事务的开销。每一次 INSERT 操作都是一次独立的请求。对于百万级数据，这意味着百万次握手。我们需要的是“批处理”（Batch Insert），即一次请求插入多条数据。n8n 的 MySQL 节点原生支持此功能，但配置极其讲究。
核心实操：构建高并发的批处理工作流
我们将设计一个能够处理百万级数据的 n8n 工作流。整个流程分为数据读取、数据清洗、数据批处理三个阶段。
步骤一：数据源读取与分页策略
首先，我们需要读取源数据库的数据。如果数据量巨大，一次性读取会撑爆内存。笔者推荐使用 MySQL 节点的 “Execute Query” 模式，配合 OFFSET 和 LIMIT 进行分页读取。
在 n8n 中，你可以使用一个 Loop Over Items 节点来控制分页循环。设置一个起始偏移量（Offset）和每页读取量（Limit），例如每次读取 1000 条。这样可以保证内存占用始终在可控范围内。
注意： 在处理超大数据集时，务必确保你的数据库连接配置中开启了长连接，避免因处理时间过长导致连接断开。
步骤二：配置 MySQL 批量插入节点
这是本教程的核心。将从源数据库读取到的数据（假设已转换为目标表结构），连接到目标数据库的 MySQL 节点。
关键配置如下：
- Operation: 选择
Insert。 - Table: 填写目标表名。
- Columns: 这里需要映射字段。如果你使用的是 JSON 数据，通常 n8n 会自动识别。
- Batch Insert (关键): 在节点设置中，找到
Options->Batch Insert（部分版本可能在高级设置中）。你需要确保 n8n 能够识别这是一个数组输入。通常，n8n 会自动将数组形式的输入作为批量插入处理，但你需要显式地告诉它“这是多行数据”。
在 n8n 中，当你传入一个包含多个 JSON 对象的数组时，MySQL 节点会自动生成类似 INSERT INTO table (col1, col2) VALUES (?, ?), (?, ?) 的语句。这能将 1000 次查询压缩为 1 次。
步骤三：事务控制与错误处理
百万级迁移，容错率必须考虑。如果中间某一批次插入失败，我们不希望整个任务重来，也不希望脏数据留在表里。
在 n8n 的 MySQL 节点设置中，开启 Transaction（事务）选项。这意味着每一批次（比如每 1000 条）的插入是原子的：要么全成功，要么全回滚。
同时，建议在工作流中加入 IF 节点或错误处理路径。如果某一批次报错，将该批次的数据记录到日志文件或另一张错误表中，以便后续排查，而不是让整个工作流崩溃。
避坑指南：实战中容易忽略的细节
即使是老手，在处理海量数据迁移时也容易踩坑。以下是笔者在实际项目中总结的血泪经验。
1. 超时时间（Timeout）陷阱
默认情况下，n8n 的 HTTP 请求和数据库连接都有超时限制。当你插入 50 万条数据时，单次执行时间可能超过几分钟甚至更久。如果超时设置过短，n8n 会直接报错中断。
解决方案： 在 n8n 的环境变量或节点设置中，适当调大 DB_TIMEOUT 或 QUERY_TIMEOUT。如果使用 Docker 部署，建议在 .env 文件中设置 EXECUTIONS_TIMEOUT=3600（单位秒），确保长任务不被强制杀掉。
2. 内存溢出（OOM）问题
虽然我们采用了分页读取，但如果你的 Batch Size（批处理大小）设置过大（例如一次性插入 50000 条），n8n 的 Node.js 进程可能会因为内存不足而崩溃。
解决方案： 寻找“甜蜜点”。对于大多数 MySQL 服务器，单次插入 1000 到 5000 条数据是性能与稳定性的最佳平衡点。切勿贪大，分批多跑几次比一次性卡死要高效得多。
3. 字符编码与严格模式
源数据库和目标数据库的字符集（如 utf8 vs utf8mb4）不一致时，特殊表情符号或生僻字会导致插入失败。此外，MySQL 的严格模式（Strict Mode）会因为数据类型不匹配直接报错。
解决方案： 在 MySQL 节点的连接设置中，可以添加自定义参数，例如 charset: 'utf8mb4'。同时，在数据清洗阶段（使用 Set 节点或代码节点），务必确保字段类型严格匹配，特别是整型和浮点型。
性能优化：让迁移速度飞起来
当你掌握了基础的批处理后，可以尝试以下进阶优化，将迁移速度提升数倍。
利用 n8n 的并行执行
n8n 支持工作流的并行执行。你可以将数据源拆分成多个部分（例如按 ID 范围），同时启动多个 n8n 工作流实例进行导入。但这需要目标数据库有较强的并发写入能力，否则会造成锁竞争。
关闭非必要索引
这是一个数据库层面的优化技巧。在导入大量数据之前，暂时删除目标表的非唯一索引。数据全部导入后，再重新创建索引。这比在插入过程中不断更新索引要快得多。虽然这不在 n8n 节点配置里，但作为自动化工程师，了解底层原理至关重要。
FAQ 问答
Q1: n8n 免费版支持百万级数据迁移吗？
支持。n8n 的社区版（免费开源）在功能上与付费版基本一致，没有数据量的硬性限制。限制主要来自于你运行 n8n 的服务器性能（CPU 和内存）以及数据库本身的性能。只要配置得当，免费版完全胜任。
Q2: 迁移过程中网络断了怎么办？
这是最让人头疼的问题。建议开启 n8n 的“断点续传”策略：在工作流设计时，记录当前处理的页码（Offset）。如果工作流失败，重启后从记录的页码继续执行，而不是从头开始。这需要配合 IF 节点和外部存储（如 Redis 或临时文件）来实现。
Q3: 为什么我的批量插入速度比单条插入还慢？
通常是因为单次插入的数据量过大，导致 MySQL 生成了巨大的 Binlog，占用了大量 I/O。或者是因为网络带宽瓶颈。请尝试减少 Batch Size（例如从 5000 降到 1000），并监控服务器的 I/O 使用率。
总结与资源
百万级数据迁移看似恐怖，但只要掌握了 n8n 的 MySQL 批处理机制，配合合理的分页与事务控制，就能化繁为简。记住，自动化的核心不是“快”，而是“稳”与“可控”。
如果你在实操中遇到了具体的报错代码，欢迎在 N8N大学 社区发帖，笔者会亲自解答。
延伸阅读：
