联系:手机/微信(+86 17813235971) QQ(107644445)
作者:惜分飞©版权所有[未经本人同意,不得以任何形式转载,否则有进一步追究法律责任的权利.]
在某些情况下,由于断电、硬件故障、软件bug等导致mongodb数据库无法正常启动,甚至使用repair依然无法启动,对于这样的情况.我专门开发了mongodb离线提取工具mongoext,在离线情况下直接提取mongodb的数据
整体命令支持
G:\mongodb\mongoext>mongoext.exe -h
usage: mongoext [-h] {scan,recover,info} ...
脱机 MongoDB 数据文件提取工具
positional arguments:
{scan,recover,info}
scan 扫描 dbPath 并导出
recover 恢复孤立的单个 collection 文件(无 catalog)
info 打印 dbPath 元信息
options:
-h, --help show this help message and exit
scan 是基于mongodb字典直接提取数据
recover是直接恢复单个集合文件中数据
info是获取字典信息以及集合对应关系
mongoext scan 命令介绍
G:\mongodb\mongoext>mongoext.exe scan -h
usage: mongoext scan [-h] [--db DB] [--collection COLLECTION] [--include-system] [--out OUT]
[--format {jsonl,sql,bson,mongo}] [--uri URI] [--batch BATCH] [--no-indexes] [--ttl-indexes]
[--keep-existing] [--sql-dialect {postgres,mysql}] [--dedup] [--no-progress] [--dry-run]
[--allocation-size ALLOCATION_SIZE]
dbpath
positional arguments:
dbpath dbPath 路径
options:
-h, --help show this help message and exit
--db DB 只导出指定数据库
--collection COLLECTION
只导出指定集合
--include-system 连 admin/config/local 也一起导入(默认跳过,会污染目标实例)
--out OUT 输出目录(--format mongo 时不需要)
--format {jsonl,sql,bson,mongo}
输出格式;mongo = 直接写入运行中的 mongod(BSON 类型保真)
--uri URI --format mongo 的目标连接串
--batch BATCH --format mongo 每批 insert_many 的条数
--no-indexes --format mongo 导入后不重建索引
--ttl-indexes --format mongo 连 TTL 索引也重建(默认不建:建了会立刻按过期时间删数据)
--keep-existing --format mongo 不 drop 目标集合,追加写入
--sql-dialect {postgres,mysql}
SQL 方言
--dedup 按 _id 去重(多版本 leaf page 残留时开启)
--no-progress 关闭 tqdm 进度条
--dry-run 只统计不写盘,用于核对提取完整性与文档计数
--allocation-size ALLOCATION_SIZE
手工指定块对齐粒度(默认从 turtle / 元数据读,读不到才穷举探测)
mongoext recover命令介绍
G:\mongodb\mongoext>mongoext.exe recover -h
usage: mongoext recover [-h] [--orphans DBPATH] [--db DB] [--collection COLLECTION] [--meta-dir META_DIR] [--out OUT]
[--format {jsonl,sql,bson,mongo}] [--uri URI] [--batch BATCH] [--no-indexes] [--ttl-indexes]
[--keep-existing] [--sql-dialect {postgres,mysql}] [--dedup] [--no-progress] [--dry-run]
[--allocation-size ALLOCATION_SIZE]
[wt_file]
positional arguments:
wt_file 孤立的 collection-*.wt 文件
options:
-h, --help show this help message and exit
--orphans DBPATH 批量恢复该 dbPath 里 catalog 未记录的 collection 文件
--db DB 手工指定库名(与 --collection 一起用)
--collection COLLECTION
手工指定集合名(与 --db 一起用)
--meta-dir META_DIR 伴生文件(turtle / _mdb_catalog.wt / WiredTiger.wt)所在目录,用来反查 namespace;
文件已拷走但原 dbPath 还在时指过去即可
--out OUT 输出目录(--format mongo 时不需要)
--format {jsonl,sql,bson,mongo}
输出格式;mongo = 直接写入运行中的 mongod(BSON 类型保真)
--uri URI --format mongo 的目标连接串
--batch BATCH --format mongo 每批 insert_many 的条数
--no-indexes --format mongo 导入后不重建索引
--ttl-indexes --format mongo 连 TTL 索引也重建(默认不建:建了会立刻按过期时间删数据)
--keep-existing --format mongo 不 drop 目标集合,追加写入
--sql-dialect {postgres,mysql}
SQL 方言
--dedup 按 _id 去重(多版本 leaf page 残留时开启)
--no-progress 关闭 tqdm 进度条
--dry-run 只统计不写盘,用于核对提取完整性与文档计数
--allocation-size ALLOCATION_SIZE
手工指定块对齐粒度(默认从 turtle / 元数据读,读不到才穷举探测)
常使用命令说明
# 看库结构
mongoext.exe info DBPATH
# 只统计不写盘
mongoext.exe scan DBPATH --out ./out --dry-run --dedup
# 全库导 JSON Lines(人看 / 给别的程序吃)
mongoext.exe scan DBPATH --out ./out --format jsonl --dedup
# 全库导 BSON(给 mongorestore 用)
mongoext.exe scan DBPATH --out ./out --format bson --dedup
# 全库导 SQL
mongoext.exe scan DBPATH --out ./out --format sql --sql-dialect mysql --dedup
# 保真导入运行中的 MongoDB(推荐路径)
mongoext.exe scan DBPATH --format mongo --dedup
# 只导一个集合
mongoext.exe scan DBPATH --format mongo --db mydb --collection users --dedup
# 导到远程实例
mongoext.exe scan DBPATH --format mongo \
--uri "mongodb://user:pass@host:27017/?authSource=admin" --dedup
# 恢复孤立的单个 collection 文件(无 dbPath / 无 catalog)
mongoext.exe recover FILE.wt --dry-run --dedup # 先看探测结论
mongoext.exe recover FILE.wt --db mydb --collection users --format mongo --dedup
mongoext.exe recover FILE.wt --meta-dir /原/dbPath --format mongo --dedup
# 批量恢复一个 dbPath 里的孤儿文件
mongoext.exe recover --orphans DBPATH --out ./out --dedup

