经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 数据库/运维 » MongoDB » 查看文章
分享MongoDB修改oplog大小的4种方法
来源:jb51  时间:2022/4/11 8:44:56  对本文有异议

修改oplog有四种方法:

方法一

步骤如下:

  • 停掉所有secondary节点
  • 主节点删除local目录下文件,副本节点删除数据目录下所有文件
  • 修改所有节点的配置文件,如:oplogSize=1000
  • 重启所有节点,包括主节点和副本节点
  • 重新配置replca set,副本节点会重新同步数据(initial sync)

优点:操作简单。
缺点:需要停服务,若数据量大,数据同步代价高。

方法二

步骤如下:

  • remove其中一个secondary节点,并关闭mongod服务,删除数据目录下所有文件
  • 修改此节点的参数文件,如:oplogSize=1000,并启动mongod服务
  • 在primary节点执行rs.add()将此节点加入到replica set
  • 循环1-3步骤,将所有副本节点全部改完
  • primary节点执行rs.stepDown()将主节点降级为副本节点
  • 从新的主节点remove掉此节点,并进行步骤1-3
    这样逐个修改每个节点,完成oplog修改。

优点:解决了方法一中的停机问题。
缺点:每个节点都要逐个重新同步,时间代价更高。

方法三

The oplog exists internally as a capped collection, so you cannot modify its size in the course of normal operations.另:改变oplog大小,需要在每个节点上执行维护模式。(官方推荐)

1.关闭mongod

关闭mongod实例,如果是primary节点,执行rs.stepDown() 降级

  1. handong1:PRIMARY> rs.stepDown()
  2. {
  3. "ok" : 1,
  4. "$clusterTime" : {
  5. "clusterTime" : Timestamp(1619693040, 1),
  6. "signature" : {
  7. "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
  8. "keyId" : NumberLong(0)
  9. }
  10. },
  11. "operationTime" : Timestamp(1619693040, 1)
  12. }
  13. handong1:SECONDARY>
  14. handong1:SECONDARY>
  15. handong1:SECONDARY>
  16. handong1:SECONDARY> use admin
  17. switched to db admin
  18. handong1:SECONDARY> db.shutdownServer()
  19. 2021-04-29T18:44:33.947+0800 I NETWORK [js] DBClientConnection failed to receive message from 127.0.0.1:27017 - HostUnreachable: Connection closed by peer
  20. server should be down...
  21. 2021-04-29T18:44:33.950+0800 I NETWORK [js] trying reconnect to 127.0.0.1:27017 failed
  22. 2021-04-29T18:44:33.967+0800 I NETWORK [js] reconnect 127.0.0.1:27017 failed failed
  23.  

2.修改配置文件

修改配置文件,修改端口,注释掉replSet和认证相关的设置

  1. port=27018
  2. fork=true
  3. journal = true
  4. maxConns=500
  5. logappend=true
  6. directoryperdb=true
  7. dbpath=/mongodb/data
  8. logpath=/mongodb/logs/mongodb.log

3.启动mongod实例,并备份oplog

  1. mongod -f /mongodb/conf/mongodb.conf
  2. about to fork child process, waiting until server is ready for connections.
  3. forked process: 31553
  4. child process started successfully, parent exiting
  1. mongodump -d local -c oplog.rs --port 27018 -h 172.16.254.134 -o /mongodb/backup
  2. 2021-04-29T18:55:18.167+0800 writing local.oplog.rs to /mongodb/backup/local/oplog.rs.bson
  3. 2021-04-29T18:55:18.170+0800 done dumping local.oplog.rs (798 documents)

4.重建oplog

保存oplog最新时间点

  1. > use local
  2. switched to db local
  3. > db.temp.save( db.oplog.rs.find( { }, { ts: 1, h: 1 } ).sort( {$natural : -1} ).limit(1).next() )
  4. WriteResult({ "nInserted" : 1 })
  5.  
  1. > db.temp.find()
  2. { "_id" : ObjectId("608a914089abaa981f14e888"), "ts" : Timestamp(1619693066, 1), "h" : NumberLong(0) }
  3.  

删除旧的oplog

  1. db.oplog.rs.drop()

重建新的oplog,大小为2GB

  1. > db.runCommand( { create: "oplog.rs", capped: true, size: (2 * 1024 * 1024 * 1024) } )
  2.  

5.插入前面保存的oplog时间点记录

  1. > db.oplog.rs.save( db.temp.findOne() )
  2. > db.oplog.rs.find()

6.关闭mongod实例

  1. > use admin
  2. switched to db admin
  3. > db.shutdownServer()
  4. 2021-04-29T19:06:53.745+0800 I NETWORK [js] DBClientConnection failed to receive message from 127.0.0.1:27018 - HostUnreachable: Connection closed by peer
  5. server should be down...
  6. 2021-04-29T19:06:53.749+0800 I NETWORK [js] trying reconnect to 127.0.0.1:27018 failed
  7. 2021-04-29T19:06:53.749+0800 I NETWORK [js] reconnect 127.0.0.1:27018 failed failed

最后恢复mongodb.conf到初始状态,启动

方法四

如果你的MongoDB版本为4.0以后的版本,可以直接使用replSetResizeOplog修改。

1.查看oplog大小

  1. handong1:SECONDARY> db.getReplicationInfo()
  2. {
  3. "logSizeMB" : 1000,
  4. "usedMB" : 0.17,
  5. "timeDiff" : 6736,
  6. "timeDiffHours" : 1.87,
  7. "tFirst" : "Thu Apr 29 2021 17:19:14 GMT+0800 (CST)",
  8. "tLast" : "Thu Apr 29 2021 19:11:30 GMT+0800 (CST)",
  9. "now" : "Thu Apr 29 2021 19:11:42 GMT+0800 (CST)"
  10. }
  11.  

2.修改oplog大小

  1. handong1:SECONDARY> db.adminCommand({replSetResizeOplog:1,size:2000})
  2. {
  3. "ok" : 1,
  4. "$clusterTime" : {
  5. "clusterTime" : Timestamp(1619694744, 14),
  6. "signature" : {
  7. "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
  8. "keyId" : NumberLong(0)
  9. }
  10. },
  11. "operationTime" : Timestamp(1619694744, 14)
  12. }
  13.  

3.验证oplog大小

  1. handong1:SECONDARY> db.getReplicationInfo()
  2. {
  3. "logSizeMB" : 2000,
  4. "usedMB" : 0.18,
  5. "timeDiff" : 6852,
  6. "timeDiffHours" : 1.9,
  7. "tFirst" : "Thu Apr 29 2021 17:19:14 GMT+0800 (CST)",
  8. "tLast" : "Thu Apr 29 2021 19:13:26 GMT+0800 (CST)",
  9. "now" : "Thu Apr 29 2021 19:13:28 GMT+0800 (CST)"
  10. }
  11.  

4.整理碎片,回收空间(可选)

  1. handong1:SECONDARY> use local
  2. switched to db local
  3. handong1:SECONDARY> db.runCommand({"compact" : "oplog.rs"})
  4. {
  5. "ok" : 1,
  6. "$clusterTime" : {
  7. "clusterTime" : Timestamp(1619694840, 1),
  8. "signature" : {
  9. "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
  10. "keyId" : NumberLong(0)
  11. }
  12. },
  13. "operationTime" : Timestamp(1619694840, 1)
  14. }

到此这篇关于分享MongoDB修改oplog大小的4种方法的文章就介绍到这了,更多相关MongoDB修改oplog大小内容请搜索w3xue以前的文章或继续浏览下面的相关文章希望大家以后多多支持w3xue!

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号