MongoDB 聚合分组取第一条记录的案例及实现

来源：cnblogs　　作者：东山絮柳仔　　时间：2019/1/23 9:17:02　　对本文有异议

关键字：MongoDB； aggregate；forEach

今天开发同学向我们提了一个紧急的需求，从集合mt_resources_access_log中，根据字段refererDomain分组，取分组中最近一笔插入的数据，然后将这些符合条件的数据导入到集合mt_resources_access_log_new中。

接到这个需求，还是有些心虚的，原因有二，一是，业务需要，时间紧；二是，实现这个功能MongoDB聚合感觉有些复杂，聚合要走好多步。

数据记录格式如下：

记录1
{
    "_id" : ObjectId("5c1e23eaa66bf62c0c390afb"),
    "_class" : "C1",
    "resourceUrl" : "/static/js/p.js",
    "refererDomain" : "1234",
    "resourceType" : "static_resource",
    "ip" : "17.17.13.13",
    "createTime" : ISODate("2018-12-22T19:45:46.015+08:00"),
    "disabled" : 0
}
记录2
{
    "_id" : ObjectId("5c1e23eaa66bf62c0c390afb"),
    "_class" : "C1",
    "resourceUrl" : "/static/js/p.js",
    "refererDomain" : "1234",
    "resourceType" : "Dome_resource",
    "ip" : "17.17.13.14",
    "createTime" : ISODate("2018-12-21T19:45:46.015+08:00"),
    "disabled" : 0
}
记录3
{
    "_id" : ObjectId("5c1e23eaa66bf62c0c390afb"),
    "_class" : "C2",
    "resourceUrl" : "/static/js/p.js",
    "refererDomain" : "1235",
    "resourceType" : "static_resource",
    "ip" : "17.17.13.13",
    "createTime" : ISODate("2018-12-20T19:45:46.015+08:00"),
    "disabled" : 0
}

记录4
{
    "_id" : ObjectId("5c1e23eaa66bf62c0c390afb"),
    "_class" : "C2",
    "resourceUrl" : "/static/js/p.js",
    "refererDomain" : "1235",
    "resourceType" : "Dome_resource",
    "ip" : "17.17.13.13",
    "createTime" : ISODate("2018-12-20T19:45:46.015+08:00"),
    "disabled" : 0
}

以上是我们的4条记录，类似的记录文档有1500W。

因为情况特殊，业务发版需要这些数据。催的比较急，而通过聚合框架aggregate，短时间有没有思路，所以，当时就想着尝试采用其他方案。

最后，问题处理方案如下。

Step 1 通过聚合框架根据条件要求先分组，并将新生成的数据输出到集合mt_resources_access_log20190122 中（共产生95笔数据）；

实现代码如下：

db.log_resources_access_collect.aggregate(
                     [
                      
                       { $group: { _id: "$refererDomain" } },
                       { $out : "mt_resources_access_log20190122" }
                     ]
  
                   )

Step 2 通过2次 forEach操作，循环处理 mt_resources_access_log20190122和mt_resources_access_log的数据。

代码解释，处理的逻辑为，循环逐笔取出mt_resources_access_log20190122的数据（共95笔），每笔逐行加工处理，处理的逻辑主要是根据自己的_id字段数据（此字段来自mt_resources_access_log聚合前的refererDomain字段），去和 mt_resources_access_log的字段 refererDomain比对，查询出符合此条件的数据，并且是按_id 倒序，仅取一笔，最后将Join刷选后的数据Insert到集合mt_resources_access_log_new。

新集合也是95笔数据。

大家不用担心性能，查询语句在1S内实现了结果查询。

db.mt_resources_access_log20190122.find({}).forEach(
    function(x) {
        db.mt_resources_access_log.find({ "refererDomain": x._id }).sort({ _id: -1 }).limit(1).forEach(
            function(y) {
                db.mt_resources_access_log_new.insert(y)
            }
        )
    }
)