mongodb分组查询统计去掉重复的记录

页面导航:首页 > 数据库 > DB2 > mongodb分组查询统计去掉重复的记录

mongodb分组查询统计去掉重复的记录

来源: 作者: 时间:2016-01-23 11:15 【

mongodb版本号是,MongoDB shell version: 2 4 4 操作环境,shell窗口 ,如下所示:[[email protected]_dbs ~] mongo --port 30100MongoDB shell version: 2 4 4connecting to: 127 0 0 1:

mongodb版本号是,MongoDB shell version: 2.4.4
操作环境,shell窗口 ,如下所示:

[[email protected]_dbs ~]# mongo --port 30100
MongoDB shell version: 2.4.4
connecting to: 127.0.0.1:30000/test
mongos> 
mongos> use pos
switched to db pos
mongos> 

1,先统计分组记录数,以paymentOrder字段来分组统计,查询出所有的统计结果,分组统计数>1的

// 这里分组统计出来取分组字段paymentOrder的值_id、最大的objectid值max_id、分组统计数count
var group=([    
     {$group:{_id:"$paymentOrder", max_id: {$max:"$_id"},count: { $sum: 1 }}},
     {$sort:{count:-1}}
])

2,定义就是找出存在重复的分组,使用管道操作符 match,条件是普通查询的格式,但是作用于group的输出结果的格式:

var match ={"$match":{"count" : {"$gt" : 2}}};

3,最后,通过聚合框架函数db.paymentinfo.aggregate(group, match)就得到了存在重复数据的分组。这个过程看似复杂,其实实现的只是T-SQL中的group by … having … 的语法。

var ds=db.paymentinfo.aggregate(group, match);

PS:这里match无效,出来很多count为1的数据,也就是说{“match":{"count" : {"gt” : 2}}};失败,why?


4,删除之前先备份好

备份

/usr/local/mongodb/mongodb-linux-x86_64-2.4.4/bin/mongoexport --port 30000 -d pos -c paymentinfo  -o /home/backup/mongodb_pos_paymentinfo_3.txt

5,开始循环删除

这里ds就是一个大的结果集,直接用ds.result就可以获取结果集里面分组查询出来的数据:

  //下面开始启用循环来遍历,aggregate出来的result已经具备了数组的特性,可以直接for循环处理
  var ds = db.paymentinfo.aggregate(group, match);
  for (var i = 0;i 1来过滤掉没有重复的数据,只对有重复的进行数据处理操作
    if(count>1){ 
        var oid=child.max_id;
        print(count);
        //这里获取分组中最大的objectid的集合记录的objectid
        var payorder=child._id;
        //获取重复的paymentOrder的所有记录查询出来,进行遍历
        var ps=db.paymentinfo.find({"paymentOrder":payorder });
        //直接find后需要用toArray()来进行处理变成数组这样才可以遍历
        var psc=ps.toArray();
        for(var j=0; j<psc.length; j++){="" var="" pchild="psc[j];" 将objectid进行遍历,如果是最大的那条记录保留,不是就删除remove掉="" if(oid.tostring()="=pchild._id.toString()){" print("the="" same="" one");print(pchild._id.tostring());="" print(oid.tostring());="" }else{="" other="" one="" -----");print(pchild._id.tostring());print(oid.tostring());db.paymentinfo.remove({"_id":pchild._id});="" }="" }BY THE WAY:如果你copy我的脚本,去shell下的mongos客户端执行报错,有可能是格式错误,你可以去掉所有的换行符号或者你自己手动输入一遍,去执行,就不会报错了。

 

Tags:

文章评论

最 近 更 新
热 点 排 行
Js与CSS工具
代码转换工具

<