Mongdb中常用的數(shù)據(jù)清洗

KaltZK 發(fā)布于2019-07-31 11:20 / 1083人閱讀

摘要：解決方案查詢重復數(shù)據(jù)刪除重復數(shù)據(jù)去除重復組的第一個元數(shù)據(jù)，得到除第一個之外的其他元組刪除這些重復的數(shù)據(jù)刪除重復數(shù)據(jù)版本復制里的數(shù)據(jù)到另一個中過濾重復字段并統(tǒng)計總記錄數(shù)添加過濾條件

前言

分享一些Mongdb常用的數(shù)據(jù)清洗方式

注："Exceeded memory limit for $group, but didn"t allow external sort. Pass allowDiskUse:true to opt in." 原因與解決:

原因

  大數(shù)據(jù)計算、數(shù)據(jù)統(tǒng)計時，每個計算任務（job或task）都會使用獨立有限的內存空間，mongodb沒有提供復雜的內存分配模型（任務調度算法），僅限定每個stage最多使用100M內存，如果超過此值將終止計算并返回error；為了支持較大數(shù)據(jù)集合的處理，我們可以指定“allowDiskUse”參數(shù)將“溢出”的數(shù)據(jù)寫入本地的臨時文件中（臨時的collection），這個參數(shù)我們通常需要設定為true。

解決方案：

{allowDiskUse:true}

查詢重復數(shù)據(jù)

db.feedImg_all.aggregate([
    {
        $group: { _id: {"mvid": "$mvid","feed_id":"$feed_id"},count: {$sum: 1},dups: {$addToSet: "$_id"}}
    },
    {
        $match: {count: {$gt: 1}}
    }
],{allowDiskUse:true})

刪除重復數(shù)據(jù)

db.xiuxiu_all.aggregate([
    {
        $group: { _id: {"mvid": "$mvid","feed_id":"$feed_id"},count: {$sum: 1},dups: {$addToSet: "$_id"}}
    },
    {
        $match: {count: {$gt: 1}}
    }
],{allowDiskUse:true}).forEach(function(doc){
    doc.dups.shift();                       // 去除重復組的第一個元數(shù)據(jù)_id，得到除第一個之外的其他元組
    db.xiuxiu_all.remove({_id: {$in: doc.dups}}); // remove()刪除這些重復的數(shù)據(jù)
})

刪除重復數(shù)據(jù)(python版本)

# -*- coding:utf-8 -*-
import pymongo
from pymongo import DeleteOne
"""
@author: lcx
@time: 2018/11/15
@desc:

"""

pipeline = [
    {
        "$group": {
            "_id": {"mvid": "$mvid", "feed_id": "$feed_id"},
            "count": {"$sum": 1},
            "dups": {
                "$addToSet": "$_id"
            }
        },
    },
    {
        "$match": {
            "count": {
                "$gt": 1
            }
        }
    }
]

myclient = pymongo.MongoClient(host="m3005.test.com",port=3005,connect=False)
db = myclient.deepnet_test

if __name__ == "__main__":
    map_id = map(lambda doc: doc["dups"][1:], db["xiuxiu_all"].aggregate(pipeline=pipeline,allowDiskUse=True))
    list_id = [item for sublist in map_id for item in sublist]
    print(db["xiuxiu_all"]
          .bulk_write(list(map(lambda _id: DeleteOne({"_id": _id}), list_id)))
          .bulk_api_result)

復制collection里的數(shù)據(jù)到另一個collection中

db.xiuxiu_all.find().forEach(function(x){
    db.xiuxiu_all_bak.insert(x);
})

過濾重復字段并統(tǒng)計總記錄數(shù)

db.feedImg_all.aggregate(
  [
     {$match:{"createTime": {"$gte":  1541606400, "$lt": 1541692800}}}, // 添加過濾條件
     {$project:{"feedId": true}},  
     {$group:{_id: "$feedId"}}, 
     {$group:{_id: null, count: {$sum:1}}}
 ], {allowDiskUse: true})

GPU云服務器云服務器 linux系統(tǒng)中的常用命令現(xiàn)在企業(yè)中常用的分布式存儲服務清洗中黑洞清洗中

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://systransis.cn/yun/45023.html

Mongdb中常用的數(shù)據(jù)清洗

摘要：解決方案查詢重復數(shù)據(jù)刪除重復數(shù)據(jù)去除重復組的第一個元數(shù)據(jù)，得到除第一個之外的其他元組刪除這些重復的數(shù)據(jù)刪除重復數(shù)據(jù)版本復制里的數(shù)據(jù)到另一個中過濾重復字段并統(tǒng)計總記錄數(shù)添加過濾條件前言分享一些Mongdb常用的數(shù)據(jù)清洗方式注：Exceeded memory limit for $group, but didnt allow external sort. Pass allowDisk...

lbool 2019-06-26 17:52 評論0 收藏0
MongDB 數(shù)據(jù)庫副本集配置

摘要：登陸叢機此時，叢機已經在副本集群中了，進行最后一個操作這樣在主機上的操作就會同步到從機上了。本文目的為了在各個MongDB之間實現(xiàn)多節(jié)點之間的數(shù)據(jù)自動備份，提高容災性能。MongoDB復制是將數(shù)據(jù)同步在多個服務器的過程。復制提供了數(shù)據(jù)的冗余備份，并在多個服務器上存儲數(shù)據(jù)副本，提高了數(shù)據(jù)的可用性，并可以保證數(shù)據(jù)的安全性。mongodb的復制至少需要兩個節(jié)點。其中一個是主節(jié)點，負責處理...

jubincn 2019-06-26 17:06 評論0 收藏0
用node.js和mongDB建立網(wǎng)站

摘要：設計數(shù)據(jù)庫模型數(shù)據(jù)庫字段定義傳入模式編譯，生成構造函數(shù)文檔實例化，調用模型批量查詢單條數(shù)據(jù)的查詢單條數(shù)據(jù)的刪除數(shù)據(jù)庫的正刪改查，及后臺開發(fā)邏輯文件目錄用node.js和mongDB建立網(wǎng)站參考資料：1.jade學習https://www.jianshu.com/p/e2a...http://www.nooong.com/docs/ja...2.app.js的結構設計（作用）http...

Little_XM 2019-06-26 17:32 評論0 收藏0
用node.js和mongDB建立網(wǎng)站

摘要：設計數(shù)據(jù)庫模型數(shù)據(jù)庫字段定義傳入模式編譯，生成構造函數(shù)文檔實例化，調用模型批量查詢單條數(shù)據(jù)的查詢單條數(shù)據(jù)的刪除數(shù)據(jù)庫的正刪改查，及后臺開發(fā)邏輯文件目錄用node.js和mongDB建立網(wǎng)站參考資料：1.jade學習https://www.jianshu.com/p/e2a...http://www.nooong.com/docs/ja...2.app.js的結構設計（作用）http...

Bmob 2019-08-22 14:01 評論0 收藏0
使用Pandas&NumPy進行數(shù)據(jù)清洗的6大常用方法

摘要：在這個教程中，我們將利用的和包來進行數(shù)據(jù)清洗。在很多情況下，使用唯一的值作為索引值識別數(shù)據(jù)字段是非常有幫助的。清洗數(shù)據(jù)字段到現(xiàn)在為止，我們移除了不必要的列并改變了我們的索引變得更有意義。作者：xiaoyu微信公眾號：Python數(shù)據(jù)科學知乎：Python數(shù)據(jù)分析師數(shù)據(jù)科學家花了大量的時間清洗數(shù)據(jù)集，并將這些數(shù)據(jù)轉換為他們可以處理的格式。事實上，很多數(shù)據(jù)科學家聲稱開始獲取和清洗數(shù)據(jù)...

siberiawolf 2019-07-31 11:07 評論0 收藏0