1. Toy模板网首页
  2. > Toy博客

Mongodb 多文档聚合操作处理方法二（Map-reduce 函数）

9月前 作者：Ethanchen's notes 分类：Toy博客 阅读(49) 违法举报

这篇具有很好参考价值的文章主要介绍了Mongodb 多文档聚合操作处理方法二（Map-reduce 函数）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

聚合

聚合操作处理多个文档并返回计算结果。您可以使用聚合操作来：

  • 将多个文档中的值分组在一起。

  • 对分组数据执行操作以返回单个结果。

  • 分析数据随时间的变化。

要执行聚合操作，您可以使用：

  • 聚合管道

  • 单一目的聚合方法

  • Map-reduce 函数

Map-reduce 函数

在mongoshell 中，该db.collection.mapReduce() 方法是命令的包装器mapReduce。下面的例子使用该db.collection.mapReduce()方法。

定义： db.collection.mapReduce(map,reduce, { <options> })

该map功能有以下要求：

  • 在map函数中，将当前文档引用为函数中的this。

  • 该map函数不应出于任何原因访问数据库。

  • 该map函数应该是纯粹的，或者对函数之外没有影响（即副作用）。

  • 该map函数可以选择调用emit(key,value)任意次数来创建key与关联的输出文档value。

# 原型如下：
function() {
   ...
   emit(key, value);
}

该reduce函数表现出以下行为：

  • 该reduce函数不应访问数据库，即使是执行读取操作。

  • 该reduce功能不应影响外部系统。

  • reduceMongoDB 可以针对同一个键多次调用该函数。在这种情况下，该键的函数的先前输出将成为该键的reduce 下一个函数调用的输入值之一 。

  • 该reduce函数可以访问参数中定义的变量scope。

# 该reduce函数具有以下原型：
function(key, values) {
   ...
   return result;
}

插入测试数据。如下：

sit_rs1:PRIMARY> db.orders.insertMany([
...    { _id: 1, cust_id: "A", ord_date: new Date("2023-06-01"), price: 15, items: [ { sku: "apple", qty: 5, price: 2.5 }, { sku: "apples", qty: 5, price: 2.5 } ], status: "1" },
...    { _id: 2, cust_id: "A", ord_date: new Date("2023-06-08"), price: 60, items: [ { sku: "apple", qty: 8, price: 2.5 }, { sku: "banana", qty: 5, price: 10 } ], status: "1" },
...    { _id: 3, cust_id: "B", ord_date: new Date("2023-06-08"), price: 55, items: [ { sku: "apple", qty: 10, price: 2.5 }, { sku: "pears", qty: 10, price: 2.5 } ], status: "1" },
...    { _id: 4, cust_id: "B", ord_date: new Date("2023-06-18"), price: 26, items: [ { sku: "apple", qty: 10, price: 2.5 } ], status: "1" },
...    { _id: 5, cust_id: "B", ord_date: new Date("2023-06-19"), price: 40, items: [ { sku: "banana", qty: 5, price: 10 } ], status: "1"},
...    { _id: 6, cust_id: "C", ord_date: new Date("2023-06-19"), price: 38, items: [ { sku: "carrots", qty: 10, price: 1.0 }, { sku: "apples", qty: 10, price: 2.5 } ], status: "1" },
...    { _id: 7, cust_id: "C", ord_date: new Date("2023-06-20"), price: 21, items: [ { sku: "apple", qty: 10, price: 2.5 } ], status: "1" },
...    { _id: 8, cust_id: "D", ord_date: new Date("2023-06-20"), price: 76, items: [ { sku: "banana", qty: 5, price: 10 }, { sku: "apples", qty: 10, price: 2.5 } ], status: "1" },
...    { _id: 9, cust_id: "D", ord_date: new Date("2023-06-20"), price: 51, items: [ { sku: "carrots", qty: 5, price: 1.0 }, { sku: "apples", qty: 10, price: 2.5 }, { sku: "apple", qty: 10, price: 2.5 } ], status: "1" },
...    { _id: 10, cust_id: "D", ord_date: new Date("2023-06-23"), price: 23, items: [ { sku: "apple", qty: 10, price: 2.5 } ], status: "1" }
... ])
{
        "acknowledged" : true,
        "insertedIds" : [
                1,
                2,
                3,
                4,
                5,
                6,
                7,
                8,
                9,
                10
        ]
}
sit_rs1:PRIMARY> db.orders.find()
{ "_id" : 4, "cust_id" : "B", "ord_date" : ISODate("2023-06-18T00:00:00Z"), "price" : 26, "items" : [ { "sku" : "apple", "qty" : 10, "price" : 2.5 } ], "status" : "1" }
{ "_id" : 6, "cust_id" : "C", "ord_date" : ISODate("2023-06-19T00:00:00Z"), "price" : 38, "items" : [ { "sku" : "carrots", "qty" : 10, "price" : 1 }, { "sku" : "apples", "qty" : 10, "price" : 2.5 } ], "status" : "1" }
{ "_id" : 1, "cust_id" : "A", "ord_date" : ISODate("2023-06-01T00:00:00Z"), "price" : 15, "items" : [ { "sku" : "apple", "qty" : 5, "price" : 2.5 }, { "sku" : "apples", "qty" : 5, "price" : 2.5 } ], "status" : "1" }
{ "_id" : 2, "cust_id" : "A", "ord_date" : ISODate("2023-06-08T00:00:00Z"), "price" : 60, "items" : [ { "sku" : "apple", "qty" : 8, "price" : 2.5 }, { "sku" : "banana", "qty" : 5, "price" : 10 } ], "status" : "1" }
{ "_id" : 9, "cust_id" : "D", "ord_date" : ISODate("2023-06-20T00:00:00Z"), "price" : 51, "items" : [ { "sku" : "carrots", "qty" : 5, "price" : 1 }, { "sku" : "apples", "qty" : 10, "price" : 2.5 }, { "sku" : "apple", "qty" : 10, "price" : 2.5 } ], "status" : "1" }
{ "_id" : 3, "cust_id" : "B", "ord_date" : ISODate("2023-06-08T00:00:00Z"), "price" : 55, "items" : [ { "sku" : "apple", "qty" : 10, "price" : 2.5 }, { "sku" : "pears", "qty" : 10, "price" : 2.5 } ], "status" : "1" }
{ "_id" : 5, "cust_id" : "B", "ord_date" : ISODate("2023-06-19T00:00:00Z"), "price" : 40, "items" : [ { "sku" : "banana", "qty" : 5, "price" : 10 } ], "status" : "1" }
{ "_id" : 7, "cust_id" : "C", "ord_date" : ISODate("2023-06-20T00:00:00Z"), "price" : 21, "items" : [ { "sku" : "apple", "qty" : 10, "price" : 2.5 } ], "status" : "1" }
{ "_id" : 8, "cust_id" : "D", "ord_date" : ISODate("2023-06-20T00:00:00Z"), "price" : 76, "items" : [ { "sku" : "banana", "qty" : 5, "price" : 10 }, { "sku" : "apples", "qty" : 10, "price" : 2.5 } ], "status" : "1" }
{ "_id" : 10, "cust_id" : "D", "ord_date" : ISODate("2023-06-23T00:00:00Z"), "price" : 23, "items" : [ { "sku" : "apple", "qty" : 10, "price" : 2.5 } ], "status" : "1" }

示例：按客户统计

对集合 orders 执行map-reduce操作， 按 cust_id 进行分组， 然后统计每个客户的 price 计算总和，如下：

首先， 我们需要 定义map函数来处理每个输入文档:

  • 在函数中，this指的是map-reduce操作正在处理的文档。
  • 该函数将每个文档的 price 映射为 cust_id，并发出 cust_id 和 price 。
sit_rs1:PRIMARY> var myMapFun = function() {
...    emit(this.cust_id, this.price);
... };

sit_rs1:PRIMARY> print(myMapFun)
function() {
   emit(this.cust_id, this.price);
}

然后，用两个参数 keyCustId 和 valuesPrices 定义相应的reduce函数。 这里需要调用数组的 sum 方法计算客户订单总价。

  • valuesPrices 是一个数组，其元素是map函数发出的price 字段的值，并按 keyCustId 分组。
  • 该函数将 valuesPrice 数组缩减为其元素的总和
# 计算数组元素总和
sit_rs1:PRIMARY> Array.sum([2,2,6,8])
18

# 计算数组平均值
sit_rs1:PRIMARY> Array.avg([1,2,3])
2


sit_rs1:PRIMARY> var myReduceFun = function(keyCustId, valuesPrices) {
...    return Array.sum(valuesPrices);
... };

sit_rs1:PRIMARY> print(myReduceFun)
function(keyCustId, valuesPrices) {
   return Array.sum(valuesPrices);
}

最后，使用 myMapFun 函数和 myReduceFun 函数对集合 orders 中的所有文档执行map-reduce统计：

  • out: 指定map-reduce操作结果的位置。您可以输出到集合、通过操作输出到集合或内联输出。
  • 此操作将结果输出到名为 的集合 map_reduce_out。如果该 map_reduce_out 集合已存在，则该操作将使用此 Map-Reduce 操作的结果替换内容。
sit_rs1:PRIMARY> db.orders.mapReduce(
...    myMapFun,
...    myReduceFun,
...    { out: "map_reduce_out" }
... )
{
        "result" : "map_reduce_out",
        "ok" : 1,
        "$clusterTime" : {
                "clusterTime" : Timestamp(1690259241, 6),
                "signature" : {
                        "hash" : BinData(0,"Kur+ueslJYcT5oExd8ujPIC/J3Q="),
                        "keyId" : NumberLong("7205479298910650370")
                }
        },
        "operationTime" : Timestamp(1690259241, 6)
}

查询 map_reduce_out 集合以验证结果是否正确：

sit_rs1:PRIMARY> db.map_reduce_out.find().sort( { _id: 1 } )
{ "_id" : "A", "value" : 75 }
{ "_id" : "B", "value" : 121 }
{ "_id" : "C", "value" : 59 }
{ "_id" : "D", "value" : 150 }

# 检查 cust_id 为 A 的客户， 总和是 75 正确
sit_rs1:PRIMARY> db.orders.find({ "cust_id" : "A"}, {"price": 1})
{ "_id" : 1, "price" : 15 }
{ "_id" : 2, "price" : 60 }

# 检查 cust_id 为 B 的客户，总和是 121 正确
sit_rs1:PRIMARY> db.orders.find({ "cust_id" : "B"}, {"price": 1})
{ "_id" : 4, "price" : 26 }
{ "_id" : 3, "price" : 55 }
{ "_id" : 5, "price" : 40 }

示例：按日期统计

按日期统计，和上面示例一样，只需要把 map 函数重新定义如下，将每个文档的 price 映射为 ord_date，并发出 ord_date 和 price 。

sit_rs1:PRIMARY> var myMapFun2 = function() {
...     emit(this.ord_date, this.price);
... };

sit_rs1:PRIMARY> print(myMapFun2)
function() {
    emit(this.ord_date, this.price);
}

然后，用两个参数 keyOrdDate 和 valuesPrices 定义相应的reduce函数。 这里需要调用数组的 avg 方法计算平均客单价。

  • valuesPrices 是一个数组，其元素是map函数发出的 price 字段的值，并按 keyOrdDate 分组。
  • 该函数将 valuesPrice 数组缩减为其元素的总和的平均值
sit_rs1:PRIMARY> var myReduceFun2 = function(keyOrdDate, valuesPrices) {
...    return Array.avg(valuesPrices);
... };

sit_rs1:PRIMARY> print(myReduceFun2)
function(keyOrdDate, valuesPrices) {
   return Array.avg(valuesPrices);
}

最后，使用 myMapFun2 函数和 myReduceFun2 函数对集合 orders 中的所有文档执行map-reduce统计：

sit_rs1:PRIMARY> db.orders.mapReduce(
...    myMapFun2,
...    myReduceFun2,
...    { out: "map_reduce_out2" }
... )
{
        "result" : "map_reduce_out2",
        "ok" : 1,
        "$clusterTime" : {
                "clusterTime" : Timestamp(1690265083, 8),
                "signature" : {
                        "hash" : BinData(0,"pCWskY3HjLGEjSk00ARYdZKECDE="),
                        "keyId" : NumberLong("7205479298910650370")
                }
        },
        "operationTime" : Timestamp(1690265083, 8)
}

查询 map_reduce_out2 集合以验证结果是否正确：

sit_rs1:PRIMARY> db.map_reduce_out2.find()
{ "_id" : ISODate("2023-06-08T00:00:00Z"), "value" : 57.5 }
{ "_id" : ISODate("2023-06-01T00:00:00Z"), "value" : 15 }
{ "_id" : ISODate("2023-06-18T00:00:00Z"), "value" : 26 }
{ "_id" : ISODate("2023-06-20T00:00:00Z"), "value" : 49.333333333333336 }
{ "_id" : ISODate("2023-06-23T00:00:00Z"), "value" : 23 }
{ "_id" : ISODate("2023-06-19T00:00:00Z"), "value" : 39 }

# 检查日期2023-06-08的订单平均值
sit_rs1:PRIMARY> db.orders.find({ "ord_date" : ISODate("2023-06-08T00:00:00Z")}, {"price": 1})
{ "_id" : 2, "price" : 60 }
{ "_id" : 3, "price" : 55 }
sit_rs1:PRIMARY> print((60+55)/2)
57.5


# 检查日期2023-06-20的订单平均值
sit_rs1:PRIMARY> db.orders.find({ "ord_date" : ISODate("2023-06-20T00:00:00Z")}, {"price": 1})
{ "_id" : 9, "price" : 51 }
{ "_id" : 7, "price" : 21 }
{ "_id" : 8, "price" : 76 }
 
sit_rs1:PRIMARY> print((51+21+76)/3)
49.333333333333336

对于需要自定义功能的 Map-Reduce 操作，MongoDB 从 4.4 版本开始提供 $accumulator 和 $function 聚合运算符。使用这些运算符在 JavaScript 中自定义聚合表达式。

  • 聚合管道作为 Map-Reduce 的替代方案， 聚合管道提供比 Map-Reduce 操作更好的性能和可用性。

  • 可以使用聚合管道运算符（例如 $group、$merge等）重写 Map-reduce 操作。文章来源地址https://www.toymoban.com/news/detail-612539.html

到了这里，关于Mongodb 多文档聚合操作处理方法二（Map-reduce 函数）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 整理mongodb文档:聚合管道

    整理mongodb文档:聚合管道

    整理mongodb文档:聚合管道 个人博客，求关注，电脑版看体验更加，如果不够清晰，请指出来，谢谢 文章主要通过几个常用的聚合表达式来介绍聚合管道的使用，以及从索引的角度来介绍聚合管道的限制，让大家对聚合管道有一个理解。 聚合操作处理数据记录和 return 计算结果

    2024年02月11日
    浏览(36)
  • JavaScript 之 常用迭代方法forEach、filter()、map()、reduce()

    JavaScript 之 常用迭代方法forEach、filter()、map()、reduce()

    代码如下： 如下： 代码简洁很多，如下： 简介 ： filter() 方法创建给定数组一部分的浅拷贝，其包含通过所提供函数实现的测试的所有元素。 语法 ： 参数、返回值 描述 参考官网： 官网——Array.prototype.filter(). 代码如下： 代码如下： 下例使用 filter() 根据搜索条件来过滤数

    2024年02月09日
    浏览(44)
  • 原生语言操作和spring data中RestHighLevelClient操作Elasticsearch，索引，文档的基本操作，es的高级查询.查询结果处理. 数据聚合.相关性系数打分

    原生语言操作和spring data中RestHighLevelClient操作Elasticsearch，索引，文档的基本操作，es的高级查询.查询结果处理. 数据聚合.相关性系数打分

    ​ Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤，首先用户将数据提交到Elasti

    2024年02月05日
    浏览(87)
  • MongoDB聚合操作

    MongoDB聚合操作

    提示：以下是本篇文章正文内容，MongoDB 系列学习将会持续更新 单一作用聚合 ：提供了对常见聚合过程的简单访问，操作都从单个集合聚合文档。 函数 描述 db.collection.estimatedDocumentCount() 忽略查询条件，返回集合或视图中所有文档的计数 db.collection.count() 返回与find()集合或视

    2024年02月03日
    浏览(33)
  • [Mongodb 5.0]聚合操作

    [Mongodb 5.0]聚合操作

     本文对应Aggregation Operations — MongoDB Manual    正文 此章节主要介绍了Aggregation Pipeline，其实就是将若干个聚合操作放在管道中进行执行，每一个聚合操作的结果作为下一个聚合操作的输入，每个聚合指令被称为一个stage。 在正式开始学习聚合操作前，请先按照下面的方式在你

    2024年02月12日
    浏览(49)

  • MongoDB聚合操作：$changeStream

    返回集合、数据库或整个群集上的 Change Stream 游标。必须在聚合管道的第一阶段使用。 allChangesForCluster 可选：设置Change Stream是否包括群集中的所有更改。可能只能在管理数据库中打开。 fullDocument 可选：指定 update 操作修改时，更改通知是否包含完整文档的副本。 default ：更

    2024年01月23日
    浏览(38)

  • MongoDB聚合操作符：$acos

    $acos 操作符返回一个值的反余弦。从MongoDB4.2版本开始支持。 $acos 接受任何可被解析为值在 -1 到 1 之间的表达式，即： -1 = value = 1 $acos 返回值以弧度为单位，使用 $radiansToDegrees 操作符可以把输出值由弧度转换为角度。 缺省情况下 $acos 范围值为 double ，如果 expression 的值被解

    2024年02月21日
    浏览(35)

  • MongoDB聚合操作符：$accumulator

    $accumulator 可以定义自定义累加器操作符。累加器是一种操作符，可在文档通过管道时保持其状态（如：总数、最大值、最小值和相关数据）。 $accumulator 操作符支持执行自定义的JavaScript函数，可以实现MongoDB查询语言不支持的行为。 $accumulator 支持下列阶段： $bucket $bucketAuto

    2024年02月19日
    浏览(54)

  • MongoDB聚合操作符：$addToSet

    $addToSet 返回一个无重复元素的数组，元素值是对每个分组文档执行表达式的结果。数组元素顺序未指定。 $addToSet 可以用于下列聚合阶段： $bucket $bucketAuto $group $setWindowFeilds { $addToSet: expression } 如果表达式的值是个数组， $addToSet 会把整个数组当成一个元素添加到返回的数组。

    2024年02月20日
    浏览(45)

  • MongoDB聚合操作符：$acosh

    $acosh 操作符返回给定值的反双曲余弦。 $acosh 的可以接受解析为 1 到正无穷之间数字的表达式，即 1 = value = +∞ 。 $acosh 返回值以弧度为单位，使用 $radiansToDegrees 操作符可以把输出值由弧度转换为角度。 缺省情况下 $acosh 范围值为 double ，如果 expression 的值被解析为 128-bit d

    2024年02月19日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包