MinHashLSH
class pyspark.ml.feature.MinHashLSH(inputCol=None, outputCol=None, seed=None, numHashTables=1)
Jaccard 距离的 LSH 类
输入可以是密集或稀疏向量,但如果是稀疏的,则效率更高。 例如 Vectors.sparse(10, [(2, 1.0), (3, 1.0), (5, 1.0)]) 表示空间中有 10 个元素。 该集合包含元素 2、3 和 5。此外,任何输入向量必须至少有 1 个非零索引,并且所有非零值都被视为二进制“1”值
model.approxNearestNeighbors(dataset, key, numNearestNeighbors, distCol=‘distCol’):
给定一个大数据集和一个项目,大约找到与该项目最近距离的 k 个项目。 如果 outputCol 缺失,该方法将转换数据; 如果 outputCol 存在,它将使用它。 这允许在必要时缓存转换后的数据。
参数 :
dataset - 用于搜索键的最近邻居的数据集。
key – 表示要搜索的项目的特征向量。
numNearestNeighbors – 最近邻居的最大数量。
distCol – 输出列,用于存储每个结果行与键之间的距离。 如果未指定,则使用“distCol”作为默认值。
返回:
一个数据集,最多包含最接近键的 k 个项目。 添加一列“distCol”以显示每行与键之间的距离。
model.approxSimilarityJoin(datasetA, datasetB, threshold, distCol=‘distCol’):
连接两个数据集以近似找到距离小于阈值的所有行对。 如果 outputCol 缺失,该方法将转换数据; 如果 outputCol 存在,它将使用它。 这允许在必要时缓存转换后的数据.
参数:
datasetA – 要加入的数据集之一。
datasetB - 要加入的另一个数据集。
threshold – 行对距离的阈值。
distCol – 用于存储每对行之间距离的输出列。 如果未指定,则使用“distCol”作为默认值。
返回:
一个包含行对的连接数据集。 原始行位于“datasetA”和“datasetB”列中,并添加了“distCol”列以显示每对之间的距离。
01.初始化
from pyspark.sql import SparkSession
spark = SparkSession.builder.config("spark.Driver.host","192.168.1.4")\
.config("spark.ui.showConsoleProgress","false")\
.appName("MaxAbsScaler").master("local[*]").getOrCreate()
02.创建数据
from pyspark.ml.linalg import Vectors
from pyspark.sql.functions import col
data = [(0, Vectors.sparse(6, [0, 1, 2], [1.0, 1.0, 1.0]),),
(1, Vectors.sparse(6, [2, 3, 4], [1.0, 1.0, 1.0]),),
(2, Vectors.sparse(6, [0, 2, 4], [1.0, 1.0, 1.0]),)]
df = spark.createDataFrame(data, ["id", "features"])
df.show()
df.head(3)
输出结果:
+---+--------------------+
| id| features|
+---+--------------------+
| 0|(6,[0,1,2],[1.0,1...|
| 1|(6,[2,3,4],[1.0,1...|
| 2|(6,[0,2,4],[1.0,1...|
+---+--------------------+
[Row(id=0, features=SparseVector(6, {0: 1.0, 1: 1.0, 2: 1.0})),
Row(id=1, features=SparseVector(6, {2: 1.0, 3: 1.0, 4: 1.0})),
Row(id=2, features=SparseVector(6, {0: 1.0, 2: 1.0, 4: 1.0}))]
03.MinHashLSH转换
from pyspark.ml.feature import MinHashLSH
mh = MinHashLSH(inputCol="features", outputCol="hashes", seed=12345)
model = mh.fit(df)
model.transform(df).show()
model.transform(df).head(3)
输出结果:
+---+--------------------+----------------+
| id| features| hashes|
+---+--------------------+----------------+
| 0|(6,[0,1,2],[1.0,1...|[[6.17966841E8]]|
| 1|(6,[2,3,4],[1.0,1...|[[1.33824602E8]]|
| 2|(6,[0,2,4],[1.0,1...|[[9.10790854E8]]|
+---+--------------------+----------------+
[Row(id=0, features=SparseVector(6, {0: 1.0, 1: 1.0, 2: 1.0}), hashes=[DenseVector([617966841.0])]),
Row(id=1, features=SparseVector(6, {2: 1.0, 3: 1.0, 4: 1.0}), hashes=[DenseVector([133824602.0])]),
Row(id=2, features=SparseVector(6, {0: 1.0, 2: 1.0, 4: 1.0}), hashes=[DenseVector([910790854.0])])]
04.构造另一个数据
data2 = [(3, Vectors.sparse(6, [1, 3, 5], [1.0, 1.0, 1.0]),),
(4, Vectors.sparse(6, [2, 3, 5], [1.0, 1.0, 1.0]),),
(5, Vectors.sparse(6, [1, 2, 4], [1.0, 1.0, 1.0]),)]
df2 = spark.createDataFrame(data2, ["id", "features"])
df2.show()
输出结果:
+---+--------------------+
| id| features|
+---+--------------------+
| 3|(6,[1,3,5],[1.0,1...|
| 4|(6,[2,3,5],[1.0,1...|
| 5|(6,[1,2,4],[1.0,1...|
+---+--------------------+
05.查看approxNearestNeighbors属性
key = Vectors.sparse(6, [1, 2], [1.0, 1.0])
model.approxNearestNeighbors(df2, key, 1).show()
输出结果:
+---+--------------------+----------------+-------------------+
| id| features| hashes| distCol|
+---+--------------------+----------------+-------------------+
| 5|(6,[1,2,4],[1.0,1...|[[6.17966841E8]]|0.33333333333333337|
+---+--------------------+----------------+-------------------+
06.查看approxSimilarityJoin结果文章来源:https://www.toymoban.com/news/detail-659905.html
model.approxSimilarityJoin(df, df2, 0.6, distCol="JaccardDistance").select(
col("datasetA.id").alias("idA"),
col("datasetB.id").alias("idB"),
col("JaccardDistance")).show()
输出结果:文章来源地址https://www.toymoban.com/news/detail-659905.html
+---+---+---------------+
|idA|idB|JaccardDistance|
+---+---+---------------+
| 0| 5| 0.5|
| 1| 4| 0.5|
+---+---+---------------+
到了这里,关于Pyspark特征工程--MinHashLSH的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!