搭建一个简易的 PMML 模型测试环境-Toy模板网

这篇具有很好参考价值的文章主要介绍了搭建一个简易的 PMML 模型测试环境。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

PMML，全称为 Predictive Model Markup Language，是一种标准化的模型描述和交换格式。它允许从不同的数据挖掘和机器学习软件中导出模型，并在其他系统中进行部署，无需重新编写代码。PMML 通过定义一套统一的规则来描述模型，包括数据预处理、模型参数以及输入输出格式等。目前PMML已支持包括逻辑回归、树模型、神经网络（目前多用ONNX 部署） 等多种常见的数据挖掘和机器学习模型。

在信贷风控领域，PMML被广泛使用来部署信用评分模型，并将其集成到线下和线上的贷款申请审核流程中。本文将探讨如何利用 IntelliJ IDEA 和 Maven 搭建一个简单的 PMML 测试环境。通过这个环境，我们可以方便地加载、验证和测试各种 PMML 模型，确保它们在部署前能够正确执行并满足业务需求。

PMML 文件主要组成部分

PMML 文件包含以下几个主要部分：

Header：包含模型的一般信息，如版权、描述及生成模型的应用程序名称和版本。
Data Dictionary：定义模型使用的所有可能字段，包括字段类型（连续的、分类的、序数的）和数据类型（如字符串或双精度浮点数）。
Data Transformations：定义数据转换操作，包括规范化、离散化和值映射等，以适应挖掘模型的需求。
Model：描述数据挖掘模型的具体信息，如模型名称、函数名称、算法名称及激活函数等。
Mining Schema：列出模型中使用的所有字段，并包含每个字段的具体信息，如使用类型和缺失值处理策略。
Output：定义模型输出字段，用于后处理预测值，如转换或应用概率分布等。

在风控模型的开发与测试中，利用PMML（Predictive Model Markup Language）进行模型部署与验证是一种高效且常用的方法。今天，我们将探讨如何通过PMML来测试预测模型，同时也分享一些实用的代码片段，帮助你更好地理解与应用。

Maven 依赖配置

在pom.xml文件中配置所需的依赖，确保PMML-Evaluator能够被正确加载。下面是一个简单的示例，展示了如何配置这些依赖：

<dependencies>
    <dependency>
        <groupId>org.jpmml</groupId>
        <artifactId>pmml-evaluator</artifactId>
        <version>1.5.10</version>
    </dependency>
    <dependency>
        <groupId>com.fasterxml.jackson.core</groupId>
        <artifactId>jackson-databind</artifactId>
        <version>2.12.3</version>
    </dependency>
</dependencies>

模型加载与评估

通过PMML模型进行评估前，需要先加载PMML文件。

public static Evaluator loadPmmlEvaluator(String modelPath) throws Exception {
    File modelFile = new File(modelPath);
    try (InputStream modelInputStream = new FileInputStream(modelFile)) {
        PMML pmmlModel = org.jpmml.model.PMMLUtil.unmarshal(modelInputStream);
        ModelEvaluatorFactory evaluatorFactory = ModelEvaluatorFactory.newInstance();
        ModelEvaluatorBuilder evaluatorBuilder = new ModelEvaluatorBuilder(pmmlModel)
                .setModelEvaluatorFactory(evaluatorFactory);
        return evaluatorBuilder.build();
    }
}

测试数据的生成

生成合适的测试数据是模型验证的关键。以下代码片段可以直接通过加载的 PMML 文件中的字段，来生成一份测试数据，用于模型的快速验证：

public static Map<String, Double> createTestInputData(Evaluator evaluator) {
    List<InputField> inputFields = evaluator.getInputFields();
    Map<String, Double> inputData = new HashMap<>();
    Random randomGenerator = new Random();
    for (InputField field : inputFields) {
        FieldName fieldName = field.getName();
        inputData.put(fieldName.getValue(), randomGenerator.nextDouble() * 200000);
    }
    return inputData;
}

执行模型预测

最后一步是使用前面生成的测试数据来执行模型预测。

public static void executeModelPrediction(Evaluator evaluator, Map<String, Double> inputData) throws Exception {
    Map<FieldName, FieldValue> preparedInputs = new LinkedHashMap<>();
    for (InputField field : evaluator.getInputFields()) {
        FieldName fieldName = field.getName();
        Object rawValue = inputData.get(fieldName.getValue());
        FieldValue preparedValue = field.prepare(rawValue);
        preparedInputs.put(fieldName, preparedValue);
    }

    Map<FieldName, ?> predictionResults = evaluator.evaluate(preparedInputs);
    for (TargetField targetField : evaluator.getTargetFields()) {
        FieldName fieldName = targetField.getName();
        Object fieldValue = predictionResults.get(fieldName);
        System.err.println("Target: " + fieldName.getValue() + " Value: " + fieldValue);
    }
}

通过正确配置 PMML 模型文件路径，可以快速对自动生成的测试样本打分测试，输出格式如下：

通过以上步骤，我们搭建了一个快速对 PMML 模型文件进行本地测试的简易环境，可以有效地加载、执行PMML模型，进行必要的测试。