From e45e74743006fba7ffb37278b7720eb250d0c957 Mon Sep 17 00:00:00 2001 From: Joaquin Torres Bravo Date: Mon, 13 May 2024 11:16:14 +0200 Subject: [PATCH] testing script for DT and RF --- model_selection/test_models.py | 29 +- .../test_results/roc_pr_curves/post_.svg | 3678 +++++++++++++ .../test_results/roc_pr_curves/post_over_.svg | 4539 ++++++++++++++++ .../roc_pr_curves/post_under_.svg | 4568 +++++++++++++++++ .../test_results/roc_pr_curves/pre_.svg | 3768 ++++++++++++++ .../test_results/roc_pr_curves/pre_over_.svg | 4526 ++++++++++++++++ .../test_results/roc_pr_curves/pre_under_.svg | 4544 ++++++++++++++++ .../test_results/testing_tuned_models.xlsx | Bin 11997 -> 12732 bytes 8 files changed, 25649 insertions(+), 3 deletions(-) create mode 100644 model_selection/test_results/roc_pr_curves/post_.svg create mode 100644 model_selection/test_results/roc_pr_curves/post_over_.svg create mode 100644 model_selection/test_results/roc_pr_curves/post_under_.svg create mode 100644 model_selection/test_results/roc_pr_curves/pre_.svg create mode 100644 model_selection/test_results/roc_pr_curves/pre_over_.svg create mode 100644 model_selection/test_results/roc_pr_curves/pre_under_.svg diff --git a/model_selection/test_models.py b/model_selection/test_models.py index 7e2f94e..120fd52 100644 --- a/model_selection/test_models.py +++ b/model_selection/test_models.py @@ -14,6 +14,9 @@ from sklearn.neural_network import MLPClassifier from sklearn.svm import SVC from sklearn.linear_model import LogisticRegression from sklearn.tree import DecisionTreeClassifier +from sklearn.metrics import RocCurveDisplay, roc_curve +from sklearn.metrics import PrecisionRecallDisplay, precision_recall_curve +import matplotlib.pyplot as plt # -------------------------------------------------------------------------------------------------------- # Reading test data @@ -246,16 +249,36 @@ if __name__ == "__main__": models = get_tuned_models(group_id=i, method_id=j) # Scores df scores_df = pd.DataFrame(index=models.keys(), columns=scorings.keys()) + # Create a figure for all models in this group-method + fig, axes = plt.subplots(len(models), 2, figsize=(12, 8 * len(models))) + if len(models) == 1: # Adjustment if there's only one model (axes indexing issue) + axes = [axes] # Evaluate each model - for model_name, model in models.items(): + for model_idx, (model_name, model) in enumerate(models.items()): # ----------- TEMPORAL ------------- - if model_name == "DT": + if model_name == "DT" or model_name == "RF": # Train the model (it was just initialized above) - model.fit(X_train, y_train) + model.fit(X_train, y_train) + if hasattr(model, "decision_function"): + y_score = model.decision_function(X_test) + else: + y_score = model.predict_proba(X_test)[:, 1] # Use probability of positive class + # Calculate ROC curve and ROC area for each class + fpr, tpr, _ = roc_curve(y_test, y_score, pos_label=model.classes_[1]) + roc_display = RocCurveDisplay(fpr=fpr, tpr=tpr).plot(ax=axes[model_idx][0]) + # Calculate precision-recall curve + precision, recall, _ = precision_recall_curve(y_test, y_score, pos_label=model.classes_[1]) + pr_display = PrecisionRecallDisplay(precision=precision, recall=recall).plot(ax=axes[model_idx][1]) + axes[model_idx][0].set_title(f'ROC Curve for {model_name}') + axes[model_idx][1].set_title(f'PR Curve for {model_name}') # Evaluate at each of the scores of interest for score_name, scorer in scorings.items(): score_value = scorer(model, X_test, y_test) scores_df.at[model_name, score_name] = score_value + # Adjust layout and save/show figure + plt.tight_layout() + plt.savefig(f'./test_results/roc_pr_curves/{group}_{method}.svg', format='svg', dpi=500) + plt.close(fig) # Store the DataFrame in the dictionary with a unique key for each sheet sheet_name = f"{group}_{method_names[j]}" scores_sheets[sheet_name] = scores_df diff --git a/model_selection/test_results/roc_pr_curves/post_.svg b/model_selection/test_results/roc_pr_curves/post_.svg new file mode 100644 index 0000000..0c7cf3c --- /dev/null +++ b/model_selection/test_results/roc_pr_curves/post_.svg @@ -0,0 +1,3678 @@ + + + + + + + + 2024-05-13T11:16:00.650216 + image/svg+xml + + + Matplotlib v3.8.4, https://matplotlib.org/ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/model_selection/test_results/roc_pr_curves/post_over_.svg b/model_selection/test_results/roc_pr_curves/post_over_.svg new file mode 100644 index 0000000..c28586c --- /dev/null +++ b/model_selection/test_results/roc_pr_curves/post_over_.svg @@ -0,0 +1,4539 @@ + + + + + + + + 2024-05-13T11:16:02.562747 + image/svg+xml + + + Matplotlib v3.8.4, https://matplotlib.org/ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/model_selection/test_results/roc_pr_curves/post_under_.svg b/model_selection/test_results/roc_pr_curves/post_under_.svg new file mode 100644 index 0000000..ca7801a --- /dev/null +++ b/model_selection/test_results/roc_pr_curves/post_under_.svg @@ -0,0 +1,4568 @@ + + + + + + + + 2024-05-13T11:16:04.023954 + image/svg+xml + + + Matplotlib v3.8.4, https://matplotlib.org/ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/model_selection/test_results/roc_pr_curves/pre_.svg b/model_selection/test_results/roc_pr_curves/pre_.svg new file mode 100644 index 0000000..9bd255c --- /dev/null +++ b/model_selection/test_results/roc_pr_curves/pre_.svg @@ -0,0 +1,3768 @@ + + + + + + + + 2024-05-13T11:15:51.660809 + image/svg+xml + + + Matplotlib v3.8.4, https://matplotlib.org/ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/model_selection/test_results/roc_pr_curves/pre_over_.svg b/model_selection/test_results/roc_pr_curves/pre_over_.svg new file mode 100644 index 0000000..8a2895f --- /dev/null +++ b/model_selection/test_results/roc_pr_curves/pre_over_.svg @@ -0,0 +1,4526 @@ + + + + + + + + 2024-05-13T11:15:55.444493 + image/svg+xml + + + Matplotlib v3.8.4, https://matplotlib.org/ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/model_selection/test_results/roc_pr_curves/pre_under_.svg b/model_selection/test_results/roc_pr_curves/pre_under_.svg new file mode 100644 index 0000000..1ca0195 --- /dev/null +++ b/model_selection/test_results/roc_pr_curves/pre_under_.svg @@ -0,0 +1,4544 @@ + + + + + + + + 2024-05-13T11:15:57.813664 + image/svg+xml + + + Matplotlib v3.8.4, https://matplotlib.org/ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/model_selection/test_results/testing_tuned_models.xlsx b/model_selection/test_results/testing_tuned_models.xlsx index 1c0daa5be47052ff8dde569780d264ef84052403..df38c76852ae83412fcacee1cf290c0c8e98f248 100644 GIT binary patch delta 8299 zcmZ`-{$*~~5Q>BZC;Ek#EdYk8TjH0YQ*KgTxLf!+3 z8(DT5?4I3cl-r!kX>g>$bEaOrMA;gWh`yMW3y5+0LxEy6*E?F(DAdync#E2T?V)IL z#H(*les{^!?vJLY53}ihFpBGdRizV%{WPJ_`^4nOhq$(GYFvsBTFQy zGl#jy+VC6J^gc;M`g(Ka>UubpAlsKs`_o69P(!GKZ*)4joI8!WI@Pj|y6|E2OBax9 z`nk3=jFRbvD6Wz1_aKrc}QCM%V(4=wg~{Kzz!xxa@Iru^ z&$Zc2*(4kgd@xk1bDjp)0>TsccN0v|g1oXpgsoQQWWeiU5t3@;R3l`Se@7`?+=ji8)i+bfv%9n|y3J8tKsPNthv(E+>=J7aZ#f#bad+G8@8cHoe^S&&fA=CRJAT~mmfIgJb5b)9QzGTUc zzk10A6s%0wuphaXGn&EOf41#7pJjt10A}(JQZPl?=$cqwn2=p$=RyV70t}KT6&WM5 zRZW-r9#_s$aKD4W>efq2ZVtZp8x*fAvUyk=_Yk#g45OY5Kwv9Hf1uM{19kpxSEl=V zu{5+mg*-a4J!r&kL2PS{zf3HnLJroRn5hD5vV7M#Ybr{W;9t9`5}$6N>PdAw5bRiv z%P$&xsSP{8tRLCE2+TBuvUtWjnJqAEIWhj#Yn4!Ai*emSrsf}BgGiyS5X z`GQiJ(mW|bEwpK@KIzY5x(!y5?!YkW*OhW>&8kidtVriKiWZYyX~Kf$lud$iU4P1Q z(y8~D6T)g4_%4?@QQ*Im)jy7a|Vj2ZI zAI1jU)1!&&!>q~51%oJ+@x55&l$nB!#|zc&csYI*3De85eXzk2y^YI`4G&~$)j63f zl3nwIA}r=vjp=N{oO-%wnG_BZNUXD$F6+qvErjub%sK5y=SffRI%MRY4|rfm-WX{N zVgOe;2jYYiC13y_C@{pmr`LaFbtmDD0x8YCqbM=x&e5pvTNovT0`eYL5hH;ZNTOg7 zS1w(P(}x2Lk0IbV5RGh8j|9sa#7ca$j60&omnIDcVk#0O+*O#MN4x}%#J}pvN2Nvi zWo>v+kbSiHrv&^{4ZIGP7GrR>cdov|i!Jfr+wmC?jYSmq#D;IR1$0Ws$}B*D7>ala zctBnS9eRC;6;^_*yfbZPTdejm??sxqr89c+1#Cm{zOtFgO{b4ZsSVh})}u)v zf4>FRwH)0?(%+uw3(iV&jh+wlToU~owiS9Z^P&A3Xt-&fyC?@%%|a{RLySK&#F1_Cmgv$PxFm zA$YGy^73*Sl7gE#Sq`4Mkvo(@T`L~_RAM03*|kr*t_ozoU=i|rrrZwV9ud-ZCO~|^ zq#r0*<|N5tGRpq}e5tIJU@RZA@|kvHVX>r~?)SwnjH0E?+83>MuV|YG#ZQH`R~Uwd zAVxHDLy$uO^7`DEqq}7eBh7SLaB*A2_VeoLSZb~1eA0al9ZlJj-NHgP#nN;SrpqAZ z^#Cpd)|tb`HAr(%_ME#`v3<%J*>?YE?@o572~F-~{%7k+aKTA&cwnJ$9s=arC$QZ`7y%~XucV(>gUcm4Jw5g>+M`DR^R{@$!SwHhQ-kl!HXd+o;P}6jmpoY7oW7Hj&ZiWG zZxO7y?u+LQS+U{S#ozZyj@Y*BprZDGyxwEA5p{nGEC};}05;8RI9eQ^D66Mdijw;q zH#=*p;!VRdofD#nhj@CleA3*U2kzcqMkeI194ENPfWt5C9gDW}*TmMqgII?1inbs{ zai}{G4`ns3l(#)=7DAHuSi`I3ezZ_wO7K$#JjRe?+54UD7FsI!poFKgc=2CTZVi}m zq>U*)+*qSQ^U?_6SGoBaf>Rvh`jYr<^f$;F%?Vqx>5Ut+Su1@lot0i6dRb*`m@o8* zEKJcHye;a~tm5Ay86MMf6i`>6b3bAIaJ_AqKK+#yAsV{3<2Yn$G5hWVsp3KeKkcLo zNWw0vQ15Mcu{d%12!QT!H|h0XTH*hV%DVU%cxz4Cp#k-lBZWH}l>^d`uHcQWkn%VF zA5*RAaomptRl!v|+7V!Jir;$v^JcqSH8UrPrZg7qpr(r@3WzLC-Q!E%5f|x;AT}Sm zBt(I8r@KyyzQKIXp83;d?U!FeIoLC0>XqFksV=d9Mw}SwWB+tC;#`R_FeuR?!pD)@ z+r`bn-Ok!N@g*G|nD2@)U;m3S@8ba9E1Uz{Xj@O!3%n!qSZ`-W@ku?j;O% zniA)rm{wYu>4n=;#;Z^&nACVT;*N zQR>DYP+!zJ!%Yjj1JuSYnbf4OZ;n=g6d&y-H!G6d_k{j!QwKgjO(-ippaiz!*!7w;&<4Dq< zJ;TX2`dI$ik!nQHgcZtO+k{!$a3kPkI)`I=yk!C86Xaas=gcPKUSq;Xv{`}(a7y#M`!N_wg(Qg{S_F@lw@Dj&_+PdUSKtnJ5t>iQaP3k@A;tpe zwjPU6ibOG3Jn$0}b*ru#iYf-NJQyep6Hy=}95WkslbCEUmMgJT7ZKJ9hV%8x33i9j zPntg+8sSMZcoY>%{D84UHaCWSbUbc4Y3h+lzv6-*h#{($7nJ1V_5xg*q8hiX=1Q!s z{^r!IWLst4+xAS5$TQG8|L#2t3z`woyD$g!+&yE$EwKw%t&_@ufjA^0m%2Z9>L5u6 z$E{l4I7*_&O?HjI9A2P?Px0V=gHa@LDt#_L_kA38GWe4>;srH*anpKh%{SAF9EqDL7lE%+xg27X7ZmOL=BZO+1FY+;2?RrFUj{;?Zgq=Zc# ztyDpC<1RMVPfV*Qef#O^--RTmsFajn^z%iOr2> z(W0%rUKmZ)G)Cv4HDV9qm40FR<{11lq?ImT%w?h>?QyMn6JKy(gMR>c7ZYb!F-@b) zfCRLr-=CA7-Qhu%e4iY5)$4Fe$V}*2t;mr)-mtH#${ZOvwJ~bJ+c&B9{+auSp=BSR z^3s0Y9#+$s-J~Sb-AHlv+Tln|jS_R$7ax=!BpN>ywI=j3-pWeY6VHmuaLBZH^ue@@ zL!$o~FALaIwJ86{n+vw+6`q z8V4lc&pZMz+n;^reoWsT2zdB~SCxm?ZLYaRji@`!H%d+Uc(WK6SI$QD1=OD$UrywU z5m8R2wb}<`S&{?d0@>I*`+CDgTn|Gu=5^_Mi!Da(e3dJ-23Tw$`9BpmwQ8p_)CbX2 z?K9ll=dr1zPjl53`3<+{>v|2hIGBhm3L7wIYg4hA?>UBnR z(|aC^Lfn?@6e0P%ZMo-Ajm~i$b6L;vCvx-QHHws$VPqV5GVdI9?Qk9@$Gfhx=kcJT zy1gOs4*c!6Yj_N(>^1Thl5qmf>)a|Pdx^FEvyY-QQp+@=+b_ZUA$ZF8=3v^+&vV|> z2iXS)ff>|bx|HqD99e1<%ZIwf^|hf_$Ngs}pG`zvTp(;6{G2{RWo%LcMe^wz zR_eGc?Zc>2nz7M3Fu(Ez*3S?Q!bg-`*;eiEwpHL)5`H87GLE&rG}&eK3d6J47$yd+ zdL3*DeVipwTsBKC2w7CfwA zyba8m0u;FmWqq9NcL=gjEkAW##*`fE@g)Soxt!EZDej0>*5NKX$l=0?cVK3XUT&?c z0F=>W$B9gUo_%puc=AR8vZ(jChiay_cEffd`RtUpk)Bd2;YHl!H+d{e7Zp9LE7pIc1!r(T$i+R{-BcSS0>jB8H5 zF!&ZQE6S7N*HgACf6^anBUW|XaM*Y&S*S`Q^2~QcrQ+6CZ6d>DmMlQvW#LCz@6Vd{ z3t}1Bj}t$aJS$K{ld$Dw>W4QQIgX8~R-*Hoi`|dFQbH3D5wX}q<9L5d!jbd+(*`+H zqr|Bc%TKWYlXaI-V-_5gUcCRVRhn5MWu+2lNHHtUsRoZAPkqgDb6Q&1({wD}-(%_1 zzC8~&x11q?blF#Pj#EB+Yp%#oQOv0wugp5k@ky(Eq=ChY+EKHg0Z(5eI^8kZfj*No zHB*`e?Ac@XcGPEsKc}M_OS`BhEnf8fgOo)|ab7{Al2Hqu1S(F8rzEa5*7R5{h07Wx zBN`SEhDc%Pwgz-ruV1G1X%`cvxpKawD&!7uU;m|6?oQHE2i2Qj6+UQ{e-tDs#E}tn zD>nZy!wBmN6^}WHor(4Ba-o?9 z^~D%YNQ)( zCxM1*4BEEd2Mb=KH5Kh%dB{Ovco#0YBK-}T8NMCtdAoI2KVPOAM?UPuVA4jgX*lp^ ziRcldjETRJ=qVo6o5|V}ZKyB+A_WSnlpj(I>$jb(fU2}AAXU+VnNcK3JN}kPd5m*l ziBGeOGH8o5B+W1%fi|z1!wus;dXkaiVkjrDKru9uq2fZt$HYXQ&}&X=%DN}fPVz-h zmy+KSkx@X00))DGQ~b32&lOSjVMqj>+z`!0*3IZV^|M}dz+^RAQTNex_|?bA**TNUK#T`^k8lE`p_Hdd1lFj&O8j8=k;n*?vn&d0lMfagn+ zZN7!)Ij6G$&s_&kjJ-x%=j-ZQ7J?>c$7~GtGTUbj#rvt&5aMN2ITdhNdyP=0t^31} z?Ut$r$^^rP&7tb1UFCY*$X2>?u}@&J;f+k|O?>;Y^^3rJd8%)>eS0sD#5_!!i_`#Q za-NcWOnD)GlGY(+)UT(Ahws#^B)$v*-b#}Xpjcbb1K>)&W!cStlxrSV&1K>NA1gLT zyq+TRX#T{4@7cWd=?{6)*;W61euA`eJWJU;ynDA9ZT2ZaQEzz?!m;1ZN7So;{hf;1 zE~vyBJf}x>qtZf&3kOius(5^&6_N2SUIr_rk_hRjY5=Jee}<5dPWJ=zS~Emb7>Ooz zrbR4vuP$yF1NHqo`X2CZ*?z9Bcvm?c!rRfXBXIf17h0=1(cwLp+>+H4)fK;(EQ2nU@M#i5p;CKAzgd3?-tM@&QUsHDlCQ1 z$-VI0^baz__vBHOK)x%!gIx37Uy06pxw_0sHz<*kXIjG7&CZ}n3>PSDw9Z=^+MLo~ZGvU4}ak&sKI zbW&;|c5DH$^@vf<(kW?GlJxEq{Rpq$QtVATyDu?*#uySI0eDW>9-x^3y1_B3*8w(T@!qIe+pcWLBSW5=t8q!;erlJPrGOH1O+48m;`%T?fnAJ zz~q#4zSFZSW7zR|PSYUVI{q?qbA55(&u*|4^TC>uiA$sdaL&O^vT?P*Qxuv4_tX%C z4;2j$nvGbwM5ca0G}Wxva4`;AwfoWjS)$)>%+H59zDjb%9naCWG`eh$0eodkgI&jG zHJESpfaYoWGgjaDi#`i@0voZ@5jsHIQkN@R8awo6Da8>+)2r-T*bK1_1XGubIe5@) zXEGhWd!CoMy^W*}{PMnVz~b{VR{?>DCaNBMYuqf7@OL4jC=tTEFf|ocS0jNbIvmRw z%Ed4}4QWmRVKvA-nGl}$!k#?KF%>wW=VqbBJnK&!`I5WY;B3bGC3T7g4xX_wkb-z> zb7wOB%=?)H5sku6Dx>il@W4zPqpSrZ`40T|E=_Qo<;Vo`B6%JP$_dt%SQ9B5ly-&@ zo|IdpicqT?Heec7Zp{BS40)eM7K+GfN?|0L`pvVGo)U4BmjfUtSQPLg_+1bWZGJR) zFYZN8;PX2(pF;zDWGB`sXa+JeD!gywboO0FG;%nS`3@CaN@s3X4jzE*G68E};PY=f6rUcsDr;^C&I} z>S;C6aqfSWEbt=5(FT&)FdI%#cg>vOf2i{s*g(--y#cYv<6?NM)Rrf$`~T`wGvm7v z;}-y3&1nU2{mP41>9L~6(x4^mP;|Q0dA_J1z@wO{X-esJKu(JH?(XLKzLN$39p|co zjClY>UOq`x=edrUzKAMp$8s+xK7$iCTTWi)lm zY{Ysy6YvFI0$UFk3Z`J7gUU~gE#*cyTek<;r7UK+%)BU3$6jP>W1$8(?UmXY?N^V5 zFSw2zy4-)})+3S4)Ru>^L(g97*Z7fQOlMOU1+WJ#%rlO6(^)G^zPziI;x5Pa_kjM{ z0!D*%E3ajHdxko2hbGj3k_30AGCI)vdHbx%Yqx64eqptPT8aKcR=Ke06s2NnYPL>F z-!zNcWRV(679zq45Q&}!l6`8`{BIn&H+vd8*H!vB>!=GlwQ_Ivd3Y*;Tpk(s3y=;! zAh#rXu)#2|(>$y-gAbBqcz@uuBqpuk{ROzV%0ohb=|@xQS> zV|>o)-u_y0CrPBAk#xp&7FnFkR(mNF>lnqcp`psM@7~>&wX>Q9IR2uRMc8a^2?BpQ z2ezqF{3{FsVqe3@N|fPP83)>TbjRl{EbS%5k0A$XT>kf{M;RUU%ywFMk1d$iOjrW0 z9p~SX(vL2_8+T~^^Js0+K&7?2@{<1&$#)gN6ZCx^vb9rm90&58K_|z>s3}|toPQ=f zR|5As4N8wupdIbB6kXr3EcD+qQA4BoC!u^Da;^2Y^n4vWwL5G-PZL@gd7GW&$W6Ww zZt%G;^AIp~h+Q>&j+f&wge;X3k2nmP@VF7Y4M1iPMRE;((|va)^>1>8^)h_K#Kbg6 z%wSwWFE9vG#f_`=5ew1v`h?Z)YE7(Q6UX~|@SM2ACUkX;ja};3L8~{rF#T28Kf|0m z-=k%8x_te3`Ksr3;#-cpiA(Gx*M+}k&_4=QiLMLTIKCJDNVb0MNK1BI_~Ng^AO88* z!fgt4A=CA3|55G#Z+~U?ue+W7)$ND$__Z4??NuS~wHQ%Tx`9cK_4kmzLhr|K->>ib z^TBodFiw)I6U^kK#>`|)Y~rL6yE?T-d1S;N=o6s8#K5@y_er4Fmp7bPFfdHrtR3CC zxvrjnzF#5{7d561Ya%BX%~exn^eb%k#OGWr*B|wsJJqZZ`fma$xEL5@KQ*P`NUY^z K#0lcOy83^bv@|*Z delta 7577 zcmZ`;cT`i^*F_W&MUW2CG4$S%5V^+5(EY5B}gaq7Md{#656N%q&I0| zK&b*^488LKGxHnA@#7EfT5s)l&Rut9zkT+;O}1D|QhlBC7pMsc2rdyIjgm;Kp-7`D zQ;B<`8Y?Hyy3Y|1P@JrG9=7^k9uK{RZ9Tl~g#z4Mi<3Zl??gx=j=NHVS0I&_)GUSA zZnLqAl3)b2n*`0)^D$-E)>1)p;xNXJosffZV>6o9YZSSKW(h+j3RYiD)?Q2C)*)D}!M%2>xl8RCR_bDCji@rqNsZe78+DKoiCHyu} zPg{vRSgFGa5$-ED0Vw^D>BSHQ?^$)uCIy9-o^Ho>&g9$dR8__nYAJJt=|Y!F z^Ig7}BNh6O`0}jcsAO^o-N!itt8m}z$#o6YUiC$D@vpdfc8^`H$=dGRWGOu6tF_9? z*^R_=ToXLllg5+$d_t(vbBY(qPS40I@1E7o^8^G_03{cV2V|h9@=~bXjeetsi zG9dIJa3jTxW}Y+y*^}+A<@)^kHDX!Mtw~%2K(*`$ul>=Zs$`#-H^UmSr{`Ui(tGs0 ztsJbW(cWim*ANIC5_9>E5LfV=F!9Y01y+)Kc~?KETgmLYHA>x<+%2G})g8EvEwSpW zpfjH1MwdH6dv(ALn^1l;!?dSG+N{>D>+h0$t>1U=-jo~A=z?Sio@ebkly7V*D&?xV zjmrE^H`Khx$!V!!f)_7MTUZVlbzdk)9My(9)hDL-fok*mD|0wzS!;YiF$FnMHFLQA zqM=2t$-b4@gr!6G<41vdV3jc=JpVLu_Lf)CMErLsDlN>dLPv9Y+YTZ$*lSvsJvL%* zT%Tpxmpd756ujlW-XyR1%0S^|rb}OcM{0{~8iTc(TypMo@aV9Db^Vmt!2E6hsH~=? zlDOC1x!=*&F_~dYB{*v$g)ea%stSW~@VGqg7NnGcp4W{htdkxE^h4%uS*vBBg>6Hq z?E_Y*^k}ox&4hi+hu@!%8r8Q>j}?0@%G6aaVFmbwxWdufbyG5T>XKHVk zUyZ@ydm>8sN*wS(lkDv;#u;g-+C-w@PO(L&bS2&v&GIPFD%aodyW6!jKQh+24Lrk;dQC>bUr_8F4(MJt)Z;ZzF zE2{O5--iqujcJUm-dI_sRPoFY(0{~pF6El`1vH7p{<#~W91lpH4!zfj>@`^YZ>|D1QCSeSv<^~w4So-KI zZQ(O2BzaHtIe0`5G-J{%N1fZ7TU1-`#*7m-w3h5n^pr z$y!^wWWAJjeEw&mRhbUw;^@{02?%ImQ&-rbt6l{n)Da$SUkJ5#E)OU>AVTwMSH=?# zK`w?RN*0uOoni-PP z8=8E#{c458+Z#8n+~OrW>#E8G44K(0Q^8ieEn_X_V=Wqrrb#AtmU@{9FMF1u;&%q1 z!-j(?IJ&Gy(0i*_Mz-T8;PRAPkLC!cj2h)9n*c_zVdpzAtYO2j``t#PS_wgkXq&w40iKs3wOz{5mWHIHzz@Rd%BqMa=$C63~1nStxVECwq% zGv}Xww96c!p@K`d+DR3S*{$>{m8>a@xCtBv+hUgr1H-sG$HklDXcxDKHKd{OE^M)h z4ziiHA0t-FbJH4MuvUWW?9J8reWYntJJrEF8ZO<_7 z=jxWo&)oCg4`iYtB_%NTS`pa{HIhafNw<>+0?d7FuL%Odi<}p=2$HV>C^Tu=qLh>odR`AG0K#ofD2j|l8H2J5&>-BFgv1TL-ioq**+V2XHRqzI93_@|6wL`+P2Et z5`?$K65IxCf7=VyvD|iC`&#&uqvY|N6fEr9YeMY!!G#ZttUtUX2W=ZK)TD@-)%Bil ztxq(&@UW#Y#g|!B*PmwXXF{AwP8`(ER_5rbZo^dQ;GiKXLHZjpVz!U!r#gF)B@-nsd{@ACsda=<2W-8iSfr6cu5nG}dvYHm zz09#wVqAfm8J1?8=ne7cu6sZF{Mw_S9>0yGmpF~7Km6w**&wSS6_`n+7N}l)>Gol! z?5W<|C@o#E2_6z!Xh1;f7%pO3U#9Bq0~(_N?z|Xn zM7(0|=8ATftIL;(5Ea;pY{MA1#qeO*R7FWguG12ywaqQpe&KXR-2C8_mn!>V=Z;Z< zHAsx%_E4>WigZ-f+Pqw}FH|yNBWM?+4;nFk1`-(F5n!?KYi|9vx6}HG&eHD?fevxV zsS%~7izaT1q*NlwSJk)SAxSX=gg=V|+Sp3WsMSr*N9OQ2o?jqsdpe_x&%dC5i-#hG zUYn4UrjyMP)jz=mr4&-7$P%&P5uzrKCg%*LycLy)(Wm4o*Stt!4h_MKI$>G~@3+(b zOAh{)lvBZob;zz(qoAVy?KW0{Ho+1z9jx00v2N+VL&W9)Z5<_M_YF75njYS3|3w*1 zPoyzhJXIJ-I!QjgU%602)?1WkKJ{kWVHef}glfV4O?|%!z42}{HS)^}K00@Mr7m>8 z4q@6l3@2+m=eAXzy(v%i^-*p;P#YwPlRX9Rw0cnHm9Y_>(DDt%?!$` zxADHSx-vQi@BS)n<*wSW8$X}d3Bx$(9{8ouqP8Z`W<6adsg4@xYOYNegQAgEC}(f? zy2YL11mY~$6X`i0C@NPRyr(&_O-1*k`coXL_i|7rYE7p6tGf`k+#2?v!s!OYZo|U* z6*ow<-+s4o>B(e6k;Kix?3Nb}&r+tRzD6$uic|K__3!5mEf&SCp$|oy#zy;xgKxW_ z`POqMQkfT$1wnN_X)Oz`cj4#vpjNQmi~`t8AJK}g^&;nJ%O0!D_LmvWg78Skj&_8G zv1cZJcl_;LN3mJ3gu?E;CF=T^yz8guO7pQ57!H4nTH1;x&k?LPV68(u zS5rRtio{^tC)LcI2$E^(X;mpe{i*zLt)I%zs;w>dLE)^7URXn#8I%#*)ar3%KE{n9 z;(@=3H&?4A?k(hnx{uhasOqw`V8wBUSY2uxglZOFs=DjQGI3-0Jz#^j53DR&?U~I+ zcr)aMJ!3?*IhTPUNZjWY>o;p+^Y91ZE@kE6Uhi05eFMf-mpfnOkKWhHRJ|*Bcci50 zy1Dd4Ev|QKBsK4hNuNTmVecr02d`B7uT&?rF2J3zo60`xgJ=OU02x3CzybgQ&H>l~ z6aY~`)Uyo%DcP7fgP61>NG|g>NAA_H;=e;Zl9J2q#p`{!V}~RWjKDm`JjH}#A_1X* zCx9?O1b`w5-d2Q4k2O2!rVE1V=5-{>B)(1zNZd)hkoY7~H4&2t;22sTUzV>^SGX<3 z5hLg%`nxUyb#gJQ1~IJAPcia!`M)m`@G(%Hd2Mjc{#>-O8lWH*!7ai)% zAas=lTy284Ek*L*ev4_n7ue!YP9AyRaq;Dz5i5^9Oi>L|xj6I~Icx&1wkEIDToIm+ zV!1i-+$c$Gs&dOK1mT2sQ&AJ5QWKry=#3w;8MQJui2?7nuYJ=T8!3YDN7wE(7C{38 z;W~Gh*57hXvYG}fTlL&tf&=et`OKV~N@;}Dft3?{jaj&9u)W2NOJf*!Dz`Ro_5RI~ z-6C+04*1CV`WHVT-rj7d+t%P=wJvg;kJ@_EQdIxkwnpjDv2xbj=C0$mRU-u0oK{;> zA$FYPHgR7FJY=WizhvGgHGeaY73wl{tT(6yMyDIi2i}p4IU!dT%w9aGF~ADW%y=@} z%}C77BA-grCLXUQ%fP9M%hWeYWey^21vI#Dbt0F^W^?#VJyEUUUb8AL z`Rz_dc?ZPyfV;lSdAHuP>YWeZE5DTVmli)WFHNo1s#s_2h@Hw9j zssqPVXlF(D0)FV;e0ejGFsH5kAe?0fo@ER=cgCqghLXv4;iGf^7OZ(4r}mi>k96t8 zBVC6|on;VdEAE9N*PdE)&YbHyOpa!g{6e;>zGM#_#%SrEbA03GHw|$cqEuqxP>b%B zc9i#ay*BP>0hQ2r^8T9#*s%AO45b&EuFWA>)qeET7b*nL#4Nh!QqCwb^5zK7OZ;+END<6?~Zr-)aRV(0iFf=n-}Kk=3P_KfLe5SmTSD*<`nPHYAlvW!;ubCqDS{&PW9IS##DR*sV}G* z4)<^I8&V5URn7JL-}!>(xx3Y&xO7+tHJb_^&7%>5EXsLVTuK$0%n#WDCtd|ceuXx2 zADR_pCG{X(9>GT{!5vdC-y~N}N$I^?j|Ok*I%|8QSv((2(2`Vz^5yA2x9~IPs(+uM)yhP_!Dl6&M0I8x=rPAaY z5+7j}m|wi7zyk~XMA!FGr#Q|5x{XV_fdwOgxjL!#<*7ENse+JA@-HIB29e{;#X~+S z26ln&o#^|fYa-)}MEnu%R?v2lan_4jh$2LZomqqsV`}x)@NmcrsV?fReEC%M^N4t- zPo)d#T<@;?j?~(LZQL_c5pig}4y;S2tTZ5F&n|sPGT=qObAA8vhTAH1eGAO2hKl@P zZ=yUChB+Tao=gB>*W^gVuxTkJuf6}nrV3@6RU44OOcv<-dAIU0FdRb^MNG*GIH!3l zQT5D50p^n)_XjPafQMhr*91nDWB#8?g{blLS{dvQ0jU%B^j9;xh2pJhjV8Pbl<0}h zvN+{L$zo%*33i5V0r7fO^J2moCGNhaLkW5k{g5AA`MZ0#`A}-z{y@AH%ccCnR&bDj zJQd(ekWJ1v@>(E!UukK89{f_sO(fwcb(UwHmU_H>GOGsB zMDLT}B_XkuXmp3mtv>se07JJ0!T#xrh}ImES!WP{lhN!d1qzyLr!`c2J?exDV|j14 zi;V2|cVwIH;&KIXfQ&CtuItq^bQAB?_#w~5 zEqq(&Xd2$B^(SOs$EgQ3T|ZXujlN6u$&|5%tBK-m_a3)!#8=}9XDmO}gu=)t)3wcZ zbQ*C75`NPgDm;hw-`qdUPJq(GkbDeOYLZ4^*3Ypj(u%P-YSgH;@X+Xj+eopM z)P4Ur1aNe666Y7cmt~@B2?O6l16-<%e5==s8v3BHFS)PYHTJ=*aLeqz4Q2WQJW|xe zKgC{f9}eTpXV2d}qr*dTnYNpA&)k;YUmvD+>zXk>u5nCQwYR2gEr(O#BmzmO&Wmo~V@7-%3%%nq--H5PJ zM&`@>WMl9}RLDV9S5ozZjlDm*$3q!Zka^?!Oh4JJfT7NDS1~DKamcd(;pQt;4y0{i zHY%QZ|3rK6L=P{K!)0WBUAA<7pQ(hx^jCSH3~tG%Z)?NAbO-4W~#kFV{?)Emiwzy4N% z?xCNq`X|>mrfEz0GuQTay(_#pBF?`?h5dk9fHnxA_NJq0N9@@tmJa`rQe*=AD_QmR zPdov;dAA#ehb&xvP`;VU-pm}~;#RL4#N?GN-zx`pnx6>ux9P_Ou_A#Ccs@C%wPEEH6q)yb<7&G^ z)Zn74uHv3?!LzHsPX>B{Hr`@0*3icywx_@N|E3eR75(FxJu=v6j=Fo8p9uALV$M;w z|7^AM87t&dj9A_MUz3B=OkK=xFZN`%#@!v%!F4@m_-{17mWfnVNh)M}Jmr@~>)VB7XMa`L)^s%@xa*mnf|j| f25&~J^vR`aDlq{8)xR1@^TLuuIWOk&oj(0P#vRny -- 2.24.1