From 6975fa04ed76e162667be60e63085d4558796ea0 Mon Sep 17 00:00:00 2001 From: Joaquin Torres Bravo Date: Mon, 13 May 2024 11:26:45 +0200 Subject: [PATCH] Ran for all models --- model_selection/test_models.py | 39 +- .../test_results/roc_pr_curves/post_ORIG.svg | 8194 +++++++++++-- .../roc_pr_curves/post_ORIG_CW.svg | 5452 +++++++-- .../test_results/roc_pr_curves/post_OVER.svg | 9590 +++++++++++++-- .../test_results/roc_pr_curves/post_UNDER.svg | 9825 +++++++++++++-- .../test_results/roc_pr_curves/pre_ORIG.svg | 9432 +++++++++++++-- .../roc_pr_curves/pre_ORIG_CW.svg | 5792 +++++++-- .../test_results/roc_pr_curves/pre_OVER.svg | 9489 +++++++++++++-- .../test_results/roc_pr_curves/pre_UNDER.svg | 10006 ++++++++++++++-- .../test_results/testing_tuned_models.xlsx | Bin 12766 -> 15947 bytes 10 files changed, 58834 insertions(+), 8985 deletions(-) diff --git a/model_selection/test_models.py b/model_selection/test_models.py index a582546..b8f8cc1 100644 --- a/model_selection/test_models.py +++ b/model_selection/test_models.py @@ -250,31 +250,30 @@ if __name__ == "__main__": # Scores df scores_df = pd.DataFrame(index=models.keys(), columns=scorings.keys()) # Create a figure for all models in this group-method - fig, axes = plt.subplots(len(models), 2, figsize=(12, 8 * len(models))) + fig, axes = plt.subplots(len(models), 2, figsize=(8, 8 * len(models))) if len(models) == 1: # Adjustment if there's only one model (axes indexing issue) axes = [axes] # Evaluate each model for model_idx, (model_name, model) in enumerate(models.items()): # ----------- TEMPORAL ------------- - if model_name == "DT" or model_name == "RF": - # Train the model (it was just initialized above) - model.fit(X_train, y_train) - if hasattr(model, "decision_function"): - y_score = model.decision_function(X_test) - else: - y_score = model.predict_proba(X_test)[:, 1] # Use probability of positive class - # Calculate ROC curve and ROC area for each class - fpr, tpr, _ = roc_curve(y_test, y_score, pos_label=model.classes_[1]) - roc_display = RocCurveDisplay(fpr=fpr, tpr=tpr).plot(ax=axes[model_idx][0]) - # Calculate precision-recall curve - precision, recall, _ = precision_recall_curve(y_test, y_score, pos_label=model.classes_[1]) - pr_display = PrecisionRecallDisplay(precision=precision, recall=recall).plot(ax=axes[model_idx][1]) - axes[model_idx][0].set_title(f'ROC Curve for {model_name}') - axes[model_idx][1].set_title(f'PR Curve for {model_name}') - # Evaluate at each of the scores of interest - for score_name, scorer in scorings.items(): - score_value = scorer(model, X_test, y_test) - scores_df.at[model_name, score_name] = score_value + # Train the model (it was just initialized above) + model.fit(X_train, y_train) + if hasattr(model, "decision_function"): + y_score = model.decision_function(X_test) + else: + y_score = model.predict_proba(X_test)[:, 1] # Use probability of positive class + # Calculate ROC curve and ROC area for each class + fpr, tpr, _ = roc_curve(y_test, y_score, pos_label=model.classes_[1]) + roc_display = RocCurveDisplay(fpr=fpr, tpr=tpr).plot(ax=axes[model_idx][0]) + # Calculate precision-recall curve + precision, recall, _ = precision_recall_curve(y_test, y_score, pos_label=model.classes_[1]) + pr_display = PrecisionRecallDisplay(precision=precision, recall=recall).plot(ax=axes[model_idx][1]) + axes[model_idx][0].set_title(f'ROC Curve for {model_name}') + axes[model_idx][1].set_title(f'PR Curve for {model_name}') + # Evaluate at each of the scores of interest + for score_name, scorer in scorings.items(): + score_value = scorer(model, X_test, y_test) + scores_df.at[model_name, score_name] = score_value # Adjust layout and save/show figure plt.tight_layout() plt.savefig(f'./test_results/roc_pr_curves/{group}_{method_names[j]}.svg', format='svg', dpi=500) diff --git a/model_selection/test_results/roc_pr_curves/post_ORIG.svg b/model_selection/test_results/roc_pr_curves/post_ORIG.svg index f6ee2d7..683c387 100644 --- a/model_selection/test_results/roc_pr_curves/post_ORIG.svg +++ b/model_selection/test_results/roc_pr_curves/post_ORIG.svg @@ -1,12 +1,12 @@ - + - 2024-05-13T11:18:42.540342 + 2024-05-13T11:24:35.919113 image/svg+xml @@ -22,18 +22,18 @@ - @@ -41,17 +41,17 @@ z - - + - + - + - + - + - + - + - + - + - + - + - + - + - - + - + @@ -574,12 +574,12 @@ L -3.5 0 - + - + @@ -589,12 +589,12 @@ L -3.5 0 - + - + @@ -604,12 +604,12 @@ L -3.5 0 - + - + @@ -619,12 +619,12 @@ L -3.5 0 - + - + @@ -634,12 +634,12 @@ L -3.5 0 - + - + @@ -648,7 +648,7 @@ L -3.5 0 - + - + - - - - - + - @@ -871,10 +871,10 @@ z - @@ -882,12 +882,12 @@ z - + - + @@ -897,12 +897,12 @@ z - + - + @@ -912,12 +912,12 @@ z - + - + @@ -927,12 +927,12 @@ z - + - + @@ -942,12 +942,12 @@ z - + - + @@ -957,12 +957,12 @@ z - + - + @@ -971,7 +971,7 @@ z - + - + - + @@ -1023,12 +1023,12 @@ z - + - + @@ -1038,12 +1038,12 @@ z - + - + @@ -1053,12 +1053,12 @@ z - + - + @@ -1068,12 +1068,12 @@ z - + - + @@ -1083,12 +1083,12 @@ z - + - + @@ -1097,7 +1097,7 @@ z - + - + - - - - - + @@ -1182,10 +1182,10 @@ L 845.28 96.226511 - @@ -1193,12 +1193,12 @@ z - + - + @@ -1208,12 +1208,12 @@ z - + - + @@ -1223,12 +1223,12 @@ z - + - + @@ -1238,12 +1238,12 @@ z - + - + @@ -1253,12 +1253,12 @@ z - + - + @@ -1268,12 +1268,12 @@ z - + - + @@ -1282,7 +1282,7 @@ z - + @@ -1309,12 +1309,12 @@ z - + - + @@ -1324,12 +1324,12 @@ z - + - + @@ -1339,12 +1339,12 @@ z - + - + @@ -1354,12 +1354,12 @@ z - + - + @@ -1369,12 +1369,12 @@ z - + - + @@ -1384,12 +1384,12 @@ z - + - + @@ -1398,7 +1398,7 @@ z - + @@ -1421,102 +1421,102 @@ z - + - - - - - + @@ -1537,15 +1537,15 @@ L 420.171979 671.371511 - @@ -1553,10 +1553,10 @@ z - @@ -1564,12 +1564,12 @@ z - + - + @@ -1579,12 +1579,12 @@ z - + - + @@ -1594,12 +1594,12 @@ z - + - + @@ -1609,12 +1609,12 @@ z - + - + @@ -1624,12 +1624,12 @@ z - + - + @@ -1639,12 +1639,12 @@ z - + - + @@ -1653,7 +1653,7 @@ z - + @@ -1667,12 +1667,12 @@ z - + - + @@ -1682,12 +1682,12 @@ z - + - + @@ -1697,12 +1697,12 @@ z - + - + @@ -1712,12 +1712,12 @@ z - + - + @@ -1727,12 +1727,12 @@ z - + - + @@ -1742,12 +1742,12 @@ z - + - + @@ -1756,7 +1756,7 @@ z - + @@ -1770,158 +1770,144 @@ z - + - - - - - + @@ -1942,10 +1928,10 @@ L 845.28 671.371511 - @@ -1953,12 +1939,12 @@ z - + - + @@ -1968,12 +1954,12 @@ z - + - + @@ -1983,12 +1969,12 @@ z - + - + @@ -1998,12 +1984,12 @@ z - + - + @@ -2013,12 +1999,12 @@ z - + - + @@ -2028,29 +2014,53 @@ z - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + @@ -2060,12 +2070,12 @@ z - + - + - + @@ -2075,12 +2085,12 @@ z - + - + - + @@ -2090,12 +2100,12 @@ z - + - + - + @@ -2105,12 +2115,12 @@ z - + - + - + @@ -2120,59 +2130,226 @@ z - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2180,14 +2357,14 @@ z - + - + - + - + @@ -2195,14 +2372,14 @@ z - + - + - + - + @@ -2210,14 +2387,14 @@ z - + - + - + - + @@ -2225,14 +2402,14 @@ z - + - + - + - + @@ -2240,31 +2417,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2272,14 +2460,14 @@ z - + - + - + - + @@ -2287,14 +2475,14 @@ z - + - + - + - + @@ -2302,14 +2490,14 @@ z - + - + - + - + @@ -2317,14 +2505,14 @@ z - + - + - + - + @@ -2332,61 +2520,166 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2394,14 +2687,14 @@ z - + - + - + - + @@ -2409,14 +2702,14 @@ z - + - + - + - + @@ -2424,14 +2717,14 @@ z - + - + - + - + @@ -2439,14 +2732,14 @@ z - + - + - + - + @@ -2454,31 +2747,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2486,14 +2803,14 @@ z - + - + - + - + @@ -2501,14 +2818,14 @@ z - + - + - + - + @@ -2516,14 +2833,14 @@ z - + - + - + - + @@ -2531,14 +2848,14 @@ z - + - + - + - + @@ -2546,61 +2863,385 @@ z - + - + - + - + - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2608,14 +3249,14 @@ z - + - + - + - + @@ -2623,14 +3264,14 @@ z - + - + - + - + @@ -2638,14 +3279,14 @@ z - + - + - + - + @@ -2653,14 +3294,14 @@ z - + - + - + - + @@ -2668,31 +3309,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2700,14 +3352,14 @@ z - + - + - + - + @@ -2715,14 +3367,14 @@ z - + - + - + - + @@ -2730,14 +3382,14 @@ z - + - + - + - + @@ -2745,14 +3397,14 @@ z - + - + - + - + @@ -2760,61 +3412,687 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2822,14 +4100,14 @@ z - + - + - + - + @@ -2837,14 +4115,14 @@ z - + - + - + - + @@ -2852,14 +4130,14 @@ z - + - + - + - + @@ -2867,14 +4145,14 @@ z - + - + - + - + @@ -2882,31 +4160,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2914,14 +4216,14 @@ z - + - + - + - + @@ -2929,14 +4231,14 @@ z - + - + - + - + @@ -2944,14 +4246,14 @@ z - + - + - + - + @@ -2959,14 +4261,14 @@ z - + - + - + - + @@ -2974,61 +4276,445 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3036,14 +4722,14 @@ z - + - + - + - + @@ -3051,14 +4737,14 @@ z - + - + - + - + @@ -3066,14 +4752,14 @@ z - + - + - + - + @@ -3081,14 +4767,14 @@ z - + - + - + - + @@ -3096,31 +4782,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3128,14 +4825,14 @@ z - + - + - + - + @@ -3143,14 +4840,14 @@ z - + - + - + - + @@ -3158,14 +4855,14 @@ z - + - + - + - + @@ -3173,14 +4870,14 @@ z - + - + - + - + @@ -3188,61 +4885,746 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3250,14 +5632,14 @@ z - + - + - + - + @@ -3265,14 +5647,14 @@ z - + - + - + - + @@ -3280,14 +5662,14 @@ z - + - + - + - + @@ -3295,14 +5677,14 @@ z - + - + - + - + @@ -3310,31 +5692,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3342,14 +5748,14 @@ z - + - + - + - + @@ -3357,14 +5763,14 @@ z - + - + - + - + @@ -3372,14 +5778,14 @@ z - + - + - + - + @@ -3387,14 +5793,14 @@ z - + - + - + - + @@ -3402,61 +5808,456 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - + + + + - - + - + - + - + - + @@ -3464,14 +6265,14 @@ z - + - + - + - + @@ -3479,14 +6280,14 @@ z - + - + - + - + @@ -3494,14 +6295,14 @@ z - + - + - + - + @@ -3509,14 +6310,14 @@ z - + - + - + - + @@ -3524,31 +6325,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3556,14 +6368,14 @@ z - + - + - + - + @@ -3571,14 +6383,14 @@ z - + - + - + - + @@ -3586,14 +6398,14 @@ z - + - + - + - + @@ -3601,14 +6413,14 @@ z - + - + - + - + @@ -3616,61 +6428,1165 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3678,14 +7594,14 @@ z - + - + - + - + @@ -3693,14 +7609,14 @@ z - + - + - + - + @@ -3708,14 +7624,14 @@ z - + - + - + - + @@ -3723,14 +7639,14 @@ z - + - + - + - + @@ -3738,31 +7654,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3770,14 +7710,14 @@ z - + - + - + - + @@ -3785,14 +7725,14 @@ z - + - + - + - + @@ -3800,14 +7740,14 @@ z - + - + - + - + @@ -3815,14 +7755,14 @@ z - + - + - + - + @@ -3830,61 +7770,484 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3892,14 +8255,14 @@ z - + - + - + - + @@ -3907,14 +8270,14 @@ z - + - + - + - + @@ -3922,14 +8285,14 @@ z - + - + - + - + @@ -3937,14 +8300,14 @@ z - + - + - + - + @@ -3952,31 +8315,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3984,14 +8358,14 @@ z - + - + - + - + @@ -3999,14 +8373,14 @@ z - + - + - + - + @@ -4014,14 +8388,14 @@ z - + - + - + - + @@ -4029,14 +8403,14 @@ z - + - + - + - + @@ -4044,61 +8418,1369 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -4106,14 +9788,14 @@ z - + - + - + - + @@ -4121,14 +9803,14 @@ z - + - + - + - + @@ -4136,14 +9818,14 @@ z - + - + - + - + @@ -4151,14 +9833,14 @@ z - + - + - + - + @@ -4166,31 +9848,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -4198,14 +9904,14 @@ z - + - + - + - + @@ -4213,14 +9919,14 @@ z - + - + - + - + @@ -4228,14 +9934,14 @@ z - + - + - + - + @@ -4243,14 +9949,14 @@ z - + - + - + - + @@ -4258,61 +9964,127 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -4320,14 +10092,14 @@ z - + - + - + - + @@ -4335,14 +10107,14 @@ z - + - + - + - + @@ -4350,14 +10122,14 @@ z - + - + - + - + @@ -4365,14 +10137,14 @@ z - + - + - + - + @@ -4380,31 +10152,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -4412,14 +10195,14 @@ z - + - + - + - + @@ -4427,14 +10210,14 @@ z - + - + - + - + @@ -4442,14 +10225,14 @@ z - + - + - + - + @@ -4457,14 +10240,14 @@ z - + - + - + - + @@ -4472,55 +10255,134 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + diff --git a/model_selection/test_results/roc_pr_curves/post_ORIG_CW.svg b/model_selection/test_results/roc_pr_curves/post_ORIG_CW.svg index bd8e8cf..5904bb7 100644 --- a/model_selection/test_results/roc_pr_curves/post_ORIG_CW.svg +++ b/model_selection/test_results/roc_pr_curves/post_ORIG_CW.svg @@ -1,12 +1,12 @@ - + - 2024-05-13T11:18:43.986625 + 2024-05-13T11:24:40.802554 image/svg+xml @@ -22,18 +22,18 @@ - @@ -41,17 +41,17 @@ z - - + - + - + - + - + - + - + - + - + - + - + - + - + - - + - + @@ -574,12 +574,12 @@ L -3.5 0 - + - + @@ -589,12 +589,12 @@ L -3.5 0 - + - + @@ -604,12 +604,12 @@ L -3.5 0 - + - + @@ -619,12 +619,12 @@ L -3.5 0 - + - + @@ -634,12 +634,12 @@ L -3.5 0 - + - + @@ -648,7 +648,7 @@ L -3.5 0 - + - + - - - - - + - @@ -871,10 +871,10 @@ z - @@ -882,12 +882,12 @@ z - + - + @@ -897,12 +897,12 @@ z - + - + @@ -912,12 +912,12 @@ z - + - + @@ -927,12 +927,12 @@ z - + - + @@ -942,12 +942,12 @@ z - + - + @@ -957,12 +957,12 @@ z - + - + @@ -971,7 +971,7 @@ z - + - + - + @@ -1023,12 +1023,12 @@ z - + - + @@ -1038,12 +1038,12 @@ z - + - + @@ -1053,12 +1053,12 @@ z - + - + @@ -1068,12 +1068,12 @@ z - + - + @@ -1083,12 +1083,12 @@ z - + - + @@ -1097,7 +1097,7 @@ z - + - + - - - - - + @@ -1182,10 +1182,10 @@ L 845.28 96.084011 - @@ -1193,12 +1193,12 @@ z - + - + @@ -1208,12 +1208,12 @@ z - + - + @@ -1223,12 +1223,12 @@ z - + - + @@ -1238,12 +1238,12 @@ z - + - + @@ -1253,12 +1253,12 @@ z - + - + @@ -1268,12 +1268,12 @@ z - + - + @@ -1282,7 +1282,7 @@ z - + @@ -1309,12 +1309,12 @@ z - + - + @@ -1324,12 +1324,12 @@ z - + - + @@ -1339,12 +1339,12 @@ z - + - + @@ -1354,12 +1354,12 @@ z - + - + @@ -1369,12 +1369,12 @@ z - + - + @@ -1384,12 +1384,12 @@ z - + - + @@ -1398,7 +1398,7 @@ z - + @@ -1421,106 +1421,103 @@ z - + - - - - - + @@ -1541,15 +1538,15 @@ L 420.171979 670.944011 - @@ -1557,10 +1554,10 @@ z - @@ -1568,12 +1565,12 @@ z - + - + @@ -1583,12 +1580,12 @@ z - + - + @@ -1598,12 +1595,12 @@ z - + - + @@ -1613,12 +1610,12 @@ z - + - + @@ -1628,12 +1625,12 @@ z - + - + @@ -1643,12 +1640,12 @@ z - + - + @@ -1657,7 +1654,7 @@ z - + @@ -1671,12 +1668,12 @@ z - + - + @@ -1686,12 +1683,12 @@ z - + - + @@ -1701,12 +1698,12 @@ z - + - + @@ -1716,12 +1713,12 @@ z - + - + @@ -1731,12 +1728,12 @@ z - + - + @@ -1746,12 +1743,12 @@ z - + - + @@ -1760,7 +1757,7 @@ z - + @@ -1774,157 +1771,156 @@ z - + - - - - - + @@ -1945,10 +1941,10 @@ L 845.28 670.944011 - @@ -1956,12 +1952,12 @@ z - + - + @@ -1971,12 +1967,12 @@ z - + - + @@ -1986,12 +1982,12 @@ z - + - + @@ -2001,12 +1997,12 @@ z - + - + @@ -2016,12 +2012,12 @@ z - + - + @@ -2031,29 +2027,53 @@ z - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + @@ -2063,12 +2083,12 @@ z - + - + - + @@ -2078,12 +2098,12 @@ z - + - + - + @@ -2093,12 +2113,12 @@ z - + - + - + @@ -2108,12 +2128,12 @@ z - + - + - + @@ -2123,59 +2143,244 @@ z - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2183,14 +2388,14 @@ z - + - + - + - + @@ -2198,14 +2403,14 @@ z - + - + - + - + @@ -2213,14 +2418,14 @@ z - + - + - + - + @@ -2228,14 +2433,14 @@ z - + - + - + - + @@ -2243,31 +2448,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2275,14 +2491,14 @@ z - + - + - + - + @@ -2290,14 +2506,14 @@ z - + - + - + - + @@ -2305,14 +2521,14 @@ z - + - + - + - + @@ -2320,14 +2536,14 @@ z - + - + - + - + @@ -2335,61 +2551,204 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2397,14 +2756,14 @@ z - + - + - + - + @@ -2412,14 +2771,14 @@ z - + - + - + - + @@ -2427,14 +2786,14 @@ z - + - + - + - + @@ -2442,14 +2801,14 @@ z - + - + - + - + @@ -2457,31 +2816,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2489,14 +2872,14 @@ z - + - + - + - + @@ -2504,14 +2887,14 @@ z - + - + - + - + @@ -2519,14 +2902,14 @@ z - + - + - + - + @@ -2534,14 +2917,14 @@ z - + - + - + - + @@ -2549,61 +2932,144 @@ z - + - + - + - + - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2611,14 +3077,14 @@ z - + - + - + - + @@ -2626,14 +3092,14 @@ z - + - + - + - + @@ -2641,14 +3107,14 @@ z - + - + - + - + @@ -2656,14 +3122,14 @@ z - + - + - + - + @@ -2671,31 +3137,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2703,14 +3180,14 @@ z - + - + - + - + @@ -2718,14 +3195,14 @@ z - + - + - + - + @@ -2733,14 +3210,14 @@ z - + - + - + - + @@ -2748,14 +3225,14 @@ z - + - + - + - + @@ -2763,61 +3240,103 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + - - + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2825,14 +3344,14 @@ z - + - + - + - + @@ -2840,14 +3359,14 @@ z - + - + - + - + @@ -2855,14 +3374,14 @@ z - + - + - + - + @@ -2870,14 +3389,14 @@ z - + - + - + - + @@ -2885,31 +3404,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2917,14 +3460,14 @@ z - + - + - + - + @@ -2932,14 +3475,14 @@ z - + - + - + - + @@ -2947,14 +3490,14 @@ z - + - + - + - + @@ -2962,14 +3505,14 @@ z - + - + - + - + @@ -2977,61 +3520,437 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3039,14 +3958,14 @@ z - + - + - + - + @@ -3054,14 +3973,14 @@ z - + - + - + - + @@ -3069,14 +3988,14 @@ z - + - + - + - + @@ -3084,14 +4003,14 @@ z - + - + - + - + @@ -3099,31 +4018,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3131,14 +4061,14 @@ z - + - + - + - + @@ -3146,14 +4076,14 @@ z - + - + - + - + @@ -3161,14 +4091,14 @@ z - + - + - + - + @@ -3176,14 +4106,14 @@ z - + - + - + - + @@ -3191,61 +4121,928 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3253,14 +5050,14 @@ z - + - + - + - + @@ -3268,14 +5065,14 @@ z - + - + - + - + @@ -3283,14 +5080,14 @@ z - + - + - + - + @@ -3298,14 +5095,14 @@ z - + - + - + - + @@ -3313,31 +5110,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3345,14 +5166,14 @@ z - + - + - + - + @@ -3360,14 +5181,14 @@ z - + - + - + - + @@ -3375,14 +5196,14 @@ z - + - + - + - + @@ -3390,14 +5211,14 @@ z - + - + - + - + @@ -3405,61 +5226,520 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3467,14 +5747,14 @@ z - + - + - + - + @@ -3482,14 +5762,14 @@ z - + - + - + - + @@ -3497,14 +5777,14 @@ z - + - + - + - + @@ -3512,14 +5792,14 @@ z - + - + - + - + @@ -3527,31 +5807,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3559,14 +5850,14 @@ z - + - + - + - + @@ -3574,14 +5865,14 @@ z - + - + - + - + @@ -3589,14 +5880,14 @@ z - + - + - + - + @@ -3604,14 +5895,14 @@ z - + - + - + - + @@ -3619,55 +5910,1412 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + diff --git a/model_selection/test_results/roc_pr_curves/post_OVER.svg b/model_selection/test_results/roc_pr_curves/post_OVER.svg index 3c1ba7c..f214699 100644 --- a/model_selection/test_results/roc_pr_curves/post_OVER.svg +++ b/model_selection/test_results/roc_pr_curves/post_OVER.svg @@ -1,12 +1,12 @@ - + - 2024-05-13T11:18:45.847154 + 2024-05-13T11:24:53.545146 image/svg+xml @@ -22,18 +22,18 @@ - @@ -41,17 +41,17 @@ z - - + - + - + - + - + - + - + - + - + - + - + - + - + - - + - + @@ -574,12 +574,12 @@ L -3.5 0 - + - + @@ -589,12 +589,12 @@ L -3.5 0 - + - + @@ -604,12 +604,12 @@ L -3.5 0 - + - + @@ -619,12 +619,12 @@ L -3.5 0 - + - + @@ -634,12 +634,12 @@ L -3.5 0 - + - + @@ -648,7 +648,7 @@ L -3.5 0 - + - + - - - - - + - @@ -871,10 +871,10 @@ z - @@ -882,12 +882,12 @@ z - + - + @@ -897,12 +897,12 @@ z - + - + @@ -912,12 +912,12 @@ z - + - + @@ -927,12 +927,12 @@ z - + - + @@ -942,12 +942,12 @@ z - + - + @@ -957,12 +957,12 @@ z - + - + @@ -971,7 +971,7 @@ z - + - + - + @@ -1023,12 +1023,12 @@ z - + - + @@ -1038,12 +1038,12 @@ z - + - + @@ -1053,12 +1053,12 @@ z - + - + @@ -1068,12 +1068,12 @@ z - + - + @@ -1083,12 +1083,12 @@ z - + - + @@ -1097,7 +1097,7 @@ z - + - + - - - - - + @@ -1182,10 +1182,10 @@ L 845.28 96.226511 - @@ -1193,12 +1193,12 @@ z - + - + @@ -1208,12 +1208,12 @@ z - + - + @@ -1223,12 +1223,12 @@ z - + - + @@ -1238,12 +1238,12 @@ z - + - + @@ -1253,12 +1253,12 @@ z - + - + @@ -1268,12 +1268,12 @@ z - + - + @@ -1282,7 +1282,7 @@ z - + @@ -1309,12 +1309,12 @@ z - + - + @@ -1324,12 +1324,12 @@ z - + - + @@ -1339,12 +1339,12 @@ z - + - + @@ -1354,12 +1354,12 @@ z - + - + @@ -1369,12 +1369,12 @@ z - + - + @@ -1384,12 +1384,12 @@ z - + - + @@ -1398,7 +1398,7 @@ z - + @@ -1421,107 +1421,107 @@ z - + - - - - - + @@ -1542,15 +1542,15 @@ L 420.171979 671.371511 - @@ -1558,10 +1558,10 @@ z - @@ -1569,12 +1569,12 @@ z - + - + @@ -1584,12 +1584,12 @@ z - + - + @@ -1599,12 +1599,12 @@ z - + - + @@ -1614,12 +1614,12 @@ z - + - + @@ -1629,12 +1629,12 @@ z - + - + @@ -1644,12 +1644,12 @@ z - + - + @@ -1658,7 +1658,7 @@ z - + @@ -1672,12 +1672,12 @@ z - + - + @@ -1687,12 +1687,12 @@ z - + - + @@ -1702,12 +1702,12 @@ z - + - + @@ -1717,12 +1717,12 @@ z - + - + @@ -1732,12 +1732,12 @@ z - + - + @@ -1747,12 +1747,12 @@ z - + - + @@ -1761,7 +1761,7 @@ z - + @@ -1775,157 +1775,146 @@ z - + - - - - - + @@ -1946,10 +1935,10 @@ L 845.28 671.371511 - @@ -1957,12 +1946,12 @@ z - + - + @@ -1972,12 +1961,12 @@ z - + - + @@ -1987,12 +1976,12 @@ z - + - + @@ -2002,12 +1991,12 @@ z - + - + @@ -2017,12 +2006,12 @@ z - + - + @@ -2032,29 +2021,53 @@ z - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + @@ -2064,12 +2077,12 @@ z - + - + - + @@ -2079,12 +2092,12 @@ z - + - + - + @@ -2094,12 +2107,12 @@ z - + - + - + @@ -2109,12 +2122,12 @@ z - + - + - + @@ -2124,59 +2137,238 @@ z - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2184,14 +2376,14 @@ z - + - + - + - + @@ -2199,14 +2391,14 @@ z - + - + - + - + @@ -2214,14 +2406,14 @@ z - + - + - + - + @@ -2229,14 +2421,14 @@ z - + - + - + - + @@ -2244,31 +2436,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2276,14 +2479,14 @@ z - + - + - + - + @@ -2291,14 +2494,14 @@ z - + - + - + - + @@ -2306,14 +2509,14 @@ z - + - + - + - + @@ -2321,14 +2524,14 @@ z - + - + - + - + @@ -2336,61 +2539,190 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2398,14 +2730,14 @@ z - + - + - + - + @@ -2413,14 +2745,14 @@ z - + - + - + - + @@ -2428,14 +2760,14 @@ z - + - + - + - + @@ -2443,14 +2775,14 @@ z - + - + - + - + @@ -2458,31 +2790,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2490,14 +2846,14 @@ z - + - + - + - + @@ -2505,14 +2861,14 @@ z - + - + - + - + @@ -2520,14 +2876,14 @@ z - + - + - + - + @@ -2535,14 +2891,14 @@ z - + - + - + - + @@ -2550,61 +2906,427 @@ z - + - + - + - + - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2612,14 +3334,14 @@ z - + - + - + - + @@ -2627,14 +3349,14 @@ z - + - + - + - + @@ -2642,14 +3364,14 @@ z - + - + - + - + @@ -2657,14 +3379,14 @@ z - + - + - + - + @@ -2672,31 +3394,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2704,14 +3437,14 @@ z - + - + - + - + @@ -2719,14 +3452,14 @@ z - + - + - + - + @@ -2734,14 +3467,14 @@ z - + - + - + - + @@ -2749,14 +3482,14 @@ z - + - + - + - + @@ -2764,61 +3497,955 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2826,14 +4453,14 @@ z - + - + - + - + @@ -2841,14 +4468,14 @@ z - + - + - + - + @@ -2856,14 +4483,14 @@ z - + - + - + - + @@ -2871,14 +4498,14 @@ z - + - + - + - + @@ -2886,31 +4513,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2918,14 +4569,14 @@ z - + - + - + - + @@ -2933,14 +4584,14 @@ z - + - + - + - + @@ -2948,14 +4599,14 @@ z - + - + - + - + @@ -2963,14 +4614,14 @@ z - + - + - + - + @@ -2978,61 +4629,468 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3040,14 +5098,14 @@ z - + - + - + - + @@ -3055,14 +5113,14 @@ z - + - + - + - + @@ -3070,14 +5128,14 @@ z - + - + - + - + @@ -3085,14 +5143,14 @@ z - + - + - + - + @@ -3100,31 +5158,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3132,14 +5201,14 @@ z - + - + - + - + @@ -3147,14 +5216,14 @@ z - + - + - + - + @@ -3162,14 +5231,14 @@ z - + - + - + - + @@ -3177,14 +5246,14 @@ z - + - + - + - + @@ -3192,61 +5261,703 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3254,14 +5965,14 @@ z - + - + - + - + @@ -3269,14 +5980,14 @@ z - + - + - + - + @@ -3284,14 +5995,14 @@ z - + - + - + - + @@ -3299,14 +6010,14 @@ z - + - + - + - + @@ -3314,31 +6025,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3346,14 +6081,14 @@ z - + - + - + - + @@ -3361,14 +6096,14 @@ z - + - + - + - + @@ -3376,14 +6111,14 @@ z - + - + - + - + @@ -3391,14 +6126,14 @@ z - + - + - + - + @@ -3406,61 +6141,433 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - + + + + - - + - + - + - + - + @@ -3468,14 +6575,14 @@ z - + - + - + - + @@ -3483,14 +6590,14 @@ z - + - + - + - + @@ -3498,14 +6605,14 @@ z - + - + - + - + @@ -3513,14 +6620,14 @@ z - + - + - + - + @@ -3528,31 +6635,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3560,14 +6678,14 @@ z - + - + - + - + @@ -3575,14 +6693,14 @@ z - + - + - + - + @@ -3590,14 +6708,14 @@ z - + - + - + - + @@ -3605,14 +6723,14 @@ z - + - + - + - + @@ -3620,61 +6738,944 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3682,14 +7683,14 @@ z - + - + - + - + @@ -3697,14 +7698,14 @@ z - + - + - + - + @@ -3712,14 +7713,14 @@ z - + - + - + - + @@ -3727,14 +7728,14 @@ z - + - + - + - + @@ -3742,31 +7743,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3774,14 +7799,14 @@ z - + - + - + - + @@ -3789,14 +7814,14 @@ z - + - + - + - + @@ -3804,14 +7829,14 @@ z - + - + - + - + @@ -3819,14 +7844,14 @@ z - + - + - + - + @@ -3834,61 +7859,502 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3896,14 +8362,14 @@ z - + - + - + - + @@ -3911,14 +8377,14 @@ z - + - + - + - + @@ -3926,14 +8392,14 @@ z - + - + - + - + @@ -3941,14 +8407,14 @@ z - + - + - + - + @@ -3956,31 +8422,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3988,14 +8465,14 @@ z - + - + - + - + @@ -4003,14 +8480,14 @@ z - + - + - + - + @@ -4018,14 +8495,14 @@ z - + - + - + - + @@ -4033,14 +8510,14 @@ z - + - + - + - + @@ -4048,61 +8525,1376 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -4110,14 +9902,14 @@ z - + - + - + - + @@ -4125,14 +9917,14 @@ z - + - + - + - + @@ -4140,14 +9932,14 @@ z - + - + - + - + @@ -4155,14 +9947,14 @@ z - + - + - + - + @@ -4170,31 +9962,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -4202,14 +10018,14 @@ z - + - + - + - + @@ -4217,14 +10033,14 @@ z - + - + - + - + @@ -4232,14 +10048,14 @@ z - + - + - + - + @@ -4247,14 +10063,14 @@ z - + - + - + - + @@ -4262,61 +10078,424 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -4324,14 +10503,14 @@ z - + - + - + - + @@ -4339,14 +10518,14 @@ z - + - + - + - + @@ -4354,14 +10533,14 @@ z - + - + - + - + @@ -4369,14 +10548,14 @@ z - + - + - + - + @@ -4384,31 +10563,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -4416,14 +10606,14 @@ z - + - + - + - + @@ -4431,14 +10621,14 @@ z - + - + - + - + @@ -4446,14 +10636,14 @@ z - + - + - + - + @@ -4461,14 +10651,14 @@ z - + - + - + - + @@ -4476,55 +10666,1115 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + diff --git a/model_selection/test_results/roc_pr_curves/post_UNDER.svg b/model_selection/test_results/roc_pr_curves/post_UNDER.svg index d7c6b5c..e88ca12 100644 --- a/model_selection/test_results/roc_pr_curves/post_UNDER.svg +++ b/model_selection/test_results/roc_pr_curves/post_UNDER.svg @@ -1,12 +1,12 @@ - + - 2024-05-13T11:18:47.308454 + 2024-05-13T11:24:57.837020 image/svg+xml @@ -22,18 +22,18 @@ - @@ -41,17 +41,17 @@ z - - + - + - + - + - + - + - + - + - + - + - + - + - + - - + - + @@ -574,12 +574,12 @@ L -3.5 0 - + - + @@ -589,12 +589,12 @@ L -3.5 0 - + - + @@ -604,12 +604,12 @@ L -3.5 0 - + - + @@ -619,12 +619,12 @@ L -3.5 0 - + - + @@ -634,12 +634,12 @@ L -3.5 0 - + - + @@ -648,7 +648,7 @@ L -3.5 0 - + - + - - - - - + - @@ -871,10 +871,10 @@ z - @@ -882,12 +882,12 @@ z - + - + @@ -897,12 +897,12 @@ z - + - + @@ -912,12 +912,12 @@ z - + - + @@ -927,12 +927,12 @@ z - + - + @@ -942,12 +942,12 @@ z - + - + @@ -957,12 +957,12 @@ z - + - + @@ -971,7 +971,7 @@ z - + - + - + @@ -1023,12 +1023,12 @@ z - + - + @@ -1038,12 +1038,12 @@ z - + - + @@ -1053,12 +1053,12 @@ z - + - + @@ -1068,12 +1068,12 @@ z - + - + @@ -1083,12 +1083,12 @@ z - + - + @@ -1097,7 +1097,7 @@ z - + - + - - - - - + @@ -1182,10 +1182,10 @@ L 845.28 96.226511 - @@ -1193,12 +1193,12 @@ z - + - + @@ -1208,12 +1208,12 @@ z - + - + @@ -1223,12 +1223,12 @@ z - + - + @@ -1238,12 +1238,12 @@ z - + - + @@ -1253,12 +1253,12 @@ z - + - + @@ -1268,12 +1268,12 @@ z - + - + @@ -1282,7 +1282,7 @@ z - + @@ -1309,12 +1309,12 @@ z - + - + @@ -1324,12 +1324,12 @@ z - + - + @@ -1339,12 +1339,12 @@ z - + - + @@ -1354,12 +1354,12 @@ z - + - + @@ -1369,12 +1369,12 @@ z - + - + @@ -1384,12 +1384,12 @@ z - + - + @@ -1398,7 +1398,7 @@ z - + @@ -1421,123 +1421,122 @@ z - + - - - - - + @@ -1558,15 +1557,15 @@ L 420.171979 671.371511 - @@ -1574,10 +1573,10 @@ z - @@ -1585,12 +1584,12 @@ z - + - + @@ -1600,12 +1599,12 @@ z - + - + @@ -1615,12 +1614,12 @@ z - + - + @@ -1630,12 +1629,12 @@ z - + - + @@ -1645,12 +1644,12 @@ z - + - + @@ -1660,12 +1659,12 @@ z - + - + @@ -1674,7 +1673,7 @@ z - + @@ -1688,12 +1687,12 @@ z - + - + @@ -1703,12 +1702,12 @@ z - + - + @@ -1718,12 +1717,12 @@ z - + - + @@ -1733,12 +1732,12 @@ z - + - + @@ -1748,12 +1747,12 @@ z - + - + @@ -1763,12 +1762,12 @@ z - + - + @@ -1777,7 +1776,7 @@ z - + @@ -1791,183 +1790,187 @@ z - + - - - - - + @@ -1988,10 +1991,10 @@ L 845.28 671.371511 - @@ -1999,12 +2002,12 @@ z - + - + @@ -2014,12 +2017,12 @@ z - + - + @@ -2029,12 +2032,12 @@ z - + - + @@ -2044,12 +2047,12 @@ z - + - + @@ -2059,12 +2062,12 @@ z - + - + @@ -2074,29 +2077,53 @@ z - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + @@ -2106,12 +2133,12 @@ z - + - + - + @@ -2121,12 +2148,12 @@ z - + - + - + @@ -2136,12 +2163,12 @@ z - + - + - + @@ -2151,12 +2178,12 @@ z - + - + - + @@ -2166,59 +2193,213 @@ z - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2226,14 +2407,14 @@ z - + - + - + - + @@ -2241,14 +2422,14 @@ z - + - + - + - + @@ -2256,14 +2437,14 @@ z - + - + - + - + @@ -2271,14 +2452,14 @@ z - + - + - + - + @@ -2286,31 +2467,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2318,14 +2510,14 @@ z - + - + - + - + @@ -2333,14 +2525,14 @@ z - + - + - + - + @@ -2348,14 +2540,14 @@ z - + - + - + - + @@ -2363,14 +2555,14 @@ z - + - + - + - + @@ -2378,61 +2570,144 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2440,14 +2715,14 @@ z - + - + - + - + @@ -2455,14 +2730,14 @@ z - + - + - + - + @@ -2470,14 +2745,14 @@ z - + - + - + - + @@ -2485,14 +2760,14 @@ z - + - + - + - + @@ -2500,31 +2775,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2532,14 +2831,14 @@ z - + - + - + - + @@ -2547,14 +2846,14 @@ z - + - + - + - + @@ -2562,14 +2861,14 @@ z - + - + - + - + @@ -2577,14 +2876,14 @@ z - + - + - + - + @@ -2592,61 +2891,421 @@ z - + - + - + - + - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2654,14 +3313,14 @@ z - + - + - + - + @@ -2669,14 +3328,14 @@ z - + - + - + - + @@ -2684,14 +3343,14 @@ z - + - + - + - + @@ -2699,14 +3358,14 @@ z - + - + - + - + @@ -2714,31 +3373,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2746,14 +3416,14 @@ z - + - + - + - + @@ -2761,14 +3431,14 @@ z - + - + - + - + @@ -2776,14 +3446,14 @@ z - + - + - + - + @@ -2791,14 +3461,14 @@ z - + - + - + - + @@ -2806,61 +3476,877 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2868,14 +4354,14 @@ z - + - + - + - + @@ -2883,14 +4369,14 @@ z - + - + - + - + @@ -2898,14 +4384,14 @@ z - + - + - + - + @@ -2913,14 +4399,14 @@ z - + - + - + - + @@ -2928,31 +4414,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2960,14 +4470,14 @@ z - + - + - + - + @@ -2975,14 +4485,14 @@ z - + - + - + - + @@ -2990,14 +4500,14 @@ z - + - + - + - + @@ -3005,14 +4515,14 @@ z - + - + - + - + @@ -3020,61 +4530,448 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3082,14 +4979,14 @@ z - + - + - + - + @@ -3097,14 +4994,14 @@ z - + - + - + - + @@ -3112,14 +5009,14 @@ z - + - + - + - + @@ -3127,14 +5024,14 @@ z - + - + - + - + @@ -3142,31 +5039,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3174,14 +5082,14 @@ z - + - + - + - + @@ -3189,14 +5097,14 @@ z - + - + - + - + @@ -3204,14 +5112,14 @@ z - + - + - + - + @@ -3219,14 +5127,14 @@ z - + - + - + - + @@ -3234,61 +5142,717 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3296,14 +5860,14 @@ z - + - + - + - + @@ -3311,14 +5875,14 @@ z - + - + - + - + @@ -3326,14 +5890,14 @@ z - + - + - + - + @@ -3341,14 +5905,14 @@ z - + - + - + - + @@ -3356,31 +5920,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3388,14 +5976,14 @@ z - + - + - + - + @@ -3403,14 +5991,14 @@ z - + - + - + - + @@ -3418,14 +6006,14 @@ z - + - + - + - + @@ -3433,14 +6021,14 @@ z - + - + - + - + @@ -3448,61 +6036,451 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - + + + + - - + - + - + - + - + @@ -3510,14 +6488,14 @@ z - + - + - + - + @@ -3525,14 +6503,14 @@ z - + - + - + - + @@ -3540,14 +6518,14 @@ z - + - + - + - + @@ -3555,14 +6533,14 @@ z - + - + - + - + @@ -3570,31 +6548,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3602,14 +6591,14 @@ z - + - + - + - + @@ -3617,14 +6606,14 @@ z - + - + - + - + @@ -3632,14 +6621,14 @@ z - + - + - + - + @@ -3647,14 +6636,14 @@ z - + - + - + - + @@ -3662,61 +6651,965 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3724,14 +7617,14 @@ z - + - + - + - + @@ -3739,14 +7632,14 @@ z - + - + - + - + @@ -3754,14 +7647,14 @@ z - + - + - + - + @@ -3769,14 +7662,14 @@ z - + - + - + - + @@ -3784,31 +7677,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3816,14 +7733,14 @@ z - + - + - + - + @@ -3831,14 +7748,14 @@ z - + - + - + - + @@ -3846,14 +7763,14 @@ z - + - + - + - + @@ -3861,14 +7778,14 @@ z - + - + - + - + @@ -3876,61 +7793,490 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3938,14 +8284,14 @@ z - + - + - + - + @@ -3953,14 +8299,14 @@ z - + - + - + - + @@ -3968,14 +8314,14 @@ z - + - + - + - + @@ -3983,14 +8329,14 @@ z - + - + - + - + @@ -3998,31 +8344,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -4030,14 +8387,14 @@ z - + - + - + - + @@ -4045,14 +8402,14 @@ z - + - + - + - + @@ -4060,14 +8417,14 @@ z - + - + - + - + @@ -4075,14 +8432,14 @@ z - + - + - + - + @@ -4090,61 +8447,1361 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -4152,14 +9809,14 @@ z - + - + - + - + @@ -4167,14 +9824,14 @@ z - + - + - + - + @@ -4182,14 +9839,14 @@ z - + - + - + - + @@ -4197,14 +9854,14 @@ z - + - + - + - + @@ -4212,31 +9869,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -4244,14 +9925,14 @@ z - + - + - + - + @@ -4259,14 +9940,14 @@ z - + - + - + - + @@ -4274,14 +9955,14 @@ z - + - + - + - + @@ -4289,14 +9970,14 @@ z - + - + - + - + @@ -4304,61 +9985,441 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -4366,14 +10427,14 @@ z - + - + - + - + @@ -4381,14 +10442,14 @@ z - + - + - + - + @@ -4396,14 +10457,14 @@ z - + - + - + - + @@ -4411,14 +10472,14 @@ z - + - + - + - + @@ -4426,31 +10487,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -4458,14 +10530,14 @@ z - + - + - + - + @@ -4473,14 +10545,14 @@ z - + - + - + - + @@ -4488,14 +10560,14 @@ z - + - + - + - + @@ -4503,14 +10575,14 @@ z - + - + - + - + @@ -4518,55 +10590,1384 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + diff --git a/model_selection/test_results/roc_pr_curves/pre_ORIG.svg b/model_selection/test_results/roc_pr_curves/pre_ORIG.svg index 1c82612..af52e5d 100644 --- a/model_selection/test_results/roc_pr_curves/pre_ORIG.svg +++ b/model_selection/test_results/roc_pr_curves/pre_ORIG.svg @@ -1,12 +1,12 @@ - + - 2024-05-13T11:18:31.317291 + 2024-05-13T11:23:43.264420 image/svg+xml @@ -22,18 +22,18 @@ - @@ -41,17 +41,17 @@ z - - + - + - + - + - + - + - + - + - + - + - + - + - + - - + - + @@ -574,12 +574,12 @@ L -3.5 0 - + - + @@ -589,12 +589,12 @@ L -3.5 0 - + - + @@ -604,12 +604,12 @@ L -3.5 0 - + - + @@ -619,12 +619,12 @@ L -3.5 0 - + - + @@ -634,12 +634,12 @@ L -3.5 0 - + - + @@ -648,7 +648,7 @@ L -3.5 0 - + - + - - - - - + - @@ -872,10 +871,10 @@ z - @@ -883,12 +882,12 @@ z - + - + @@ -898,12 +897,12 @@ z - + - + @@ -913,12 +912,12 @@ z - + - + @@ -928,12 +927,12 @@ z - + - + @@ -943,12 +942,12 @@ z - + - + @@ -958,12 +957,12 @@ z - + - + @@ -972,7 +971,7 @@ z - + - + - + @@ -1024,12 +1023,12 @@ z - + - + @@ -1039,12 +1038,12 @@ z - + - + @@ -1054,12 +1053,12 @@ z - + - + @@ -1069,12 +1068,12 @@ z - + - + @@ -1084,12 +1083,12 @@ z - + - + @@ -1098,7 +1097,7 @@ z - + - + - - - - - + @@ -1185,10 +1182,10 @@ L 845.28 96.226511 - @@ -1196,12 +1193,12 @@ z - + - + @@ -1211,12 +1208,12 @@ z - + - + @@ -1226,12 +1223,12 @@ z - + - + @@ -1241,12 +1238,12 @@ z - + - + @@ -1256,12 +1253,12 @@ z - + - + @@ -1271,12 +1268,12 @@ z - + - + @@ -1285,7 +1282,7 @@ z - + @@ -1312,12 +1309,12 @@ z - + - + @@ -1327,12 +1324,12 @@ z - + - + @@ -1342,12 +1339,12 @@ z - + - + @@ -1357,12 +1354,12 @@ z - + - + @@ -1372,12 +1369,12 @@ z - + - + @@ -1387,12 +1384,12 @@ z - + - + @@ -1401,7 +1398,7 @@ z - + @@ -1424,103 +1421,102 @@ z - + - - - - - + @@ -1541,15 +1537,15 @@ L 420.171979 671.371511 - @@ -1557,10 +1553,10 @@ z - @@ -1568,12 +1564,12 @@ z - + - + @@ -1583,12 +1579,12 @@ z - + - + @@ -1598,12 +1594,12 @@ z - + - + @@ -1613,12 +1609,12 @@ z - + - + @@ -1628,12 +1624,12 @@ z - + - + @@ -1643,12 +1639,12 @@ z - + - + @@ -1657,7 +1653,7 @@ z - + @@ -1671,12 +1667,12 @@ z - + - + @@ -1686,12 +1682,12 @@ z - + - + @@ -1701,12 +1697,12 @@ z - + - + @@ -1716,12 +1712,12 @@ z - + - + @@ -1731,12 +1727,12 @@ z - + - + @@ -1746,12 +1742,12 @@ z - + - + @@ -1760,7 +1756,7 @@ z - + @@ -1774,147 +1770,134 @@ z - + - - - - - + @@ -1935,10 +1918,10 @@ L 845.28 671.371511 - @@ -1946,12 +1929,12 @@ z - + - + @@ -1961,12 +1944,12 @@ z - + - + @@ -1976,12 +1959,12 @@ z - + - + @@ -1991,12 +1974,12 @@ z - + - + @@ -2006,12 +1989,12 @@ z - + - + @@ -2021,29 +2004,53 @@ z - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + @@ -2053,12 +2060,12 @@ z - + - + - + @@ -2068,12 +2075,12 @@ z - + - + - + @@ -2083,12 +2090,12 @@ z - + - + - + @@ -2098,12 +2105,12 @@ z - + - + - + @@ -2113,59 +2120,211 @@ z - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2173,14 +2332,14 @@ z - + - + - + - + @@ -2188,14 +2347,14 @@ z - + - + - + - + @@ -2203,14 +2362,14 @@ z - + - + - + - + @@ -2218,14 +2377,14 @@ z - + - + - + - + @@ -2233,31 +2392,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2265,14 +2435,14 @@ z - + - + - + - + @@ -2280,14 +2450,14 @@ z - + - + - + - + @@ -2295,14 +2465,14 @@ z - + - + - + - + @@ -2310,14 +2480,14 @@ z - + - + - + - + @@ -2325,61 +2495,136 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2387,14 +2632,14 @@ z - + - + - + - + @@ -2402,14 +2647,14 @@ z - + - + - + - + @@ -2417,14 +2662,14 @@ z - + - + - + - + @@ -2432,14 +2677,14 @@ z - + - + - + - + @@ -2447,31 +2692,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2479,14 +2748,14 @@ z - + - + - + - + @@ -2494,14 +2763,14 @@ z - + - + - + - + @@ -2509,14 +2778,14 @@ z - + - + - + - + @@ -2524,14 +2793,14 @@ z - + - + - + - + @@ -2539,61 +2808,552 @@ z - + - + - + - + - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2601,14 +3361,14 @@ z - + - + - + - + @@ -2616,14 +3376,14 @@ z - + - + - + - + @@ -2631,14 +3391,14 @@ z - + - + - + - + @@ -2646,14 +3406,14 @@ z - + - + - + - + @@ -2661,31 +3421,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2693,14 +3464,14 @@ z - + - + - + - + @@ -2708,14 +3479,14 @@ z - + - + - + - + @@ -2723,14 +3494,14 @@ z - + - + - + - + @@ -2738,14 +3509,14 @@ z - + - + - + - + @@ -2753,61 +3524,550 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2815,14 +4075,14 @@ z - + - + - + - + @@ -2830,14 +4090,14 @@ z - + - + - + - + @@ -2845,14 +4105,14 @@ z - + - + - + - + @@ -2860,14 +4120,14 @@ z - + - + - + - + @@ -2875,31 +4135,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2907,14 +4191,14 @@ z - + - + - + - + @@ -2922,14 +4206,14 @@ z - + - + - + - + @@ -2937,14 +4221,14 @@ z - + - + - + - + @@ -2952,14 +4236,14 @@ z - + - + - + - + @@ -2967,61 +4251,595 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3029,14 +4847,14 @@ z - + - + - + - + @@ -3044,14 +4862,14 @@ z - + - + - + - + @@ -3059,14 +4877,14 @@ z - + - + - + - + @@ -3074,14 +4892,14 @@ z - + - + - + - + @@ -3089,31 +4907,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3121,14 +4950,14 @@ z - + - + - + - + @@ -3136,14 +4965,14 @@ z - + - + - + - + @@ -3151,14 +4980,14 @@ z - + - + - + - + @@ -3166,14 +4995,14 @@ z - + - + - + - + @@ -3181,61 +5010,601 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3243,14 +5612,14 @@ z - + - + - + - + @@ -3258,14 +5627,14 @@ z - + - + - + - + @@ -3273,14 +5642,14 @@ z - + - + - + - + @@ -3288,14 +5657,14 @@ z - + - + - + - + @@ -3303,31 +5672,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3335,14 +5728,14 @@ z - + - + - + - + @@ -3350,14 +5743,14 @@ z - + - + - + - + @@ -3365,14 +5758,14 @@ z - + - + - + - + @@ -3380,14 +5773,14 @@ z - + - + - + - + @@ -3395,61 +5788,615 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - + + + + - - + - + - + - + - + @@ -3457,14 +6404,14 @@ z - + - + - + - + @@ -3472,14 +6419,14 @@ z - + - + - + - + @@ -3487,14 +6434,14 @@ z - + - + - + - + @@ -3502,14 +6449,14 @@ z - + - + - + - + @@ -3517,31 +6464,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3549,14 +6507,14 @@ z - + - + - + - + @@ -3564,14 +6522,14 @@ z - + - + - + - + @@ -3579,14 +6537,14 @@ z - + - + - + - + @@ -3594,14 +6552,14 @@ z - + - + - + - + @@ -3609,61 +6567,626 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3671,14 +7194,14 @@ z - + - + - + - + @@ -3686,14 +7209,14 @@ z - + - + - + - + @@ -3701,14 +7224,14 @@ z - + - + - + - + @@ -3716,14 +7239,14 @@ z - + - + - + - + @@ -3731,31 +7254,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3763,14 +7310,14 @@ z - + - + - + - + @@ -3778,14 +7325,14 @@ z - + - + - + - + @@ -3793,14 +7340,14 @@ z - + - + - + - + @@ -3808,14 +7355,14 @@ z - + - + - + - + @@ -3823,61 +7370,668 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3885,14 +8039,14 @@ z - + - + - + - + @@ -3900,14 +8054,14 @@ z - + - + - + - + @@ -3915,14 +8069,14 @@ z - + - + - + - + @@ -3930,14 +8084,14 @@ z - + - + - + - + @@ -3945,31 +8099,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3977,14 +8142,14 @@ z - + - + - + - + @@ -3992,14 +8157,14 @@ z - + - + - + - + @@ -4007,14 +8172,14 @@ z - + - + - + - + @@ -4022,14 +8187,14 @@ z - + - + - + - + @@ -4037,61 +8202,1561 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -4099,14 +9764,14 @@ z - + - + - + - + @@ -4114,14 +9779,14 @@ z - + - + - + - + @@ -4129,14 +9794,14 @@ z - + - + - + - + @@ -4144,14 +9809,14 @@ z - + - + - + - + @@ -4159,31 +9824,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -4191,14 +9880,14 @@ z - + - + - + - + @@ -4206,14 +9895,14 @@ z - + - + - + - + @@ -4221,14 +9910,14 @@ z - + - + - + - + @@ -4236,14 +9925,14 @@ z - + - + - + - + @@ -4251,61 +9940,580 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -4313,14 +10521,14 @@ z - + - + - + - + @@ -4328,14 +10536,14 @@ z - + - + - + - + @@ -4343,14 +10551,14 @@ z - + - + - + - + @@ -4358,14 +10566,14 @@ z - + - + - + - + @@ -4373,31 +10581,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -4405,14 +10624,14 @@ z - + - + - + - + @@ -4420,14 +10639,14 @@ z - + - + - + - + @@ -4435,14 +10654,14 @@ z - + - + - + - + @@ -4450,14 +10669,14 @@ z - + - + - + - + @@ -4465,55 +10684,950 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + diff --git a/model_selection/test_results/roc_pr_curves/pre_ORIG_CW.svg b/model_selection/test_results/roc_pr_curves/pre_ORIG_CW.svg index cb693fa..8df6efb 100644 --- a/model_selection/test_results/roc_pr_curves/pre_ORIG_CW.svg +++ b/model_selection/test_results/roc_pr_curves/pre_ORIG_CW.svg @@ -1,12 +1,12 @@ - + - 2024-05-13T11:18:35.032952 + 2024-05-13T11:23:51.952603 image/svg+xml @@ -22,18 +22,18 @@ - @@ -41,17 +41,17 @@ z - - + - + - + - + - + - + - + - + - + - + - + - + - + - - + - + @@ -574,12 +574,12 @@ L -3.5 0 - + - + @@ -589,12 +589,12 @@ L -3.5 0 - + - + @@ -604,12 +604,12 @@ L -3.5 0 - + - + @@ -619,12 +619,12 @@ L -3.5 0 - + - + @@ -634,12 +634,12 @@ L -3.5 0 - + - + @@ -648,7 +648,7 @@ L -3.5 0 - + - + - - - - - + - @@ -872,10 +872,10 @@ z - @@ -883,12 +883,12 @@ z - + - + @@ -898,12 +898,12 @@ z - + - + @@ -913,12 +913,12 @@ z - + - + @@ -928,12 +928,12 @@ z - + - + @@ -943,12 +943,12 @@ z - + - + @@ -958,12 +958,12 @@ z - + - + @@ -972,7 +972,7 @@ z - + - + - + @@ -1024,12 +1024,12 @@ z - + - + @@ -1039,12 +1039,12 @@ z - + - + @@ -1054,12 +1054,12 @@ z - + - + @@ -1069,12 +1069,12 @@ z - + - + @@ -1084,12 +1084,12 @@ z - + - + @@ -1098,7 +1098,7 @@ z - + - + - - - - - + @@ -1185,10 +1185,10 @@ L 845.28 96.084011 - @@ -1196,12 +1196,12 @@ z - + - + @@ -1211,12 +1211,12 @@ z - + - + @@ -1226,12 +1226,12 @@ z - + - + @@ -1241,12 +1241,12 @@ z - + - + @@ -1256,12 +1256,12 @@ z - + - + @@ -1271,12 +1271,12 @@ z - + - + @@ -1285,7 +1285,7 @@ z - + @@ -1312,12 +1312,12 @@ z - + - + @@ -1327,12 +1327,12 @@ z - + - + @@ -1342,12 +1342,12 @@ z - + - + @@ -1357,12 +1357,12 @@ z - + - + @@ -1372,12 +1372,12 @@ z - + - + @@ -1387,12 +1387,12 @@ z - + - + @@ -1401,7 +1401,7 @@ z - + @@ -1424,150 +1424,151 @@ z - + - - - - - + @@ -1588,15 +1589,15 @@ L 420.171979 670.944011 - @@ -1604,10 +1605,10 @@ z - @@ -1615,12 +1616,12 @@ z - + - + @@ -1630,12 +1631,12 @@ z - + - + @@ -1645,12 +1646,12 @@ z - + - + @@ -1660,12 +1661,12 @@ z - + - + @@ -1675,12 +1676,12 @@ z - + - + @@ -1690,12 +1691,12 @@ z - + - + @@ -1704,7 +1705,7 @@ z - + @@ -1718,12 +1719,12 @@ z - + - + @@ -1733,12 +1734,12 @@ z - + - + @@ -1748,12 +1749,12 @@ z - + - + @@ -1763,12 +1764,12 @@ z - + - + @@ -1778,12 +1779,12 @@ z - + - + @@ -1793,12 +1794,12 @@ z - + - + @@ -1807,7 +1808,7 @@ z - + @@ -1821,205 +1822,188 @@ z - + - - - - - + @@ -2040,10 +2024,10 @@ L 845.28 670.944011 - @@ -2051,12 +2035,12 @@ z - + - + @@ -2066,12 +2050,12 @@ z - + - + @@ -2081,12 +2065,12 @@ z - + - + @@ -2096,12 +2080,12 @@ z - + - + @@ -2111,12 +2095,12 @@ z - + - + @@ -2126,29 +2110,53 @@ z - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + @@ -2158,12 +2166,12 @@ z - + - + - + @@ -2173,12 +2181,12 @@ z - + - + - + @@ -2188,12 +2196,12 @@ z - + - + - + @@ -2203,12 +2211,12 @@ z - + - + - + @@ -2218,59 +2226,218 @@ z - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2278,14 +2445,14 @@ z - + - + - + - + @@ -2293,14 +2460,14 @@ z - + - + - + - + @@ -2308,14 +2475,14 @@ z - + - + - + - + @@ -2323,14 +2490,14 @@ z - + - + - + - + @@ -2338,31 +2505,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2370,14 +2548,14 @@ z - + - + - + - + @@ -2385,14 +2563,14 @@ z - + - + - + - + @@ -2400,14 +2578,14 @@ z - + - + - + - + @@ -2415,14 +2593,14 @@ z - + - + - + - + @@ -2430,61 +2608,150 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2492,14 +2759,14 @@ z - + - + - + - + @@ -2507,14 +2774,14 @@ z - + - + - + - + @@ -2522,14 +2789,14 @@ z - + - + - + - + @@ -2537,14 +2804,14 @@ z - + - + - + - + @@ -2552,31 +2819,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2584,14 +2875,14 @@ z - + - + - + - + @@ -2599,14 +2890,14 @@ z - + - + - + - + @@ -2614,14 +2905,14 @@ z - + - + - + - + @@ -2629,14 +2920,14 @@ z - + - + - + - + @@ -2644,61 +2935,286 @@ z - + - + - + - + - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2706,14 +3222,14 @@ z - + - + - + - + @@ -2721,14 +3237,14 @@ z - + - + - + - + @@ -2736,14 +3252,14 @@ z - + - + - + - + @@ -2751,14 +3267,14 @@ z - + - + - + - + @@ -2766,31 +3282,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2798,14 +3325,14 @@ z - + - + - + - + @@ -2813,14 +3340,14 @@ z - + - + - + - + @@ -2828,14 +3355,14 @@ z - + - + - + - + @@ -2843,14 +3370,14 @@ z - + - + - + - + @@ -2858,61 +3385,255 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + - - + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2920,14 +3641,14 @@ z - + - + - + - + @@ -2935,14 +3656,14 @@ z - + - + - + - + @@ -2950,14 +3671,14 @@ z - + - + - + - + @@ -2965,14 +3686,14 @@ z - + - + - + - + @@ -2980,31 +3701,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3012,14 +3757,14 @@ z - + - + - + - + @@ -3027,14 +3772,14 @@ z - + - + - + - + @@ -3042,14 +3787,14 @@ z - + - + - + - + @@ -3057,14 +3802,14 @@ z - + - + - + - + @@ -3072,61 +3817,601 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3134,14 +4419,14 @@ z - + - + - + - + @@ -3149,14 +4434,14 @@ z - + - + - + - + @@ -3164,14 +4449,14 @@ z - + - + - + - + @@ -3179,14 +4464,14 @@ z - + - + - + - + @@ -3194,31 +4479,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3226,14 +4522,14 @@ z - + - + - + - + @@ -3241,14 +4537,14 @@ z - + - + - + - + @@ -3256,14 +4552,14 @@ z - + - + - + - + @@ -3271,14 +4567,14 @@ z - + - + - + - + @@ -3286,61 +4582,643 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3348,14 +5226,14 @@ z - + - + - + - + @@ -3363,14 +5241,14 @@ z - + - + - + - + @@ -3378,14 +5256,14 @@ z - + - + - + - + @@ -3393,14 +5271,14 @@ z - + - + - + - + @@ -3408,31 +5286,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3440,14 +5342,14 @@ z - + - + - + - + @@ -3455,14 +5357,14 @@ z - + - + - + - + @@ -3470,14 +5372,14 @@ z - + - + - + - + @@ -3485,14 +5387,14 @@ z - + - + - + - + @@ -3500,61 +5402,688 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3562,14 +6091,14 @@ z - + - + - + - + @@ -3577,14 +6106,14 @@ z - + - + - + - + @@ -3592,14 +6121,14 @@ z - + - + - + - + @@ -3607,14 +6136,14 @@ z - + - + - + - + @@ -3622,31 +6151,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3654,14 +6194,14 @@ z - + - + - + - + @@ -3669,14 +6209,14 @@ z - + - + - + - + @@ -3684,14 +6224,14 @@ z - + - + - + - + @@ -3699,14 +6239,14 @@ z - + - + - + - + @@ -3714,55 +6254,1313 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + diff --git a/model_selection/test_results/roc_pr_curves/pre_OVER.svg b/model_selection/test_results/roc_pr_curves/pre_OVER.svg index bad4cc5..ca9763d 100644 --- a/model_selection/test_results/roc_pr_curves/pre_OVER.svg +++ b/model_selection/test_results/roc_pr_curves/pre_OVER.svg @@ -1,12 +1,12 @@ - + - 2024-05-13T11:18:38.769879 + 2024-05-13T11:24:14.810599 image/svg+xml @@ -22,18 +22,18 @@ - @@ -41,17 +41,17 @@ z - - + - + - + - + - + - + - + - + - + - + - + - + - + - - + - + @@ -574,12 +574,12 @@ L -3.5 0 - + - + @@ -589,12 +589,12 @@ L -3.5 0 - + - + @@ -604,12 +604,12 @@ L -3.5 0 - + - + @@ -619,12 +619,12 @@ L -3.5 0 - + - + @@ -634,12 +634,12 @@ L -3.5 0 - + - + @@ -648,7 +648,7 @@ L -3.5 0 - + - + - - - - - + - @@ -871,10 +871,10 @@ z - @@ -882,12 +882,12 @@ z - + - + @@ -897,12 +897,12 @@ z - + - + @@ -912,12 +912,12 @@ z - + - + @@ -927,12 +927,12 @@ z - + - + @@ -942,12 +942,12 @@ z - + - + @@ -957,12 +957,12 @@ z - + - + @@ -971,7 +971,7 @@ z - + - + - + @@ -1023,12 +1023,12 @@ z - + - + @@ -1038,12 +1038,12 @@ z - + - + @@ -1053,12 +1053,12 @@ z - + - + @@ -1068,12 +1068,12 @@ z - + - + @@ -1083,12 +1083,12 @@ z - + - + @@ -1097,7 +1097,7 @@ z - + - + - - - - - + @@ -1182,10 +1182,10 @@ L 845.28 96.226511 - @@ -1193,12 +1193,12 @@ z - + - + @@ -1208,12 +1208,12 @@ z - + - + @@ -1223,12 +1223,12 @@ z - + - + @@ -1238,12 +1238,12 @@ z - + - + @@ -1253,12 +1253,12 @@ z - + - + @@ -1268,12 +1268,12 @@ z - + - + @@ -1282,7 +1282,7 @@ z - + @@ -1309,12 +1309,12 @@ z - + - + @@ -1324,12 +1324,12 @@ z - + - + @@ -1339,12 +1339,12 @@ z - + - + @@ -1354,12 +1354,12 @@ z - + - + @@ -1369,12 +1369,12 @@ z - + - + @@ -1384,12 +1384,12 @@ z - + - + @@ -1398,7 +1398,7 @@ z - + @@ -1421,108 +1421,112 @@ z - + - - - - - + @@ -1543,15 +1547,15 @@ L 420.171979 671.371511 - @@ -1559,10 +1563,10 @@ z - @@ -1570,12 +1574,12 @@ z - + - + @@ -1585,12 +1589,12 @@ z - + - + @@ -1600,12 +1604,12 @@ z - + - + @@ -1615,12 +1619,12 @@ z - + - + @@ -1630,12 +1634,12 @@ z - + - + @@ -1645,12 +1649,12 @@ z - + - + @@ -1659,7 +1663,7 @@ z - + @@ -1673,12 +1677,12 @@ z - + - + @@ -1688,12 +1692,12 @@ z - + - + @@ -1703,12 +1707,12 @@ z - + - + @@ -1718,12 +1722,12 @@ z - + - + @@ -1733,12 +1737,12 @@ z - + - + @@ -1748,12 +1752,12 @@ z - + - + @@ -1762,7 +1766,7 @@ z - + @@ -1776,143 +1780,140 @@ z - + - - - - - + @@ -1933,10 +1934,10 @@ L 845.28 671.371511 - @@ -1944,12 +1945,12 @@ z - + - + @@ -1959,12 +1960,12 @@ z - + - + @@ -1974,12 +1975,12 @@ z - + - + @@ -1989,12 +1990,12 @@ z - + - + @@ -2004,12 +2005,12 @@ z - + - + @@ -2019,29 +2020,53 @@ z - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + @@ -2051,12 +2076,12 @@ z - + - + - + @@ -2066,12 +2091,12 @@ z - + - + - + @@ -2081,12 +2106,12 @@ z - + - + - + @@ -2096,12 +2121,12 @@ z - + - + - + @@ -2111,59 +2136,219 @@ z - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2171,14 +2356,14 @@ z - + - + - + - + @@ -2186,14 +2371,14 @@ z - + - + - + - + @@ -2201,14 +2386,14 @@ z - + - + - + - + @@ -2216,14 +2401,14 @@ z - + - + - + - + @@ -2231,31 +2416,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2263,14 +2459,14 @@ z - + - + - + - + @@ -2278,14 +2474,14 @@ z - + - + - + - + @@ -2293,14 +2489,14 @@ z - + - + - + - + @@ -2308,14 +2504,14 @@ z - + - + - + - + @@ -2323,61 +2519,152 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2385,14 +2672,14 @@ z - + - + - + - + @@ -2400,14 +2687,14 @@ z - + - + - + - + @@ -2415,14 +2702,14 @@ z - + - + - + - + @@ -2430,14 +2717,14 @@ z - + - + - + - + @@ -2445,31 +2732,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2477,14 +2788,14 @@ z - + - + - + - + @@ -2492,14 +2803,14 @@ z - + - + - + - + @@ -2507,14 +2818,14 @@ z - + - + - + - + @@ -2522,14 +2833,14 @@ z - + - + - + - + @@ -2537,61 +2848,595 @@ z - + - + - + - + - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2599,14 +3444,14 @@ z - + - + - + - + @@ -2614,14 +3459,14 @@ z - + - + - + - + @@ -2629,14 +3474,14 @@ z - + - + - + - + @@ -2644,14 +3489,14 @@ z - + - + - + - + @@ -2659,31 +3504,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2691,14 +3547,14 @@ z - + - + - + - + @@ -2706,14 +3562,14 @@ z - + - + - + - + @@ -2721,14 +3577,14 @@ z - + - + - + - + @@ -2736,14 +3592,14 @@ z - + - + - + - + @@ -2751,61 +3607,614 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2813,14 +4222,14 @@ z - + - + - + - + @@ -2828,14 +4237,14 @@ z - + - + - + - + @@ -2843,14 +4252,14 @@ z - + - + - + - + @@ -2858,14 +4267,14 @@ z - + - + - + - + @@ -2873,31 +4282,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2905,14 +4338,14 @@ z - + - + - + - + @@ -2920,14 +4353,14 @@ z - + - + - + - + @@ -2935,14 +4368,14 @@ z - + - + - + - + @@ -2950,14 +4383,14 @@ z - + - + - + - + @@ -2965,61 +4398,593 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3027,14 +4992,14 @@ z - + - + - + - + @@ -3042,14 +5007,14 @@ z - + - + - + - + @@ -3057,14 +5022,14 @@ z - + - + - + - + @@ -3072,14 +5037,14 @@ z - + - + - + - + @@ -3087,31 +5052,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3119,14 +5095,14 @@ z - + - + - + - + @@ -3134,14 +5110,14 @@ z - + - + - + - + @@ -3149,14 +5125,14 @@ z - + - + - + - + @@ -3164,14 +5140,14 @@ z - + - + - + - + @@ -3179,61 +5155,617 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3241,14 +5773,14 @@ z - + - + - + - + @@ -3256,14 +5788,14 @@ z - + - + - + - + @@ -3271,14 +5803,14 @@ z - + - + - + - + @@ -3286,14 +5818,14 @@ z - + - + - + - + @@ -3301,31 +5833,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3333,14 +5889,14 @@ z - + - + - + - + @@ -3348,14 +5904,14 @@ z - + - + - + - + @@ -3363,14 +5919,14 @@ z - + - + - + - + @@ -3378,14 +5934,14 @@ z - + - + - + - + @@ -3393,61 +5949,616 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - + + + + - - + - + - + - + - + @@ -3455,14 +6566,14 @@ z - + - + - + - + @@ -3470,14 +6581,14 @@ z - + - + - + - + @@ -3485,14 +6596,14 @@ z - + - + - + - + @@ -3500,14 +6611,14 @@ z - + - + - + - + @@ -3515,31 +6626,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3547,14 +6669,14 @@ z - + - + - + - + @@ -3562,14 +6684,14 @@ z - + - + - + - + @@ -3577,14 +6699,14 @@ z - + - + - + - + @@ -3592,14 +6714,14 @@ z - + - + - + - + @@ -3607,61 +6729,687 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3669,14 +7417,14 @@ z - + - + - + - + @@ -3684,14 +7432,14 @@ z - + - + - + - + @@ -3699,14 +7447,14 @@ z - + - + - + - + @@ -3714,14 +7462,14 @@ z - + - + - + - + @@ -3729,31 +7477,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3761,14 +7533,14 @@ z - + - + - + - + @@ -3776,14 +7548,14 @@ z - + - + - + - + @@ -3791,14 +7563,14 @@ z - + - + - + - + @@ -3806,14 +7578,14 @@ z - + - + - + - + @@ -3821,61 +7593,676 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3883,14 +8270,14 @@ z - + - + - + - + @@ -3898,14 +8285,14 @@ z - + - + - + - + @@ -3913,14 +8300,14 @@ z - + - + - + - + @@ -3928,14 +8315,14 @@ z - + - + - + - + @@ -3943,31 +8330,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3975,14 +8373,14 @@ z - + - + - + - + @@ -3990,14 +8388,14 @@ z - + - + - + - + @@ -4005,14 +8403,14 @@ z - + - + - + - + @@ -4020,14 +8418,14 @@ z - + - + - + - + @@ -4035,61 +8433,1334 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -4097,14 +9768,14 @@ z - + - + - + - + @@ -4112,14 +9783,14 @@ z - + - + - + - + @@ -4127,14 +9798,14 @@ z - + - + - + - + @@ -4142,14 +9813,14 @@ z - + - + - + - + @@ -4157,31 +9828,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -4189,14 +9884,14 @@ z - + - + - + - + @@ -4204,14 +9899,14 @@ z - + - + - + - + @@ -4219,14 +9914,14 @@ z - + - + - + - + @@ -4234,14 +9929,14 @@ z - + - + - + - + @@ -4249,61 +9944,639 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -4311,14 +10584,14 @@ z - + - + - + - + @@ -4326,14 +10599,14 @@ z - + - + - + - + @@ -4341,14 +10614,14 @@ z - + - + - + - + @@ -4356,14 +10629,14 @@ z - + - + - + - + @@ -4371,31 +10644,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -4403,14 +10687,14 @@ z - + - + - + - + @@ -4418,14 +10702,14 @@ z - + - + - + - + @@ -4433,14 +10717,14 @@ z - + - + - + - + @@ -4448,14 +10732,14 @@ z - + - + - + - + @@ -4463,55 +10747,946 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + diff --git a/model_selection/test_results/roc_pr_curves/pre_UNDER.svg b/model_selection/test_results/roc_pr_curves/pre_UNDER.svg index 2682327..f6a20e4 100644 --- a/model_selection/test_results/roc_pr_curves/pre_UNDER.svg +++ b/model_selection/test_results/roc_pr_curves/pre_UNDER.svg @@ -1,12 +1,12 @@ - + - 2024-05-13T11:18:41.135637 + 2024-05-13T11:24:29.231655 image/svg+xml @@ -22,18 +22,18 @@ - @@ -41,17 +41,17 @@ z - - + - + - + - + - + - + - + - + - + - + - + - + - + - - + - + @@ -574,12 +574,12 @@ L -3.5 0 - + - + @@ -589,12 +589,12 @@ L -3.5 0 - + - + @@ -604,12 +604,12 @@ L -3.5 0 - + - + @@ -619,12 +619,12 @@ L -3.5 0 - + - + @@ -634,12 +634,12 @@ L -3.5 0 - + - + @@ -648,7 +648,7 @@ L -3.5 0 - + - + - - - - - + - @@ -871,10 +871,10 @@ z - @@ -882,12 +882,12 @@ z - + - + @@ -897,12 +897,12 @@ z - + - + @@ -912,12 +912,12 @@ z - + - + @@ -927,12 +927,12 @@ z - + - + @@ -942,12 +942,12 @@ z - + - + @@ -957,12 +957,12 @@ z - + - + @@ -971,7 +971,7 @@ z - + - + - + @@ -1023,12 +1023,12 @@ z - + - + @@ -1038,12 +1038,12 @@ z - + - + @@ -1053,12 +1053,12 @@ z - + - + @@ -1068,12 +1068,12 @@ z - + - + @@ -1083,12 +1083,12 @@ z - + - + @@ -1097,7 +1097,7 @@ z - + - + - - - - - + @@ -1182,10 +1182,10 @@ L 845.28 96.226511 - @@ -1193,12 +1193,12 @@ z - + - + @@ -1208,12 +1208,12 @@ z - + - + @@ -1223,12 +1223,12 @@ z - + - + @@ -1238,12 +1238,12 @@ z - + - + @@ -1253,12 +1253,12 @@ z - + - + @@ -1268,12 +1268,12 @@ z - + - + @@ -1282,7 +1282,7 @@ z - + @@ -1309,12 +1309,12 @@ z - + - + @@ -1324,12 +1324,12 @@ z - + - + @@ -1339,12 +1339,12 @@ z - + - + @@ -1354,12 +1354,12 @@ z - + - + @@ -1369,12 +1369,12 @@ z - + - + @@ -1384,12 +1384,12 @@ z - + - + @@ -1398,7 +1398,7 @@ z - + @@ -1421,123 +1421,119 @@ z - + - - - - - + @@ -1558,15 +1554,15 @@ L 420.171979 671.371511 - @@ -1574,10 +1570,10 @@ z - @@ -1585,12 +1581,12 @@ z - + - + @@ -1600,12 +1596,12 @@ z - + - + @@ -1615,12 +1611,12 @@ z - + - + @@ -1630,12 +1626,12 @@ z - + - + @@ -1645,12 +1641,12 @@ z - + - + @@ -1660,12 +1656,12 @@ z - + - + @@ -1674,7 +1670,7 @@ z - + @@ -1688,12 +1684,12 @@ z - + - + @@ -1703,12 +1699,12 @@ z - + - + @@ -1718,12 +1714,12 @@ z - + - + @@ -1733,12 +1729,12 @@ z - + - + @@ -1748,12 +1744,12 @@ z - + - + @@ -1763,12 +1759,12 @@ z - + - + @@ -1777,7 +1773,7 @@ z - + @@ -1791,173 +1787,152 @@ z - + - - - - - + @@ -1978,10 +1953,10 @@ L 845.28 671.371511 - @@ -1989,12 +1964,12 @@ z - + - + @@ -2004,12 +1979,12 @@ z - + - + @@ -2019,12 +1994,12 @@ z - + - + @@ -2034,12 +2009,12 @@ z - + - + @@ -2049,12 +2024,12 @@ z - + - + @@ -2064,29 +2039,53 @@ z - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + @@ -2096,12 +2095,12 @@ z - + - + - + @@ -2111,12 +2110,12 @@ z - + - + - + @@ -2126,12 +2125,12 @@ z - + - + - + @@ -2141,12 +2140,12 @@ z - + - + - + @@ -2156,59 +2155,220 @@ z - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2216,14 +2376,14 @@ z - + - + - + - + @@ -2231,14 +2391,14 @@ z - + - + - + - + @@ -2246,14 +2406,14 @@ z - + - + - + - + @@ -2261,14 +2421,14 @@ z - + - + - + - + @@ -2276,31 +2436,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2308,14 +2479,14 @@ z - + - + - + - + @@ -2323,14 +2494,14 @@ z - + - + - + - + @@ -2338,14 +2509,14 @@ z - + - + - + - + @@ -2353,14 +2524,14 @@ z - + - + - + - + @@ -2368,61 +2539,156 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2430,14 +2696,14 @@ z - + - + - + - + @@ -2445,14 +2711,14 @@ z - + - + - + - + @@ -2460,14 +2726,14 @@ z - + - + - + - + @@ -2475,14 +2741,14 @@ z - + - + - + - + @@ -2490,31 +2756,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2522,14 +2812,14 @@ z - + - + - + - + @@ -2537,14 +2827,14 @@ z - + - + - + - + @@ -2552,14 +2842,14 @@ z - + - + - + - + @@ -2567,14 +2857,14 @@ z - + - + - + - + @@ -2582,61 +2872,547 @@ z - + - + - + - + - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2644,14 +3420,14 @@ z - + - + - + - + @@ -2659,14 +3435,14 @@ z - + - + - + - + @@ -2674,14 +3450,14 @@ z - + - + - + - + @@ -2689,14 +3465,14 @@ z - + - + - + - + @@ -2704,31 +3480,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -2736,14 +3523,14 @@ z - + - + - + - + @@ -2751,14 +3538,14 @@ z - + - + - + - + @@ -2766,14 +3553,14 @@ z - + - + - + - + @@ -2781,14 +3568,14 @@ z - + - + - + - + @@ -2796,61 +3583,525 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -2858,14 +4109,14 @@ z - + - + - + - + @@ -2873,14 +4124,14 @@ z - + - + - + - + @@ -2888,14 +4139,14 @@ z - + - + - + - + @@ -2903,14 +4154,14 @@ z - + - + - + - + @@ -2918,31 +4169,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -2950,14 +4225,14 @@ z - + - + - + - + @@ -2965,14 +4240,14 @@ z - + - + - + - + @@ -2980,14 +4255,14 @@ z - + - + - + - + @@ -2995,14 +4270,14 @@ z - + - + - + - + @@ -3010,61 +4285,606 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3072,14 +4892,14 @@ z - + - + - + - + @@ -3087,14 +4907,14 @@ z - + - + - + - + @@ -3102,14 +4922,14 @@ z - + - + - + - + @@ -3117,14 +4937,14 @@ z - + - + - + - + @@ -3132,31 +4952,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3164,14 +4995,14 @@ z - + - + - + - + @@ -3179,14 +5010,14 @@ z - + - + - + - + @@ -3194,14 +5025,14 @@ z - + - + - + - + @@ -3209,14 +5040,14 @@ z - + - + - + - + @@ -3224,61 +5055,636 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3286,14 +5692,14 @@ z - + - + - + - + @@ -3301,14 +5707,14 @@ z - + - + - + - + @@ -3316,14 +5722,14 @@ z - + - + - + - + @@ -3331,14 +5737,14 @@ z - + - + - + - + @@ -3346,31 +5752,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3378,14 +5808,14 @@ z - + - + - + - + @@ -3393,14 +5823,14 @@ z - + - + - + - + @@ -3408,14 +5838,14 @@ z - + - + - + - + @@ -3423,14 +5853,14 @@ z - + - + - + - + @@ -3438,61 +5868,655 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - + + + + - - + - + - + - + - + @@ -3500,14 +6524,14 @@ z - + - + - + - + @@ -3515,14 +6539,14 @@ z - + - + - + - + @@ -3530,14 +6554,14 @@ z - + - + - + - + @@ -3545,14 +6569,14 @@ z - + - + - + - + @@ -3560,31 +6584,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -3592,14 +6627,14 @@ z - + - + - + - + @@ -3607,14 +6642,14 @@ z - + - + - + - + @@ -3622,14 +6657,14 @@ z - + - + - + - + @@ -3637,14 +6672,14 @@ z - + - + - + - + @@ -3652,61 +6687,1402 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3714,14 +8090,14 @@ z - + - + - + - + @@ -3729,14 +8105,14 @@ z - + - + - + - + @@ -3744,14 +8120,14 @@ z - + - + - + - + @@ -3759,14 +8135,14 @@ z - + - + - + - + @@ -3774,31 +8150,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -3806,14 +8206,14 @@ z - + - + - + - + @@ -3821,14 +8221,14 @@ z - + - + - + - + @@ -3836,14 +8236,14 @@ z - + - + - + - + @@ -3851,14 +8251,14 @@ z - + - + - + - + @@ -3866,61 +8266,694 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -3928,14 +8961,14 @@ z - + - + - + - + @@ -3943,14 +8976,14 @@ z - + - + - + - + @@ -3958,14 +8991,14 @@ z - + - + - + - + @@ -3973,14 +9006,14 @@ z - + - + - + - + @@ -3988,31 +9021,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -4020,14 +9064,14 @@ z - + - + - + - + @@ -4035,14 +9079,14 @@ z - + - + - + - + @@ -4050,14 +9094,14 @@ z - + - + - + - + @@ -4065,14 +9109,14 @@ z - + - + - + - + @@ -4080,61 +9124,1454 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -4142,14 +10579,14 @@ z - + - + - + - + @@ -4157,14 +10594,14 @@ z - + - + - + - + @@ -4172,14 +10609,14 @@ z - + - + - + - + @@ -4187,14 +10624,14 @@ z - + - + - + - + @@ -4202,31 +10639,55 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + @@ -4234,14 +10695,14 @@ z - + - + - + - + @@ -4249,14 +10710,14 @@ z - + - + - + - + @@ -4264,14 +10725,14 @@ z - + - + - + - + @@ -4279,14 +10740,14 @@ z - + - + - + - + @@ -4294,61 +10755,544 @@ z - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + - + - + @@ -4356,14 +11300,14 @@ z - + - + - + - + @@ -4371,14 +11315,14 @@ z - + - + - + - + @@ -4386,14 +11330,14 @@ z - + - + - + - + @@ -4401,14 +11345,14 @@ z - + - + - + - + @@ -4416,31 +11360,42 @@ z - + - + - + - + + + + + + + + + + + + - + - + - + - + @@ -4448,14 +11403,14 @@ z - + - + - + - + @@ -4463,14 +11418,14 @@ z - + - + - + - + @@ -4478,14 +11433,14 @@ z - + - + - + - + @@ -4493,14 +11448,14 @@ z - + - + - + - + @@ -4508,55 +11463,702 @@ z - + - + - + - + + + + + + + + + + + + + + + - - + + + + - - + - - + - - + + + + + + + + + + + + + + + + + + + + + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + diff --git a/model_selection/test_results/testing_tuned_models.xlsx b/model_selection/test_results/testing_tuned_models.xlsx index 563d0a6d25b94f27d8859ec5893e7252ca38c684..27c667a991c3375326b8b9a717e073a0fc00fb24 100644 GIT binary patch delta 11553 zcmZ9S1yEb-)`sy?+^u+VcXxM}0L9%~+=CT&cb8J!3&GtjI1Ny=xO<^LJ?B4j?>(7J zzGTnZYxZ8V=gIr7Z>^h;`=O{Q!ouM|K|vuxkr*VR)Vw7zs0N%2TcRE%_R|9c91x3` z@MlycCCsoQ40gN>q`@+g>L8%1ehV5LZ`{SxeSNi@8;qc;YM1LyTUi}}0~jI5DVI1i z7Yfmfs!|d!k|*qG%3$*10DY6I>j+jnbD!5FvU#@36sOFIhsL_JSMNZ?kMk`G47Wwa zE|j!RPpai5WYEJ%8pEBTM*Yu;^)|L!>hlo>t`7XE}waTDGN$pY_F@MdzcyNkTh*Qam@jk=`~3)n9eZ-J#7dsm~%X+vfy{-tupqilWY zH=7ZhLSHRVGylKuy&91DA?G~?0u)pZEff^?Yel>q8jqkE5zzir#EE2?)easCY92fJ z0+}#5p9LQH8L+0YCWrBin=VS8XE04|`2l`NH-`yc-oqFkaXZSfz9H~<8p~Tm-whE{ow1FzOTJMZPf`OaXhEISpBvWWzc^|G*88DbJ0)|n7icz4bp~5B_gZBk<`3?ex1_!Uwc0ODmCvUG zW;Ib;o*kJGVt45YdgJ{iZIr|xml^0+Hv%#eG{3vxPP&A-d=`P-VPt1VvOc;iEM#~` z-MYNM1&I2Rry%cx<856HOH{e-iw1UQsaKZvN`Wz+YAy$!;7{XWGTMuSr!8n>$88Nm z9qKAZp<1FC%WhqYXs;zuzy)E;lV3Lh>bnk=wa%~#{$Go&}{wQq7w8>~S8S$kk4d%ibs)~JcXhpS%Y>{>-!07bV*tco+79>6yzL#SA*DsvZ;kDLQ>5-Xk~^i1S<{rb*}~ph_k7!ZR1MRBYM>ON?HZ# z4)M<_b(isHAHV&yT0IH!SW|cciYCjfGi!pD!e*=}RA@wE!|4g$7dlQgj_mmLoLUKM zF-27WjtKfp?hwp}Y%=FPn&#%P!XQsk44WlIXSOL%a;&GSbR>gjYd&<8=4FWP3>sy`Svlw?ZpbA`Rs_nmBS&o}FajAzl&G^-@ZAgXgY;BwSO*N}l% zM(}63h0|~AddFTCUTfPA8J;nUpX;$v&|p{q)0FZ21W&OP(aQ?-X6-riy*YR7%J5UZ zW|mE~>f$)X!jlQ1Qo5!h`b^phOp8So9vCd_E}f5Jr!Qh4=hElPrB<4Ce;=+za^Znu z{sSm|!ZUh+UhH=Mf`o`Mkno6}0K!7;VMjRPr8NXl?Im3;_38)=*w!RCqUXz#p(-*^ zV%UYZ?nLvL;Jb`+w&9|-?Z9+s0VH3nkEID@kH{Ft`h9BM}II)&eZYZ%X~6FNg$f4-MN=LTj)XP%)%ymz+)o!Yg{f>KofTiBblP73}MCGxv;X6<{sUO0yRu<0s zAhK4!L&4f&JK8$P!G9dh)LEO_k}U{2#`TV2c<*c0m?Q+ zk1#$uewew3R0g+AUTrK)9>0{Jr>d^dfEXFE>5cOm)LT}x(w38fMzOaW=+#`=-5V3C zhxaR;Yu5>}my;VuPcH7jxx43e|Jwu+r!nalp-Ch2B2WBjFb4@*)UP&OtzNV@o(u7f zht~pLVYQyxU!BH+OYKE!iB;yw=~to;S=xLT2;GnTjALY(_4gtACkoq6rAHps@~w*p zUz87u3|@JRmwQ0FVh_&rFLH$xxjsZXI|}ILQ~lWAs%_z#5Y+^Nj1Zec?GFKf$Lcy2 z_ww8;GG^=i10utlGcZQiy-6^&H4dx7ha(Wt!}1bcMO}TseEea zXk^u8jleGp88+b#hL<*h^CAxEG|$<7?B852B#%fpDGugd4Qeis$J&64_EXK~K$ALO zPeH0or}-L5uCT{&o6zH3;~A~ZsmI!LmA1@Yz*`Xe#tvvr5?^Ibdt`m!(zedL_GLJO z>;%SpFYKKPe?#yi!NeyxXVeZO_=~=}{+^SOlW|AFPzd{2*wP2jA+NzfXR0$82k+Io zwLFyb46$Bc?3jih*%En#!S`h;p@-Bm6XTyeKNoG#19qEvl)7GK&NzHnJV{b+gAxq7 za=isOR3X5lt*ThJs5bQ|@NwKm@HIgdMc#F=yJ?$Mb}%~YFXUBuI8vxw?b;268J3a8n)Yflo5Z?}67LepJAqDh|T-m(ez0 zKm^`s!?}`%G`CoI59o=hLBR;c_5L~zAEomS5@4v?h2}PxQPNZjZY%IBd%1*cJVyy<&+%E_*GC+-!U3LhqYn^=?Zhijo`@f*| z%B+}ZY8}5jbYuFd*Rm*WkM{zkQpm)(ti+8udrmUqwb zmAn1s%}=jNQq&Ut!QJTDFBpc@_l=+MOSE$N#F=V)`Q;JiF_%Y#@%S(IcM#9R z$?rIWXOE^Ho^!a(st*j^)ppo~EUXV~#?^L;=Q|s`#gKSu`^ozk$SwL8yLN}lRjcp{I{tJc!@KM8t!B-|Y?5o|qwGeX8^|8CvD0C3 zdyRrzI^b_9*&F>>;rUd?>9F(=z)i$sliO;~%^16y%97nYbfRD0Pg5!nnu|X}6#%QM z)XH1mMow9VO#Q;%$Z}&5;SbFR>H@h*`nNcn#~I5OC6!2E6g%H6R@gPWz7(6Da5hUW zJv?z>7)Qw2SHvWxNvRcX_(m49!82}GwXSv;Yo7DB9;Z^7R;7$3TcpVn6USUA2-?8? zEZJm-MMegO;Lh0)76`-dcBuA7 z7Z*3oJ&MgCq2|K!6&jM+ES>0yI29SvG6vgL=gdcaj2Ys%3!?|nk#x97JUnZ2u4f*Q zhoJYuT@EFhm&wu-5YXphulp+N2n-3r3eN3R=^%;}6T6yYg{*u91Ii-U1*1#9hkH{F zOc9(^MC;sd=3c5G*TQ)MKYi-(E=-v(TklGpY|4f`DNDU=JpN(Y=54dJ&UQ*o(H<-1 zw?*JRR&G+!>^?`R{KQzCr{}SX*sz=kB|nhlYyp_D4{zUu+ZrV5?J-AaSqCu66VXm! z1|<_rAop?MF^tn?4r)w?x+Z_D&4|aZh+j;gV3gCtkJ)R%lLhGl(FkoY$H$P@COU;b zI0zJnP|Gguqjte-fU($DHS0cF1k3RIfH+n&cjGP6r{1W5EXB!Cf~4FqO+T1K z3hbHa=9i+%&})PR(XwaYU)fUb#G2qKQfubY_VpB>yw=(7Aa;gw)2(^)qM2`9_z|x` zQl0{b8+?k^1kwSn{?6pOJO#8btwbNc<&!-h^-}FsPu(yiJez267l_#GWGAwnuu-kY zIqb)@NEoI|n22VF6}*)`}4mp1}m=J7< zxgtSID1hmQbBOPOr=vQ(b1_5K%qe=)lg=u>u5#6rg*4EaOQ2)s3nvX=^!q!~AW@BH zI;knmy5yn5c!_DIcnvlzU4w5yrii0cYr`3OGFXMgNnk|G3D_8qe712xKc<_GURsIu zi@ka+%5{RX33=7fC@OaTLXryt{kju#iNO!y?8xS92tTaW4|)WfF9V*B46rX!m@3#u z6>+>R;$?wQ=c6p}$*5^F7$wWbgctPRoWQec(?}3H_%I_)m*9U7CG7&ayjqbaY!&p)o@*u%bWFC z&ti@g3^KHVaGk9`l2T+^Vzq%<9pWFWP1l@s5Bz{%yuzN#sThHvc6Tuz=QwX>my?zB zlmF*!AGQ_o^!N)E0;33@61HZ{^1$aFP>&EUr;#T9#mhFy*z*(XHaDA5^B`kx!i{}I zoRQOQ$8Axq*o|(DvtDGT-dek7~ zr;@aNBCu9EtolH)R=mT)>R}r>Zk9@nE}h20SPJ36jLEb}ce*`sDt|or`qSg`3Frb^ zvDTG7^6FkI9RzkdWQ*oCdq3@l4_Y;|RFWk*?I+YU998}D5QG0fLn}Bw$+AYq`_QFr z;c0#1`r?h2D)afiYm_v;*LVDlYx2J6vsr_XJ?EKb%cPT{Gv(m0XZxsp{{jj(SHi0+ z)|IJzrZz%4`oOhH=vTc0qGf10+X!cQ+R4$Tq-vyAP?WP+ULI`}zd!q>^{oDS|CF7j}p8X{INRg!|4 z7m-5S0!FlTeX>4hDc_#f+X*1-Tbq|KIL4Hn;GmB>ou}_+SyY?G_gKglXIY9#pm{la zxX7QT^d(e85jYfaLM*V>&FdQV5zCsu`udwxrIJW{Q}iXoB^VM0 zeZGh^VMB#VeDXHvr8$_3?Zos*>B2dK*?V&_n~Y>BmJ=L@8SK0@xRccm50$B(e@+8+jfF3i@*k26{h9vMscqU?>ybYQPWT3QSf zIDHIMWTrN~lt|XI{=~)hK2(B|q%=2>8I1u>K1W-DPGXu4j!|NY4+lvap^qvl>AXy! z2!cUoT_3+{BDCBSXgH0M%Y4NUihwNiH3fe64YtTzFEOTfO^n=EZxBx`1)fVCD zy9MF76fvHkbvk$pJR?{?j#*q73cW>C0-#x5uUfrTg<;&dVBjk}Xg+zrsU9M`tw!@R z)oiYSKh_Ldf2MI+(ns-0@%MW)NTlS_$d8-5aRDsD4r-&A^Ra$vQXj7-EHrZ_Yrf!A zHw{tYw-xhjDkdQdLDsmMF%3#RLx3Tsr5O8s=sp*e79wOcpmShg;|$qq=q?7+Xv?-5 z9ZI4KC4DXrSZxe7VKHw|WeX)O5EkwE`hYqz7kplQ>pJ!08@RWgbQX|im7sll*V3@PH;YA*huA2d>lLq6u`|VP0>&JGl5`s@CxmkBxp(aw@30_`-(ZRevNc4yTje*`&sg@vw-&TJl55Y=i7c4&^pdO znLy_$yIy&#?Zvhn()Du1l%C_=!H=d%v}z&$Z#Kr4waCClzV`u6;C;>WPHhC&bj$9s z@Rh@&Nrn75Lm%T5S*q)OdXf^5p*NQI<^ECOiDz-C)&29y{RMx3%NYxQX@~>x?#V;j zfn~J@qF;(Wx?KaXng(BU(>$MUvC$_P@lNL%coRC*`Wgouq%ThQV*B~h)gHEt$hTAb zN;^-0a)UeQ@&)c{1wyQHoyTVjWbBu#v}<3%`3h?yUVB5d!xWlHg^li4a*DQf3goWP z3h;6ZT&en1g4-T1e4pcJ z>~;C8mz5Kt&w2zQr4fUYLeX#SQ(A}Y%Rk5UzK2qD4rPn7-%HhE_aHW}W?OZ&&p0nB z`LQXF$n$ZI3&+LQ?0_lBE@4WtVi)6=_Hl7bj3RA{>zI$J1&Wc$IS`JrL&vDSry{~i zZf+MRjRd&KDoZk2bkH!nV>_alwkBLwY_tv8Z-3fx+JW@j$MJ7Ulbl&%Y5`- znlhGdges$~7e-t~^?` znyDMO%ZWbr%n}f#X9RTd`BEx9~3I74p zo4DSZ>+f}k*eLPPOjOA!=!=AtvHe3N!HH27aeN5nR)tzU^I72%!52~Gh3ArijdHlr{5S$(gTx>k0(4rg z@AEJrx@li-rxG_TPRm~usQ*Y7Y>Da&F1rOsPR_~s`d%S`4(N7?u<13HQreb zxfX8r$(m#^(xa3oR=Q=H_izSRG#X?vNbzx#L#axzP3;5KhJ>f~)sSAMBs2Tr&lo(^ zz{lPzBDRx-@YsMC0)c8It(O$s!;M=u-TGr9y{>0(L)pe?T|ILGcf!%J`meLy;wVEu zxI-Il>gQtgtG31%U{g6=Fc={bl-qOaBy>5G>=}zL2R2)Js~YepF=DQWL!p`NUvemV z^yqMr(DH!c8X?p^yMYI-xuLUTLBF$@*nFf>pE^=Lw)<*NH`Qj`#wr=J9=;GB`+o0> z(QOKt%_uVnS9^m=V1s7K7u$k%JpA#Vfb=O?h_)wm4<3$U$ z;NeE&wlfFP2hu$_Ro47srU-SuukV$%WT8XG5l+nJdJE^Le0^CVPce{=V(L zk{4RLg+VmOBRHt@CX_c7Ibn&#ppWgyA`Cfj5U$`O)h1|Vl6NsrqU1PGTjOFSH;FkG zQMDXK8JR&gpy$JoML*54Hp*Oyg#hgrt3xI8`Ad=9Qjs~j;xSwWd>Lxc_k>Zo+zinfPMy+~d9&CbwJszpw zbQEg3j5HUe6CPTPrM-w*`_8Sj9Qs`y86?l}tZ3L@<27RqsVg=Lp=g{6-i6cGl+cu8 z4qU;RS92?js?0>=#+umyuMr+7COcAqaYKH5*eRGVke!yuIfsf$f?e5ZDul$PH7>o3 zZn+5!vLGW$j9khSjE-HB$)fZ=uy4i{4tDN*9(}HKzQ+&nje*fDzu!-Xs5kndDFqK| z!a!t^jrrXd0Aj19VfxzkZj?x2Gy?`AkZ%0Z4ZBNP)p+;$zoZ@d>!3h2;O+Np2ijL{ z=k&L>12~Z7Dh)zVcW!u8{w0 zeFJwFi~hy?TC#g1ow1PicNf#D|5{TM3b30+v|>y4&I#N|X7$t!^gJ^2oo$9pt!|W~ zKbfTpD?ckL9Zn9a>z6zm;<{T0}2F;ZwrgTMB+~ z=MMWsUj~Z);C%$kP>;<)jK>%Q`3^g^fqe!$+CkVm(qvlpm5-=s-x72_R%Aww>Qd-M z66A!Drw_Q{6-Et+qO12)$l%w1;FSH9{!&g=0o1FbmC>2|q*ynP8!7*}2%6H?Rlp^;GpWeN0QN%D~{@ z%(0&;S@>C3C-pO7;w@jSxXVi;2E4o*nmFUz_6S3*VAo;F7gV!*dBh_?v>B zFXX)Mb1i|@jSdUm2~Iqq?J{`>LT7u&On?U46w0a6K-_3fPceZ95ksU$(eHhfYnAqRvs8f?RXDz3u$5w9r8qE85p83QbRTr`JLoN$AQQEz+x z!Cd=YSruFbP;>q(o9-<1Piq&?WzofYfA-AZT{KmsC`2>oIB|ZxlZFmNIHPWrcargrN<2eI3n**C zxYJN6!@$tXv7H2;2y^|P9zJ(fK1T zE>*d5Y+O5egoe~rESO^g36;2tk^zlAGtD)o*k;v^IVE|HP5)^-<2b`?f|Bq^OwZ>` zWn`>?x<64p%4MtA>BDCWmbU_^>e4+xJwzlQ^y&ASS=-24#X}vqMM@)fIusJa7RTlU z(XM<2YzLdXv1^M8YdWRQ0e-egt1<>##K414P%pSd40bF-jGtB-8}4AVT`fY(=ie#Z3!!)u^|?ZO=2- z@eF%H9{V`$Y7`ZElWa?m=7}2ZJ=XCu-M*mrjs`#G!=+=Lr7t0C!)%n;vD=?NJnP&r zabjj3M-_L$he&L1#=?@TXC~F3S31D$O@I``<|A`~RIGmo2$hu@{9-@EDLu zsr6YfXrgRn;y-Qn2O+;U~G`(#uV~1;v?6xZRH4&YZeWzxGCr zczuB^9&3_5>8&c$PyR{2*Hk@Mj5c0-+y?1bbvvs|lGCWs?7J(ca&p!&(A2iH^-R^3BR|o+4Qh7tVXDle zg6EC?wpI0!cR(G#-;`G*z zWUPXre!#%YFnY*6Y{TB+ZjjJ$@k}w^|C0pgkB(1iibq1FTZ$Q<*#XM{p@HU%IvH>K z4iEjG1VR#Zo^u_)hc-W#Ksq1#Wn=^G*F==lkZT6yDO)5gOlXAYHm(G7nkj=q)Mk$ORag7>p6;Dwl-`z{{~+MX#anPJtgchjOh>wMcXA&vZ#}PR5up4KGi`(6&xY zfu1g$u^k!oKBgQrD=qgb;fgYCXJ+%-<5sV#_K4f6rPbG#s+0j1J&pQw3RfL1>(uL6 zJD$IRMm4MZIO4%{*JnUcp)6O%r%hIenuhyH3AdW13U&?3Do!I(A3?K(rgu^vaj|D# zOWG3E!>VvzEMPrUV%X$|_i>Ra4r*(bEAvmR9%PhtHRNV}qV1BMmOMwp`s(cXpa7Ct zqOny@){@!p-pt&Vk59c0@ zQO1fC9wR4oGGYW z$Mi!OLT`KdxRedGrV~aQ)fm+7Xi|uX7x(Jpfn(VwheNz6gW*3>l{x0+4>DSMKM}H@ zFqZkh2e(GId-ipO7f-8GyrbvimI_M-#NZ+!6D=}q5d4JN?c=0B|MsrXlt?0l(@o!| z0quq(t~YH@E6XXTE)7f^#0sDQi1VmOQY@KR(UrXUk&|d z3O4zQndi?zMiye|v1B#bg8MokiuqUIe#uB#tbb?w&z97`11Smq1hW6NNu{O;4TA&w&rI)sw_*Q%mJ`We z>0AFl{eOB5{|@Y+{44OB2%hQR+5ck%{(X`u?O!KJvi*JW|M`3ScVHLOUxATqn13pr z!$u6lz>(a}_D=9msas`_qIzEIiw6S*h5S#QU)MnBUtCa7#x9l)uBmBO2B&rbJO#R*;CL3p8|pwiy_J?i^U-azP5zT`%BY6Mh)KZpJg DB$_9T delta 8416 zcmZ{pcT^Jz*Tw+>r6>qUliooP0qF?{5}GJQ`hua?0Ma|7qO?d$=v4uw_udyNp(D~k zKw6LhA|OrL7tr0+efP^BnUkD5cP4YrFVFMb+v7K5PO5S50zMTE4$dVUJ;P|yA|gG* zLVYW@z>>A-R$kyOBUCevWat44s}NC}fNDcwhDv5z&U7=kz#kW%T}SQvAC2oi-!<~Y zO_yI5(g<`G8Xtue9rH<(dtV{n!7U7fuo)418kdB95Ls)vaa^=}Nyp$(AVfD5UUliMb6YDS0&K_JOJTG&y!sj8JrNS_+8;}89|)AlBuwn0V)q~5a} z4$n&IP$SN)y^@nd;?mH`9IX3ib%sRW3EwM&ETWVMCcOzs@7#^Csry{{WrpY_oqmji zH)=uvI@1td#C%NidR?vD{=^hSlJx|7$|Z~Y>yIzgPc%wlCnv!bKvb-{KQRBWONd#AU^fhS-8POpSm-xAz* zbU-Pf8&kjaZs6Hk4<<&`%#gA7yVfRbEcC&P(5o(e5989q4=U=bbJ0UvZ+N#vfLU$i z_a(RPyi@81o??+!VHro*c5CU1W5V_dr}S5)nWLIZPZN^-(~JY=m!$*;kYO9v9gRDj zmZ=%={lsm1Fs=GzA1HPy-2<^^MQCR~PXIVhQYF?jY;g*Pi6L_qH+;1gTnBX}8GtOZ z`eXQ3T3M1{&%9ofeS}CLJ(3ZawHAbw3ls|hv&e0OjC9cnKf~BDl@Uh|8Gpx%aE~3w zZ8nf>wJumJ_EoKZaboc3Fihdvdaqx=7(YrBTHT_RxrNg4(Y$qY^0Urd4JII$60(r7 z0ToT!5Av0|?{c?%&_-9>Zpe02Ty4Mf_-#3BBj*(CS|V@1Hc;{v)dJL^GQE#Bk}7Fx z;Ew6DW0G~5q<_#(B}~5b7NbEGBxhU#G%wC3MTSNr4Fd?^|HH+(fhDmNn^$m)ID? zc-|<-bVaT6SY~0qKoS5YhA~qyj}>bjttpjR58;!T;JPYGTZkh6b&;T)U^-nR{qEPD zY&SD+9@OyN*W0QJ4)JQ^Qn>vP%=(l;tvwDbPi{^tqzZepVpjsmU9VvScZ_TLP+ks< zRoIL&&8rZg(|R*A5@qo2=9>kV7gt;u(1!CG6l1!Px_J|IUc%3T`}3rK#5FB=%sTs4 zEWpjEB10w;{NU=O)Sx%og29FQkHz`1V3VC^Y&VB19%90WPXRb{g%4iV>HOB5d|Aw2-e<1`nBBo?~6GxB?s;e?}Cq5 z^V`&eeYCzdYP^zG_e1D8$qH6EA>TH*33%}(zXiFsvJZGP*j>P%jkg?9pS1kmOp89f z@H^fS19~NzScda2|IM)QIm7X*F3D0f_h~|$3I%K(=ANI3_5jzE-neZvKlHgtIHS4RLo+M*C=x?OLpA|Py*y!k zz&mP{z<#g4 zgk^Jgi<$UWjashQJU!#MkiI43aGj*M*k09>V;;F`iSflMxh zcHuesQz3}a?(rU)7X~M~MrF$P?p2-Pe5i3^R9S`zsks9G<}k&@r{rv;cO#-Kd{WVF z?|aCm0Hh>RmBdI;Ro0An8t$cfG^3;QH!4KUm5Ho`qqtOu9>De*1r+toNeE1pS$eNlwhdKDL@9FDX7R^Z$$2a|2#L;Vutk%HJg(ooUpi9njZ6&J_jl6D z$CPzFrZo&Vs?_U@mZW(txs4WhJr5XruBE=<2VQkDn72(ETf2`LSdS@f&PAn=6^)AY zXq`0H?a*;hMyX-(v>-%CDpRu*J0@b%)4`zK@Jb2}GMthT}gJ)MxBL015gA3C~@$dI54 za%$hgBShShc{`k^yLflSpeHSHy4me|EIk#?=P%Rsvrnd9cA;MZETCnuq_?`plXi@{{db9+q^y*FV$2eufeuHr1efs)VJqmDZGFK;q`7rD+XcKw5I zS>I@sq@6mjbDacmEVu|t;NEvk^o^+hynEuGTnm*zDcpJ&4Zp?uE?L5uK$ zmrkr59iUJ}aK_Mx0HhZs^=K9H9h0f*X3Tt;aHt4G=hpf~lB5%3%wH0i`j?D)e%MPT zokhPc+)zl?G?`<6e#k`UKNe^_@A4Ag?8xV~+U1wSc-}Ab+i#IM&t@tvgqGd|Jpe7{ zYOvMRp31W)R88qDy~S8xdYFkj=uk4}>DO~hTq>Eouv~FUlqaEdzw%Lr@U??(!JtGb zjq>$V0NQ}T-K-_QnbA4pQS4MNKECViA+fj|Sh$zQY73MUg%e`+jq_jXb$!rp*Ejum zu6Vh&&y2Z(7AtRY{}NLNh4O@5>LEG!X;=Z%!}sP`wKaIgfvlE$ zkfN1uc%b#a7~iSJV*E+)(ttP8b%v5Wr6GQ#_&blK$oFOKl+~5}@!Rpm5f7UgmU#1< zV`#i}EugyD1)8mxPs8!5R`n0u_!t)Jh9xZzyg|usV`3vPttK%D5D=Gar`??Pz+h*? zhIt>ViCc(h=c_g#oW1^ij}wk#F-<`RQ-~@aB<@|j0MoO{6J;k z(iz4nXBc~gsWHwh%2Pw6k==_M11hLy8i&~G<*}8_qJY>LSKS_n!BOHy(t;b%i^@#> zXkCo;#IuwK29yV>|6nZOA?9tXj$X$YZ}OdcV$s-)TEpT*$V{89HuZX^_rWlKkmzjH z+`A0oARP})3I54(oxu`}sVQZ9YsSVbf6`)vuUOw!gq8VV!Iwp=p@NNsujYrreL>&S zVCA9~5t9#(fe!hx@SP`w%S26ojHYGYtZM{jt-jFo<8!A_1eFYcG3qJRQ^q+L*_oXc z6FtFLj3vv}B^A@|k?(-t?RZp2U>L2ikF=LTP8A7}Rg9^1u5`ghU!&^AT?yvqeQr-Ws_~b6B7Hc*8Yyh*Mf<&j>9q`{ zc8%(Da*@fai7kBA74SF zO6Y>X*?PZRX&3qUHTbJ9mpj6wrX#y z76<&FjSjw!*B;Xo*>pb?vgy7z_H4P#w)>%{Pt3#v zU56+0hh?zua`kGbvaM^fzk|%8EUJkivlUjSIVsr04*Y#7Lxe2GT?Jt*~4c(hQfeyf_DO;j6>M!ex%be5-s?RXXuF6qI2CZ9n zq#lcI`$CvEGfm=mFu7y_IB<_ju5~a6VeS706tTO{N}XA+P?; z1FA@P6WHc<*X2F8q;El1nS%w6i*JVtoD#nJA4c{Et;NC0bu73xa$lFGM0V7XFC0-(#IG-S0!>t@dwQK(Mmx9C-On(h|mmZwtj_x&*}W|E!n#G(W5a?(zX zR|l(eN+1Gx*<@I$o!jwZSR^Hyu6UG^BJFM1_1@+xl*;Rk#pIz2mKcaQ(>69qLmenl z87_}^tJm=#_U!nnmh9E~=DxS#xlIo=7qJ_^j&8`O`BAjgE@_qD|KdoIfN|$ zF~djl3u}lU90@Z<`*8&hSR4^Hyf;w01INnY-=eDZBcr}$N3?%2DV4U{1WHHEX}+DQ z^IzeUgW#Nd3n?~lwTqD}Ij9L;YaxQ)fK`zz1J1xtj8LZb4Q!vuX^)is;?Csz3dKTn z=WlW5{UPB)SG&xCuj9-+`!YjdA3?u!o&P&kQ~l8JmCj@odgL(2Yqn|N`pM__4^*p` ziBA;zHWvG)NYM710kDL!xz?x!DAr*vWj;X?7=8_>)Oayu9wK z&#QDY>v3v4Y&Kqwx;C$6y=18oy3pzSC$zdi^Y&F)5$AmAg{L!T_W1*H#B`C>7}?nl zAHJ7`S-r0YNn4H8<~;T1#~k0!i=EzF-cl(CbY@%);kJpV$&8EMi|sR?Sb&HX`~P$Gh{UQ#P=da_$&(*AiYM!< zfNs~Mt25>qGJy3w(V#3Vvbr zm{x%+eFCoeEQ9A0hV$bpsULarlH{m}TZL=Bq$Q^1OwnX&*Uczg*Ji*EVWZ}`E(O?z%LF^5x1LN% zIqyi`rgZ7%VUIC;nL&=yP46?YsGev`VW$qpXD{%OGs|~(y&;4Sx%K_PwsInZlPZ_b zxlNubXcX7bEl{Xz5_ZRNP$%Bd7kd4rVRyKJDHV%Yzvc}W|R0{t0J0-X9 z>(nN1B4=)@e;DGePcZ@tx#AQ~nH%@6org^9ga;REn9m%p#RWtmoK{Aua6t34c%#kI z8Q+i;L8pv96X2gwRIUuSYZO8Xx3w2quk@<-G*FX+%L!lTV!)c@pQ%?=S&U_(F2q#G zUcjmm>w}NbTM18@0?&gnMHK%X^Pgf4yHn;K?HPI8f43n(5mK1O z9XWh>dZ-XL_LgAaO^oFr=>W!3MO*65rny14N5)Xa26W+HoMl;>Uya6cX8DgYmVnNc z@fXZEIIx(RZJWXn3(k{i+wpB>eN->WqG}osi4htK6%qj3=Gu+*rW=@4Nm>JD&6bC1N&v-Kkw!i3fBBn2X^+<75oP7rS^!%LD@X<63hG7iNK zJqHzDx#i#ZtCq3=pRVn!qegNA=Ty4!{hE?{k=b>PCjHs*i#$w_<6|}g7dwyDwIQRF z{0a$mRp$gc&wcx~sxYy6CB7mZCy;HJH(ywKAIIbX>F^?l@TQUYJ&vuheEl$fdtF50 z(P>l8rst621T(S$9%-}hb7QK}CeL^SJp`WY7D)Kyjgv^T~&Pg;Kz z)lyfk2#jqu+3r5lcW`q(ZR#JSaTG$mCY1~^>xbFfHSMauriW?fxoixXCAh}3EEgJ7#AH1zv0eN6S2yAQ@+t=feR+u2vm2+-oA(!;E;WLB+f+}t47n|1%- zp868-@Q-GQTsg?G2h%AhHETG96NX;=IbJQegPj&#MqE}lW7PC}n>yfj%49-G zr?!(~LoSoDA84N#;1J#N~;gULo>;nn{OUV5yhbwVadQFSzjEnMV@ zBBzkT^zs1;+Ya1PanxlF15)UATWmC49^HXy zHHMW*Y`TN(fJc$2h7<6zrF&vT>Lx1meyME8m*=9%DcfLRe*Vyac=0`E8wO{W6@|Fd zkNAl*%1We*G(U8^DoY$->lmT5ZkCphv6fb@8Y-P0ZM%2EHc3@`^&@WQt;5$#gs}YglfWgXbM(kB7Co^>$~ z8tLSQii_JGyN;W}4HA{Q;84R4^8MUa(ITbK3o;lD1UHh}OVB-BMzq>3CEfhQ!4Ug$ zK6+g+zgmWu{}Gq;C;Kv*OVEVitQAtKnSbi)k2f>hI(F zWH!Jp^{;)m_88m;*LM!Z%4LPrLhizXE@g;$OtksbPrtCcC9kmbG_IGENj_phB-o3| zb@-D8iDH{87*p@!6ULZDsAP8w(qun1yyHOTJM1y?XUgL3% z9s9+dev|Wj|AKhN zA#%0dthjpodd2?i_~+7#zob#@aOrH*!>cSzsR?@9h;nw_%ktR}NXI~~rG2r$fE2Y?2 z{&!!C-R1s#J$Xuc>1=z8B$d8;UikY`=&v#yoF`8wNX`m{&R0Yl_i*v3F8sA7FVz3{ zH2bgfo;)=nJ8z%xv;FULvcJmC+6z&h7tZ`F{5^;NT6lrxybznpk-Q+%^PB!X0{mLs zOn+W%2m0~re)llH778()7nb}i{Qdv(*TQ{PY$4a#6D9&P=r?knkM3RFykVBEXQ|`g zPo`RFHSAC9`P6tgI3)k{!Fhrk$%BIfb+LrG3f??>|NTUyKbQf}ix-&;W<0x89rhFV w4P=Qp1OM-Jh5B@^*QdpCad6@;{#ergb&V&u68y*(iEBtv8FIo`0%u?U9~z)+d;kCd -- 2.24.1