From 87b6965666b4bc310425eab9af30751dc8ba3783 Mon Sep 17 00:00:00 2001 From: Joaquin Torres Bravo Date: Mon, 27 May 2024 15:12:30 +0200 Subject: [PATCH] Another try --- model_selection/cv_metric_gen.py | 27 +- .../output_cv_metrics/curves/post_ORIG.svg | 150258 ++++++++------- .../output_cv_metrics/metrics.xlsx | Bin 9914 -> 9950 bytes 3 files changed, 84069 insertions(+), 66216 deletions(-) diff --git a/model_selection/cv_metric_gen.py b/model_selection/cv_metric_gen.py index 7546601..e8be099 100644 --- a/model_selection/cv_metric_gen.py +++ b/model_selection/cv_metric_gen.py @@ -209,8 +209,9 @@ if __name__ == "__main__": # Curve generation setup mean_fpr = np.linspace(0, 1, 100) tprs, aucs = [], [] - mean_recall = np.linspace(0, 1, 100) - precisions, pr_aucs = [], [] + recall_points = np.linspace(0, 1, 100) + all_precisions = [] + pr_aucs = [] cmap = plt.get_cmap('tab10') # Colormap # Initialize storage for scores for each fold fold_scores = {metric_name: [] for metric_name in scorings.keys()} @@ -240,18 +241,14 @@ if __name__ == "__main__": pr_display = PrecisionRecallDisplay.from_estimator(model, X_test_fold, y_test_fold, name=f"PR fold {fold_idx}", alpha=0.6, lw=2, ax=axes[model_idx][1], color=cmap(fold_idx % 10)) - # Reverse the recall and precision arrays for interpolation - recall_for_interp = pr_display.recall[::-1] - precision_for_interp = pr_display.precision[::-1] - # Handle the edge case where recall_for_interp has duplicates, which can break np.interp - recall_for_interp, unique_indices = np.unique(recall_for_interp, return_index=True) - precision_for_interp = precision_for_interp[unique_indices] - - # Interpolate precision - interp_precision = np.interp(mean_recall, recall_for_interp, precision_for_interp) - precisions.append(interp_precision) + precision, recall = pr_display.precision, pr_display.recall pr_aucs.append(pr_display.average_precision) + axes[model_idx][1].plot(recall, precision, alpha=0.6, lw=2, label=f"PR fold {fold_idx} (AP = {pr_display.average_precision:.2f})", color=cmap(fold_idx % 10)) + + # Store the precision values for each recall point + all_precisions.append(np.interp(recall_points, recall[::-1], precision[::-1])) + # Plot diagonal line for random guessing in ROC curve axes[model_idx][0].plot([0, 1], [0, 1], linestyle='--', lw=2, color='r', alpha=.8, label='Random guessing') # Compute mean ROC curve @@ -262,11 +259,11 @@ if __name__ == "__main__": # Set ROC plot limits and title axes[model_idx][0].set(xlim=[-0.05, 1.05], ylim=[-0.05, 1.05], title=f"ROC Curve - {model_name} ({group}-{method_names[j]})") axes[model_idx][0].legend(loc="lower right") - + # Compute mean Precision-Recall curve - mean_precision = np.mean(precisions, axis=0) + mean_precision = np.mean(all_precisions, axis=0) mean_pr_auc = np.mean(pr_aucs) - axes[model_idx][1].plot(mean_recall, mean_precision, color='b', lw=4, label=r'Mean PR (AUC = %0.2f)' % mean_pr_auc, alpha=.8) + axes[model_idx][1].plot(recall_points, mean_precision, color='b', lw=4, label=r'Mean PR (AP = %0.2f)' % mean_pr_auc, alpha=.8) # Plot baseline precision (proportion of positive samples) baseline = np.sum(y_train) / len(y_train) axes[model_idx][1].plot([0, 1], [baseline, baseline], linestyle='--', lw=2, color='r', alpha=.8, label='Baseline') diff --git a/model_selection/output_cv_metrics/curves/post_ORIG.svg b/model_selection/output_cv_metrics/curves/post_ORIG.svg index bf3c765..8b11dcb 100644 --- a/model_selection/output_cv_metrics/curves/post_ORIG.svg +++ b/model_selection/output_cv_metrics/curves/post_ORIG.svg @@ -6,7 +6,7 @@ - 2024-05-27T14:55:51.831980 + 2024-05-27T15:12:17.323977 image/svg+xml @@ -30,10 +30,10 @@ z - @@ -41,17 +41,17 @@ z - - + - + - + - + - + - + - + - + - + - + - + - + - + - - + - + @@ -659,12 +659,12 @@ L -3.5 0 - + - + @@ -674,12 +674,12 @@ L -3.5 0 - + - + @@ -689,12 +689,12 @@ L -3.5 0 - + - + @@ -704,12 +704,12 @@ L -3.5 0 - + - + @@ -719,12 +719,12 @@ L -3.5 0 - + - + @@ -733,7 +733,7 @@ L -3.5 0 - + - + - + - + - + - + - + - + - + - + - + - + - + - - - - - + - - - - + + - @@ -1370,19 +1338,19 @@ z - + - - - + + @@ -1404,19 +1372,51 @@ L 215.1875 318.311079 - + - - - + + + + + @@ -1438,19 +1438,53 @@ L 215.1875 332.989204 - + - - - + + + + + @@ -1472,19 +1506,19 @@ L 215.1875 347.667329 - + - - - + + @@ -1506,19 +1540,31 @@ L 215.1875 362.345454 - + - - - + + + + + @@ -1540,31 +1586,19 @@ L 215.1875 377.023579 - + - - - - - - + + @@ -1586,19 +1620,19 @@ z - + - - - + + @@ -1620,19 +1654,19 @@ L 215.1875 406.379829 - + - - - + + @@ -1653,52 +1687,20 @@ L 215.1875 421.057954 - - + + - - - - - - + + @@ -1720,19 +1722,19 @@ z - + - - + - - + - @@ -1900,12 +1902,12 @@ z - + - + @@ -1915,12 +1917,12 @@ z - + - + @@ -1930,12 +1932,12 @@ z - + - + @@ -1945,12 +1947,12 @@ z - + - + @@ -1960,12 +1962,12 @@ z - + - + @@ -1975,12 +1977,12 @@ z - + - + @@ -1989,7 +1991,7 @@ z - + - + - + @@ -2061,12 +2063,12 @@ z - + - + @@ -2076,12 +2078,12 @@ z - + - + @@ -2091,12 +2093,12 @@ z - + - + @@ -2106,12 +2108,12 @@ z - + - + @@ -2121,12 +2123,12 @@ z - + - + @@ -2135,7 +2137,7 @@ z - + @@ -2169,216 +2171,276 @@ z - + - + - + - + - + - + - + - + - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - + @@ -2422,29 +2484,29 @@ L 709.2 172.792016 - - - + - + @@ -2468,17 +2530,15 @@ L 579.671875 303.632954 - - + + - - + + @@ -2487,7 +2547,7 @@ L 579.671875 318.311079 - + @@ -2502,17 +2562,17 @@ L 579.671875 318.311079 - - + + - - + + @@ -2521,7 +2581,7 @@ L 579.671875 332.989204 - + @@ -2532,21 +2592,19 @@ L 579.671875 332.989204 - + - - + + - - + + @@ -2555,7 +2613,7 @@ L 579.671875 347.667329 - + @@ -2566,21 +2624,21 @@ L 579.671875 347.667329 - + - - + + - - + + @@ -2589,7 +2647,7 @@ L 579.671875 362.345454 - + @@ -2600,21 +2658,19 @@ L 579.671875 362.345454 - + - - + + - - + + @@ -2623,7 +2679,7 @@ L 579.671875 377.023579 - + @@ -2634,21 +2690,21 @@ L 579.671875 377.023579 - + - - + + - - + + @@ -2657,7 +2713,7 @@ L 579.671875 391.701704 - + @@ -2668,21 +2724,19 @@ L 579.671875 391.701704 - + - - + + - - + + @@ -2691,7 +2745,7 @@ L 579.671875 406.379829 - + @@ -2702,21 +2756,21 @@ L 579.671875 406.379829 - + - - + + - - + + @@ -2725,7 +2779,7 @@ L 579.671875 421.057954 - + @@ -2736,21 +2790,19 @@ L 579.671875 421.057954 - + - - + + - - + + @@ -2759,7 +2811,7 @@ L 579.671875 435.736079 - + @@ -2774,46 +2826,375 @@ L 579.671875 435.736079 - - + + - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + - - + - + - + - + @@ -2886,14 +3267,14 @@ z - + - + - + - + @@ -2901,14 +3282,14 @@ z - + - + - + - + @@ -2916,14 +3297,14 @@ z - + - + - + - + @@ -2931,14 +3312,14 @@ z - + - + - + - + @@ -2946,23 +3327,23 @@ z - + - + - + - + - + - + @@ -3007,14 +3388,14 @@ z - + - + - + - + @@ -3022,14 +3403,14 @@ z - + - + - + - + @@ -3037,14 +3418,14 @@ z - + - + - + - + @@ -3052,14 +3433,14 @@ z - + - + - + - + @@ -3067,14 +3448,14 @@ z - + - + - + - + @@ -3082,23 +3463,23 @@ z - + - + - + - + - + - + @@ -3140,756 +3521,762 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + @@ -3920,27 +4307,27 @@ L 354.6 737.868583 - - - + - + - + @@ -3966,15 +4353,15 @@ L 215.1875 868.709521 - - + - + - + @@ -4000,15 +4387,15 @@ L 215.1875 883.387646 - - + - - - + + + @@ -4030,19 +4417,19 @@ L 215.1875 898.065771 - + - - + - - - + + + @@ -4063,20 +4450,20 @@ L 215.1875 912.743896 - - + + - - + - - - + + + @@ -4097,20 +4484,20 @@ L 215.1875 927.422021 - - + + - - + - - - + + + @@ -4131,20 +4518,20 @@ L 215.1875 942.100146 - - + + - - + - - - + + + @@ -4166,19 +4553,19 @@ L 215.1875 956.778271 - + - - + - + - + @@ -4204,15 +4591,15 @@ L 215.1875 971.456396 - - + - - - + + + @@ -4234,19 +4621,19 @@ L 215.1875 986.134521 - + - - + - + - + @@ -4272,15 +4659,15 @@ L 215.1875 1000.812646 - - + - + - + @@ -4298,15 +4685,15 @@ L 215.1875 1015.490771 - - + - + - + @@ -4334,23 +4721,23 @@ L 215.1875 1030.168896 - - + - + - + - + @@ -4358,14 +4745,14 @@ z - + - + - + - + @@ -4373,14 +4760,14 @@ z - + - + - + - + @@ -4388,14 +4775,14 @@ z - + - + - + - + @@ -4403,14 +4790,14 @@ z - + - + - + - + @@ -4418,23 +4805,23 @@ z - + - + - + - + - + - + @@ -4466,14 +4853,14 @@ z - + - + - + - + @@ -4481,14 +4868,14 @@ z - + - + - + - + @@ -4496,14 +4883,14 @@ z - + - + - + - + @@ -4511,14 +4898,14 @@ z - + - + - + - + @@ -4526,14 +4913,14 @@ z - + - + - + - + @@ -4541,23 +4928,23 @@ z - + - + - + - + - + - + @@ -4590,1395 +4977,2005 @@ z - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + + + + - - + + - - + + - - + + - - + + - - - - - + - + @@ -6019,32 +7016,362 @@ L 709.2 737.868583 - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + + + + + + + + + + + + + + + + + + + + + + - - - + + + + + + @@ -6053,7 +7380,7 @@ L 579.671875 868.709521 - + @@ -6064,21 +7391,19 @@ L 579.671875 868.709521 - + - - + + - - - + + + @@ -6087,7 +7412,7 @@ L 579.671875 883.387646 - + @@ -6102,17 +7427,17 @@ L 579.671875 883.387646 - - + + - - - + + + @@ -6121,7 +7446,7 @@ L 579.671875 898.065771 - + @@ -6136,17 +7461,15 @@ L 579.671875 898.065771 - - + + - - - + + + @@ -6155,7 +7478,7 @@ L 579.671875 912.743896 - + @@ -6166,21 +7489,21 @@ L 579.671875 912.743896 - + - - + + - - - + + + @@ -6189,7 +7512,7 @@ L 579.671875 927.422021 - + @@ -6204,17 +7527,15 @@ L 579.671875 927.422021 - - + + - - - + + + @@ -6223,7 +7544,7 @@ L 579.671875 942.100146 - + @@ -6234,21 +7555,21 @@ L 579.671875 942.100146 - + - - + + - - - + + + @@ -6257,7 +7578,7 @@ L 579.671875 956.778271 - + @@ -6272,17 +7593,15 @@ L 579.671875 956.778271 - - + + - - - + + + @@ -6291,7 +7610,7 @@ L 579.671875 971.456396 - + @@ -6302,21 +7621,21 @@ L 579.671875 971.456396 - + - - + + - - - + + + @@ -6325,7 +7644,7 @@ L 579.671875 986.134521 - + @@ -6336,21 +7655,19 @@ L 579.671875 986.134521 - + - - + - + - + @@ -6374,15 +7691,15 @@ L 579.671875 1000.812646 - - + - - - + + + @@ -6393,27 +7710,26 @@ L 579.671875 1015.490771 - - - - - - - - - - - - - - + + + + + + + + + + + + - + - + @@ -6428,23 +7744,23 @@ L 579.671875 1030.168896 - - + - + - + - + @@ -6452,14 +7768,14 @@ z - + - + - + - + @@ -6467,14 +7783,14 @@ z - + - + - + - + @@ -6482,14 +7798,14 @@ z - + - + - + - + @@ -6497,14 +7813,14 @@ z - + - + - + - + @@ -6512,23 +7828,23 @@ z - + - + - + - + - + - + @@ -6573,14 +7889,14 @@ z - + - + - + - + @@ -6588,14 +7904,14 @@ z - + - + - + - + @@ -6603,14 +7919,14 @@ z - + - + - + - + @@ -6618,14 +7934,14 @@ z - + - + - + - + @@ -6633,14 +7949,14 @@ z - + - + - + - + @@ -6648,23 +7964,23 @@ z - + - + - + - + - + - + @@ -6706,474 +8022,475 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + @@ -7209,27 +8526,27 @@ L 354.6 1302.94515 - - - + - + - + @@ -7255,15 +8572,15 @@ L 215.1875 1433.786087 - - + - + - + @@ -7289,15 +8606,15 @@ L 215.1875 1448.464212 - - + - + - + @@ -7323,15 +8640,15 @@ L 215.1875 1463.142337 - - + - - - + + + @@ -7353,19 +8670,19 @@ L 215.1875 1477.820462 - + - - + - - - + + + @@ -7386,20 +8703,20 @@ L 215.1875 1492.498587 - - + + - - + - - - + + + @@ -7421,19 +8738,19 @@ L 215.1875 1507.176712 - + - - + - + - + @@ -7459,15 +8776,15 @@ L 215.1875 1521.854837 - - + - + - + @@ -7493,15 +8810,15 @@ L 215.1875 1536.532962 - - + - - - + + + @@ -7523,19 +8840,19 @@ L 215.1875 1551.211087 - + - - + - - - + + + @@ -7557,19 +8874,19 @@ L 215.1875 1565.889212 - + - - + - + - + @@ -7587,15 +8904,15 @@ L 215.1875 1580.567337 - - + - - - + + + @@ -7615,7 +8932,7 @@ L 215.1875 1595.245462 - + @@ -7623,23 +8940,23 @@ L 215.1875 1595.245462 - - + - + - + - + @@ -7647,14 +8964,14 @@ z - + - + - + - + @@ -7662,14 +8979,14 @@ z - + - + - + - + @@ -7677,14 +8994,14 @@ z - + - + - + - + @@ -7692,14 +9009,14 @@ z - + - + - + - + @@ -7707,23 +9024,23 @@ z - + - + - + - + - + - + @@ -7755,14 +9072,14 @@ z - + - + - + - + @@ -7770,14 +9087,14 @@ z - + - + - + - + @@ -7785,14 +9102,14 @@ z - + - + - + - + @@ -7800,14 +9117,14 @@ z - + - + - + - + @@ -7815,14 +9132,14 @@ z - + - + - + - + @@ -7830,23 +9147,23 @@ z - + - + - + - + - + - + @@ -7879,791 +9196,1126 @@ z - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + + + + - - - - - + - + @@ -8712,29 +10364,359 @@ L 709.2 1302.94515 - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - + + + @@ -8743,7 +10725,7 @@ L 579.671875 1433.786087 - + @@ -8754,21 +10736,19 @@ L 579.671875 1433.786087 - + - - + + - - - + + + @@ -8777,7 +10757,7 @@ L 579.671875 1448.464212 - + @@ -8788,21 +10768,21 @@ L 579.671875 1448.464212 - + - - + + - - - + + + @@ -8811,7 +10791,7 @@ L 579.671875 1463.142337 - + @@ -8826,17 +10806,15 @@ L 579.671875 1463.142337 - - + + - - - + + + @@ -8845,7 +10823,7 @@ L 579.671875 1477.820462 - + @@ -8856,21 +10834,21 @@ L 579.671875 1477.820462 - + - - + + - - - + + + @@ -8879,7 +10857,7 @@ L 579.671875 1492.498587 - + @@ -8894,17 +10872,15 @@ L 579.671875 1492.498587 - - + + - - - + + + @@ -8913,7 +10889,7 @@ L 579.671875 1507.176712 - + @@ -8924,21 +10900,21 @@ L 579.671875 1507.176712 - + - - + + - - - + + + @@ -8947,7 +10923,7 @@ L 579.671875 1521.854837 - + @@ -8962,17 +10938,15 @@ L 579.671875 1521.854837 - - + + - - - + + + @@ -8981,7 +10955,7 @@ L 579.671875 1536.532962 - + @@ -8992,21 +10966,21 @@ L 579.671875 1536.532962 - + - - + + - - - + + + @@ -9015,7 +10989,7 @@ L 579.671875 1551.211087 - + @@ -9025,22 +10999,20 @@ L 579.671875 1551.211087 - - + + - - + - - - + + + @@ -9059,20 +11031,20 @@ L 579.671875 1565.889212 - - + + - - + - - - + + + @@ -9083,27 +11055,26 @@ L 579.671875 1580.567337 - - - - - - - - - - - - - - + + + + + + + + + + + + - + - + @@ -9118,23 +11089,23 @@ L 579.671875 1595.245462 - - + - + - + - + @@ -9142,14 +11113,14 @@ z - + - + - + - + @@ -9157,14 +11128,14 @@ z - + - + - + - + @@ -9172,14 +11143,14 @@ z - + - + - + - + @@ -9187,14 +11158,14 @@ z - + - + - + - + @@ -9202,23 +11173,23 @@ z - + - + - + - + - + - + @@ -9263,14 +11234,14 @@ z - + - + - + - + @@ -9278,14 +11249,14 @@ z - + - + - + - + @@ -9293,14 +11264,14 @@ z - + - + - + - + @@ -9308,14 +11279,14 @@ z - + - + - + - + @@ -9323,14 +11294,14 @@ z - + - + - + - + @@ -9338,23 +11309,23 @@ z - + - + - + - + - + - + @@ -9396,2595 +11367,2595 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + @@ -12015,27 +13986,27 @@ L 354.6 1868.021717 - - - + - + - + @@ -12061,15 +14032,15 @@ L 215.1875 1998.862654 - - + - + - + @@ -12095,15 +14066,15 @@ L 215.1875 2013.540779 - - + - + - + @@ -12129,15 +14100,15 @@ L 215.1875 2028.218904 - - + - + - + @@ -12163,15 +14134,15 @@ L 215.1875 2042.897029 - - + - + - + @@ -12197,15 +14168,15 @@ L 215.1875 2057.575154 - - + - + - + @@ -12231,15 +14202,15 @@ L 215.1875 2072.253279 - - + - + - + @@ -12265,15 +14236,15 @@ L 215.1875 2086.931404 - - + - + - + @@ -12299,15 +14270,15 @@ L 215.1875 2101.609529 - - + - + - + @@ -12333,15 +14304,15 @@ L 215.1875 2116.287654 - - + - + - + @@ -12367,15 +14338,15 @@ L 215.1875 2130.965779 - - + - + - + @@ -12393,15 +14364,15 @@ L 215.1875 2145.643904 - - + - + - + @@ -12429,23 +14400,23 @@ L 215.1875 2160.322029 - - + - + - + - + @@ -12453,14 +14424,14 @@ z - + - + - + - + @@ -12468,14 +14439,14 @@ z - + - + - + - + @@ -12483,14 +14454,14 @@ z - + - + - + - + @@ -12498,14 +14469,14 @@ z - + - + - + - + @@ -12513,23 +14484,23 @@ z - + - + - + - + - + - + @@ -12561,14 +14532,14 @@ z - + - + - + - + @@ -12576,14 +14547,14 @@ z - + - + - + - + @@ -12591,14 +14562,14 @@ z - + - + - + - + @@ -12606,14 +14577,14 @@ z - + - + - + - + @@ -12621,14 +14592,14 @@ z - + - + - + - + @@ -12636,23 +14607,23 @@ z - + - + - + - + - + - + @@ -12685,7132 +14656,9693 @@ z - - + + + + + + + + + + + + + + - - + + - - + + - - + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + @@ -19854,29 +24386,95 @@ L 709.2 1868.021717 - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + @@ -19885,7 +24483,7 @@ L 579.671875 1998.862654 - + @@ -19896,21 +24494,19 @@ L 579.671875 1998.862654 - + - - + - + - + @@ -19934,17 +24530,49 @@ L 579.671875 2013.540779 - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + - + @@ -19968,17 +24596,49 @@ L 579.671875 2028.218904 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -20002,17 +24662,49 @@ L 579.671875 2042.897029 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -20036,17 +24728,49 @@ L 579.671875 2057.575154 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -20070,17 +24794,49 @@ L 579.671875 2072.253279 - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + - + @@ -20104,17 +24860,49 @@ L 579.671875 2086.931404 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -20138,17 +24926,49 @@ L 579.671875 2101.609529 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -20172,17 +24992,49 @@ L 579.671875 2116.287654 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -20206,15 +25058,15 @@ L 579.671875 2130.965779 - - + - - - + + + @@ -20225,27 +25077,26 @@ L 579.671875 2145.643904 - - - - - - - - - - - - - - + + + + + + + + + + + + - + - + @@ -20260,23 +25111,23 @@ L 579.671875 2160.322029 - - + - + - + - + @@ -20284,14 +25135,14 @@ z - + - + - + - + @@ -20299,14 +25150,14 @@ z - + - + - + - + @@ -20314,14 +25165,14 @@ z - + - + - + - + @@ -20329,14 +25180,14 @@ z - + - + - + - + @@ -20344,23 +25195,23 @@ z - + - + - + - + - + - + @@ -20405,14 +25256,14 @@ z - + - + - + - + @@ -20420,14 +25271,14 @@ z - + - + - + - + @@ -20435,14 +25286,14 @@ z - + - + - + - + @@ -20450,14 +25301,14 @@ z - + - + - + - + @@ -20465,14 +25316,14 @@ z - + - + - + - + @@ -20480,23 +25331,23 @@ z - + - + - + - + - + - + @@ -20538,2663 +25389,2663 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + - - - + - + - + @@ -23289,15 +28140,15 @@ L 215.1875 2563.939221 - - + - + - + @@ -23323,15 +28174,15 @@ L 215.1875 2578.617346 - - + - + - + @@ -23357,15 +28208,15 @@ L 215.1875 2593.295471 - - + - + - + @@ -23391,15 +28242,15 @@ L 215.1875 2607.973596 - - + - + - + @@ -23425,15 +28276,15 @@ L 215.1875 2622.651721 - - + - + - + @@ -23459,15 +28310,15 @@ L 215.1875 2637.329846 - - + - + - + @@ -23493,15 +28344,15 @@ L 215.1875 2652.007971 - - + - + - + @@ -23527,15 +28378,15 @@ L 215.1875 2666.686096 - - + - + - + @@ -23561,15 +28412,15 @@ L 215.1875 2681.364221 - - + - + - + @@ -23595,15 +28446,15 @@ L 215.1875 2696.042346 - - + - + - + @@ -23621,15 +28472,15 @@ L 215.1875 2710.720471 - - + - + - + @@ -23657,23 +28508,23 @@ L 215.1875 2725.398596 - - + - + - + - + @@ -23681,14 +28532,14 @@ z - + - + - + - + @@ -23696,14 +28547,14 @@ z - + - + - + - + @@ -23711,14 +28562,14 @@ z - + - + - + - + @@ -23726,14 +28577,14 @@ z - + - + - + - + @@ -23741,23 +28592,23 @@ z - + - + - + - + - + - + @@ -23789,14 +28640,14 @@ z - + - + - + - + @@ -23804,14 +28655,14 @@ z - + - + - + - + @@ -23819,14 +28670,14 @@ z - + - + - + - + @@ -23834,14 +28685,14 @@ z - + - + - + - + @@ -23849,14 +28700,14 @@ z - + - + - + - + @@ -23864,23 +28715,23 @@ z - + - + - + - + - + - + @@ -23913,8827 +28764,11507 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - - - - + - + @@ -32778,29 +40309,293 @@ L 709.2 2433.098283 - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + @@ -32809,7 +40604,7 @@ L 579.671875 2563.939221 - + @@ -32820,21 +40615,19 @@ L 579.671875 2563.939221 - + - - + + - - - + + + @@ -32843,7 +40636,7 @@ L 579.671875 2578.617346 - + @@ -32854,21 +40647,21 @@ L 579.671875 2578.617346 - + - - + + - - - + + + @@ -32877,7 +40670,7 @@ L 579.671875 2593.295471 - + @@ -32892,17 +40685,15 @@ L 579.671875 2593.295471 - - + + - - - + + + @@ -32911,7 +40702,7 @@ L 579.671875 2607.973596 - + @@ -32926,17 +40717,17 @@ L 579.671875 2607.973596 - - + + - - - + + + @@ -32945,7 +40736,7 @@ L 579.671875 2622.651721 - + @@ -32956,21 +40747,19 @@ L 579.671875 2622.651721 - + - - + + - - - + + + @@ -32979,7 +40768,7 @@ L 579.671875 2637.329846 - + @@ -32994,17 +40783,17 @@ L 579.671875 2637.329846 - - + + - - - + + + @@ -33013,7 +40802,7 @@ L 579.671875 2652.007971 - + @@ -33024,21 +40813,19 @@ L 579.671875 2652.007971 - + - - + - + - + @@ -33062,17 +40849,17 @@ L 579.671875 2666.686096 - - + - + - + @@ -33096,17 +40883,49 @@ L 579.671875 2681.364221 - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + - + @@ -33130,15 +40949,47 @@ L 579.671875 2696.042346 - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - + + + @@ -33149,27 +41000,26 @@ L 579.671875 2710.720471 - - - - - - - - - - + + + + + + + + + - - + - + - + @@ -33184,23 +41034,23 @@ L 579.671875 2725.398596 - - + - + - + - + @@ -33208,14 +41058,14 @@ z - + - + - + - + @@ -33223,14 +41073,14 @@ z - + - + - + - + @@ -33238,14 +41088,14 @@ z - + - + - + - + @@ -33253,14 +41103,14 @@ z - + - + - + - + @@ -33268,23 +41118,23 @@ z - + - + - + - + - + - + @@ -33329,14 +41179,14 @@ z - + - + - + - + @@ -33344,14 +41194,14 @@ z - + - + - + - + @@ -33359,14 +41209,14 @@ z - + - + - + - + @@ -33374,14 +41224,14 @@ z - + - + - + - + @@ -33389,14 +41239,14 @@ z - + - + - + - + @@ -33404,23 +41254,23 @@ z - + - + - + - + - + - + @@ -33462,2774 +41312,2774 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + - - - + - + - + @@ -36317,15 +44167,15 @@ L 215.1875 3129.015788 - - + - + - + @@ -36351,15 +44201,15 @@ L 215.1875 3143.693913 - - + - + - + @@ -36385,15 +44235,15 @@ L 215.1875 3158.372038 - - + - + - + @@ -36419,15 +44269,15 @@ L 215.1875 3173.050163 - - + - + - + @@ -36453,15 +44303,15 @@ L 215.1875 3187.728288 - - + - + - + @@ -36487,15 +44337,15 @@ L 215.1875 3202.406413 - - + - + - + @@ -36521,15 +44371,15 @@ L 215.1875 3217.084538 - - + - + - + @@ -36555,15 +44405,15 @@ L 215.1875 3231.762663 - - + - + - + @@ -36589,15 +44439,15 @@ L 215.1875 3246.440788 - - + - + - + @@ -36623,15 +44473,15 @@ L 215.1875 3261.118913 - - + - + - + @@ -36649,15 +44499,15 @@ L 215.1875 3275.797038 - - + - + - + @@ -36685,23 +44535,23 @@ L 215.1875 3290.475163 - - + - + - + - + @@ -36709,14 +44559,14 @@ z - + - + - + - + @@ -36724,14 +44574,14 @@ z - + - + - + - + @@ -36739,14 +44589,14 @@ z - + - + - + - + @@ -36754,14 +44604,14 @@ z - + - + - + - + @@ -36769,23 +44619,23 @@ z - + - + - + - + - + - + @@ -36817,14 +44667,14 @@ z - + - + - + - + @@ -36832,14 +44682,14 @@ z - + - + - + - + @@ -36847,14 +44697,14 @@ z - + - + - + - + @@ -36862,14 +44712,14 @@ z - + - + - + - + @@ -36877,14 +44727,14 @@ z - + - + - + - + @@ -36892,23 +44742,23 @@ z - + - + - + - + - + - + @@ -36941,8725 +44791,11493 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - + - + @@ -45703,29 +56321,95 @@ L 709.2 2998.17485 - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - + + + @@ -45734,7 +56418,7 @@ L 579.671875 3129.015788 - + @@ -45745,21 +56429,19 @@ L 579.671875 3129.015788 - + - - + - + - + @@ -45783,17 +56465,49 @@ L 579.671875 3143.693913 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -45817,17 +56531,49 @@ L 579.671875 3158.372038 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -45851,17 +56597,49 @@ L 579.671875 3173.050163 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -45885,17 +56663,49 @@ L 579.671875 3187.728288 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -45919,17 +56729,149 @@ L 579.671875 3202.406413 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + @@ -45938,7 +56880,7 @@ L 579.671875 3217.084538 - + @@ -45949,21 +56891,19 @@ L 579.671875 3217.084538 - + - - + + - - - + + + @@ -45972,7 +56912,7 @@ L 579.671875 3231.762663 - + @@ -45983,21 +56923,21 @@ L 579.671875 3231.762663 - + - - + + - - - + + + @@ -46006,7 +56946,7 @@ L 579.671875 3246.440788 - + @@ -46017,21 +56957,19 @@ L 579.671875 3246.440788 - + - - + - + - + @@ -46055,15 +56993,15 @@ L 579.671875 3261.118913 - - + - - - + + + @@ -46074,27 +57012,26 @@ L 579.671875 3275.797038 - - - - - - - - - - - - - - + + + + + + + + + + + + - + - + @@ -46109,23 +57046,23 @@ L 579.671875 3290.475163 - - + - + - + - + @@ -46133,14 +57070,14 @@ z - + - + - + - + @@ -46148,14 +57085,14 @@ z - + - + - + - + @@ -46163,14 +57100,14 @@ z - + - + - + - + @@ -46178,14 +57115,14 @@ z - + - + - + - + @@ -46193,23 +57130,23 @@ z - + - + - + - + - + - + @@ -46254,14 +57191,14 @@ z - + - + - + - + @@ -46269,14 +57206,14 @@ z - + - + - + - + @@ -46284,14 +57221,14 @@ z - + - + - + - + @@ -46299,14 +57236,14 @@ z - + - + - + - + @@ -46314,14 +57251,14 @@ z - + - + - + - + @@ -46329,23 +57266,23 @@ z - + - + - + - + - + - + @@ -46387,2889 +57324,2889 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + - - - + - + - + @@ -49390,15 +60327,15 @@ L 215.1875 3694.092354 - - + - - - + + + @@ -49419,20 +60356,20 @@ L 215.1875 3708.770479 - - + + - - + - + - + @@ -49458,15 +60395,15 @@ L 215.1875 3723.448604 - - + - + - + @@ -49492,15 +60429,15 @@ L 215.1875 3738.126729 - - + - + - + @@ -49526,15 +60463,15 @@ L 215.1875 3752.804854 - - + - - - + + + @@ -49555,20 +60492,20 @@ L 215.1875 3767.482979 - - + + - - + - - - + + + @@ -49589,20 +60526,20 @@ L 215.1875 3782.161104 - - + + - - + - + - + @@ -49628,15 +60565,15 @@ L 215.1875 3796.839229 - - + - + - + @@ -49662,15 +60599,15 @@ L 215.1875 3811.517354 - - + - - - + + + @@ -49691,20 +60628,20 @@ L 215.1875 3826.195479 - - + + - - + - + - + @@ -49722,15 +60659,15 @@ L 215.1875 3840.873604 - - + - + - + @@ -49758,23 +60695,23 @@ L 215.1875 3855.551729 - - + - + - + - + @@ -49782,14 +60719,14 @@ z - + - + - + - + @@ -49797,14 +60734,14 @@ z - + - + - + - + @@ -49812,14 +60749,14 @@ z - + - + - + - + @@ -49827,14 +60764,14 @@ z - + - + - + - + @@ -49842,23 +60779,23 @@ z - + - + - + - + - + - + @@ -49890,14 +60827,14 @@ z - + - + - + - + @@ -49905,14 +60842,14 @@ z - + - + - + - + @@ -49920,14 +60857,14 @@ z - + - + - + - + @@ -49935,14 +60872,14 @@ z - + - + - + - + @@ -49950,14 +60887,14 @@ z - + - + - + - + @@ -49965,23 +60902,23 @@ z - + - + - + - + - + - + @@ -50014,13064 +60951,16016 @@ z - - + + - - + + - - + + - - + + + + + + + + + + + + + + + + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + + + + + + + + + + + + + + + + - - - - - + - + @@ -63116,29 +77005,227 @@ L 709.2 3563.251417 - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - + + + @@ -63147,7 +77234,7 @@ L 579.671875 3694.092354 - + @@ -63158,21 +77245,19 @@ L 579.671875 3694.092354 - + - - + + - - - + + + @@ -63181,7 +77266,7 @@ L 579.671875 3708.770479 - + @@ -63192,21 +77277,21 @@ L 579.671875 3708.770479 - + - - + + - - - + + + @@ -63215,7 +77300,7 @@ L 579.671875 3723.448604 - + @@ -63226,21 +77311,19 @@ L 579.671875 3723.448604 - + - - + + - - - + + + @@ -63249,7 +77332,7 @@ L 579.671875 3738.126729 - + @@ -63260,21 +77343,21 @@ L 579.671875 3738.126729 - + - - + + - - - + + + @@ -63283,7 +77366,7 @@ L 579.671875 3752.804854 - + @@ -63298,17 +77381,15 @@ L 579.671875 3752.804854 - - + - - - + + + @@ -63328,21 +77409,21 @@ L 579.671875 3767.482979 - + - - + - - - + + + @@ -63362,21 +77443,85 @@ L 579.671875 3782.161104 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -63400,17 +77545,49 @@ L 579.671875 3796.839229 - - + - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + @@ -63430,21 +77607,53 @@ L 579.671875 3811.517354 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + @@ -63468,15 +77677,15 @@ L 579.671875 3826.195479 - - + - - - + + + @@ -63487,27 +77696,26 @@ L 579.671875 3840.873604 - - - - - - - - - - - - - - + + + + + + + + + + + + - + - + @@ -63522,23 +77730,23 @@ L 579.671875 3855.551729 - - + - + - + - + @@ -63546,14 +77754,14 @@ z - + - + - + - + @@ -63561,14 +77769,14 @@ z - + - + - + - + @@ -63576,14 +77784,14 @@ z - + - + - + - + @@ -63591,14 +77799,14 @@ z - + - + - + - + @@ -63606,23 +77814,23 @@ z - + - + - + - + - + - + @@ -63667,14 +77875,14 @@ z - + - + - + - + @@ -63682,14 +77890,14 @@ z - + - + - + - + @@ -63697,14 +77905,14 @@ z - + - + - + - + @@ -63712,14 +77920,14 @@ z - + - + - + - + @@ -63727,14 +77935,14 @@ z - + - + - + - + @@ -63742,23 +77950,23 @@ z - + - + - + - + - + - + @@ -63800,2310 +78008,2505 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + @@ -66135,27 +80538,27 @@ L 354.6 4128.327984 - - - + - - - + + + @@ -66176,20 +80579,20 @@ L 215.1875 4259.168921 - - + + - - + - - - + + + @@ -66210,20 +80613,20 @@ L 215.1875 4273.847046 - - + + - - + - - - + + + @@ -66245,19 +80648,19 @@ L 215.1875 4288.525171 - + - - + - - - + + + @@ -66279,19 +80682,19 @@ L 215.1875 4303.203296 - + - - + - - - + + + @@ -66313,19 +80716,19 @@ L 215.1875 4317.881421 - + - - + - + - + @@ -66351,15 +80754,15 @@ L 215.1875 4332.559546 - - + - - - + + + @@ -66380,20 +80783,20 @@ L 215.1875 4347.237671 - - + + - - + - - - + + + @@ -66415,19 +80818,19 @@ L 215.1875 4361.915796 - + - - + - - - + + + @@ -66448,20 +80851,20 @@ L 215.1875 4376.593921 - - + + - - + - - - + + + @@ -66483,19 +80886,19 @@ L 215.1875 4391.272046 - + - - + - + - + @@ -66513,15 +80916,15 @@ L 215.1875 4405.950171 - - + - - - + + + @@ -66541,7 +80944,7 @@ L 215.1875 4420.628296 - + @@ -66549,23 +80952,23 @@ L 215.1875 4420.628296 - - + - + - + - + @@ -66573,14 +80976,14 @@ z - + - + - + - + @@ -66588,14 +80991,14 @@ z - + - + - + - + @@ -66603,14 +81006,14 @@ z - + - + - + - + @@ -66618,14 +81021,14 @@ z - + - + - + - + @@ -66633,23 +81036,23 @@ z - + - + - + - + - + - + @@ -66681,14 +81084,14 @@ z - + - + - + - + @@ -66696,14 +81099,14 @@ z - + - + - + - + @@ -66711,14 +81114,14 @@ z - + - + - + - + @@ -66726,14 +81129,14 @@ z - + - + - + - + @@ -66741,14 +81144,14 @@ z - + - + - + - + @@ -66756,23 +81159,23 @@ z - + - + - + - + - + - + @@ -66805,9153 +81208,12287 @@ z - - + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + + + + + + + - - - - - + - + @@ -75996,29 +93533,61 @@ L 709.2 4128.327984 - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - + + + @@ -76038,21 +93607,53 @@ L 579.671875 4259.168921 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - - - + + + @@ -76072,21 +93673,53 @@ L 579.671875 4273.847046 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + @@ -76110,17 +93743,17 @@ L 579.671875 4288.525171 - - + - - - + + + @@ -76140,21 +93773,53 @@ L 579.671875 4303.203296 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - - - + + + @@ -76174,21 +93839,85 @@ L 579.671875 4317.881421 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - - - + + + @@ -76208,21 +93937,53 @@ L 579.671875 4332.559546 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - - - + + + @@ -76242,21 +94003,21 @@ L 579.671875 4347.237671 - + - - + - - - + + + @@ -76276,21 +94037,53 @@ L 579.671875 4361.915796 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - - - + + + @@ -76310,21 +94103,53 @@ L 579.671875 4376.593921 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - - - + + + @@ -76344,19 +94169,51 @@ L 579.671875 4391.272046 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - - - + + + @@ -76367,27 +94224,26 @@ L 579.671875 4405.950171 - - - - - - - - - - - - - - + + + + + + + + + + + + - + - + @@ -76402,53 +94258,53 @@ L 579.671875 4420.628296 - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + diff --git a/model_selection/output_cv_metrics/metrics.xlsx b/model_selection/output_cv_metrics/metrics.xlsx index deae0b388f7bde4a94e8031c7ac561290ef4289a..0d279e2dea470bb5ce8e1dacc7b0b8a4b551539c 100644 GIT binary patch delta 5964 zcmZ8lcQo8xyB%E+F^C>BMv3UXL}!Rz6FrC$VaSM)m(hOW4My)q7bS!Q5eAb)ON8h( zL`#TKqW3nKn|y11Yu$U#KYQ(S&f0(M^_=rOYri-7VZvZ;L_x_40)c2jvFKEW8Xy+^ z!Pa@h$aL+`ULP3<1pb5WNH=qTq#sJs4e9S85#;OhGS$TFvlK%#sdqeNU1-V3VuBvS zqOWgE{v@6m8UIKGCjGUpN3sNdW>>z__)mO5oWiyeicEv7&-URqy}>1!n2sZ>+z;W z!c8sFg~>Kt(f>B6{u`MF_0_)?y_$U#aQ4SHwRApOKHzuS^*d=%&QyzJckz06Uj8XqD+JQ{CW4URPYm1vEwgTVvMs!n@Rz1 z(ZzPmF+>9(p3f~VRLqikO=K%m|{S5niplPTSXI=puR}?{PAWbWzi*Rq#?Vq(ZgSw|h8Xwhv z`ro&5BAvb_UXFrR_AUa5r{lA2q@fRr$=j`APHMo>@UCK6tXC!ITJNj(>DL)gE4f=?7rJ zx&$_9;gYu)3-C)_xD8T5b;SP#~?{o5*Fv~=}j@SJ?eu7SmOE)Oq|zE#&vwYY0! z*XD*nO#u23@&=5>EGH&-q=giDnP(J8sD__b@B&P13%Ox%&{6Xw-nBh@ccv zp<}(ldLBeO-y{u6`LZL$3{7X&+=R zB>d}FLu9P}DQoJUFpP8ttT?ImuD@hE^Knafk(*1vbUxax3;nG`cFYV|F?_5sN~ zxWS3IGl}A}T!q@A>5u9@`!*rIPR=W7bs^lM?47=wjd&C8;(_W+;Qp*Fi$sZc(|~WH z62*5JlzAluSlXBOj#*;(<>E;8yO}k_`$W4ZPeyHJ@5D^x8fB{>B$TdwP7va7S#D>P zHB>Kl{TkA^OjqFgY#)ThELLAEex@2pt|hqz<|ft}cpR8WK*Dw4X&DQ+Afo`?yeFhhKEm`PoK?3A0FkAByW-aA*c@Ca$Uf*4-(XTe6N%g1J4wj~ju&4~5<6g4)!x+c z#&R_r&@?;PZLKncAoO>mq;qR(m`qOf7aD_20a`}3dcvp2I85>|120le?FfCguKuE= zGs}Mh?761L#zJUIN$$Vn0zHpf^ln(Iz*Ijtr{I%|5VP!Vcr1}&73+GN}-rO36 zGhX8P1y7^-xEOo&YeOMX=$gP)o7(GgHrfS*SLxTmT#fvlCs;$Z8)tb`9V7l=xL;cC1(Mp4LR-^q53{sfO2TA|esc0R__bsBP^te3D=;oBq$OqE;AtAm zR{4M}w_TwTLJT1BG^Bu7utH73o|8z-*H=ITJYyFZ)JgZx^9pni6M5>mOp$b-<)?q{ z)*1L47*QwTvn}q*$vw5Df;Cmr)Ja0}`I{uiJAugryNQ@dz1S>|Ukrn|dwLy+(v1>3 z#vwnYrGkW1%S4ACf+^z)$3i@vt^RLo4vz9>QamIIxe&{AHM(n&zK^Y}ik>Tbd~jG% z=KdjmO1W~^HzilaRsY5#lKU7Fv$Kxv3}B<953BgV&HvQEtt<(d0QkS=@x>1xFT(2U%f?d z=O#W@UBrLcF4Ql?w>Vjbe&c~)9$gAg6#&xe5hB|)(NE-t!KoipS?s-uhq{^$U->Ps zqlCE@eaDb*0c@btC3UMJzs&DB3wNOjwSFk)JaMK8xvk!MwIHyEk!}uT@y*eq@t|XM zSWA3_FVcSmO1njwWC`9{GK+LE%fnUeoic%`PQu^qUUaSyofla~y_x&&z0NPu19aee z;1Aa+1E1X1GQYJRtB*Q;j$zv3!xILlDh!5i|1hXD;GzQ4PIm3H6s-VPZG`Q!$|iL6 z5~DHsMLHp?r7X`wE$-wnM9x3n4zf*%#aRB*VOJGzVoJSNOorq?j5S+p(-Vev3kU|^ zI%edCx!%_RrIsc6ja->#aSHA!0IZfZ;hpnIY5al}22A-(E1#`x%Xsc->KZB77o9X* zA~v+Ej4gA-0tdfm}w@GNs9ewgbd1mhyfeI@1ogaMr)&ND00{~n&Ugid@= zQ5?F9i>Q^Jo^(z_EQ{XsNXT?Jt43_T$*jmpyw`~KvA3Jy6b-De&a})1aJ|8NF1T)2 zMNa6UM??i~_VHLnR>OYZ+vNo2dgPYN!+i%7W26#Peu$+#VLaWrVM=nE9OaT=sQ3hW z_~lszbVG#FYvbT$m+jI?T3%zlwc+QQl@9wQ)pyu!_v(D1H=cA9U0fx(zsu>%S|xVm z4mK1o19jSbVnp>$Klh%YoW=cY`K#A7)8Rs|L87iLct>?Kh|vu4?sV|d0C-Z*>*d|N;L zaf8MMszF0|pzOtG>A;h`yO$U4^%f!Xpss)Vq})D0SwmLQ-9(z z!0wf&^tQ%Okq>$p6|voV?U9_V+ zNXFFCvPRic%kLi0_Q*g7+pRzbJ*0|2g=#O9O%B+E^y z--Gpes4C@Kj(VuR6uXuH8CqygIDF0O92G#`YwV4$s;!cXTyE4fg7>Cx7M!FAQi7x_ zNLoyeg^6jgH%Z2pkML4{7~2N>Vx%|!MWxxHA#92A`wR%gfVFHp# zfyQ=6p!z2V7dncG6a?4tT(Cj*yrVMs86UY$>CMU(HIpWp(rjhk4!`$*9v{7GsDJ^U zz2e7n5V8InRN`aw@trE}rOo=Nm8_^2Pv2{3i@`IBRZOPzHf4*ZYrza&lAMjD^flt# zFn|AL>(HIMPj1pGmr3INZpqPVo626%h8rL9k-;J<2DRZ?G)dj=+#iNQ|7oKZW-X#C z3LUt?1!FFFkrWybnNn>ClToG@R(}PEBt<#iZzs#{I>B?>vJeT=+=>TbK^s*d z^x6>-@tUXIZ|tA0-ki!NFTjIV#;Y>eP81SUU+D2&+6!;s^M-G$2sx{9j3;?CPa%&G zA`ZP2>Jx8j-{UJ)vJFh$vYKXROa9Xl8DpJKzx4&Hx3q~BYOfg$Vt)~y zGQ$Xt#zyc#@i^1a9rvncmt@|~sM+iMu=LVOI6UV#DN^q0VH-e&DWOy2%SF0tXb2It zq=jfSlJVX?n3O;#D$Qq=>BfX8#a%wLi$@a7VlYCYAq@88GEbh}POVO&IN7Uo4{x?a zy1f133*kE|Nr_t_PB`CFf^q<7QbEf}ND5_$OtH#}!TgrO+J#A(0`I(hh82Q~hzFN{ zhL`g+)L2eDFs8?}*B=EVJhSN0ZLQ>o{Cnn7#t0gFaO=;r&+Ye;;LcB+Sy6A&pt;G) zZDfkDa7qGIgOs8JVlbCX(mb#(olbYAk0}A!paqd8o9#iiK6IK3qM(&wYUdqX@?uY^ z%T+S}*)lbFz@40f7zyflmv)}TvR1T4k5Q|VN7Kmn=g&T|QxA@O$GXJ{s0zt-edX+t z{ikr|hmkTzsoZ!Q7bCj7vmKD zgpyVOy|-WZpj@5D*mnkCp`deS_&YGs3)dJ(CO-)3n&3bmeUUvXe6o{J>Y1OAnpTSS zm+or+RP{XwSlGXO>Ntg5M@-w(EgTP2%kM``3@RSCqIU*Lk%giA4D}7+uYUabXbO9d zE6?9Y(Dg_}36^_&D#(e(2nROAWvyoPY63KHi+!IkNm_ieh{rEnb}B9BfY7pKkF4*s z!ub8w(thpNbBUAeF(1{1Kd`z~#5yKJwHvmqL;Z-2ERc65+VD;!iV5;`vlBy#}k>-Pf`%aaMn+-SlY`fqq;icC(mQVEA45cj!iH8xe2^brPjU)erNCF zN9cEbHSm>fc1Fv!&fl7)C+UzzCQ6lIv6oqj;$_D7=Ev>uBc#y^5@MeGiKsZgIH6^a z8Y7l9iCyJSackjy?k_)#im>W&HUTZ5&wlyauDcl;iWzGU~Be26vQX z7+qWRP3TZY&`+oB42smAa-sXI%T3WI_sGJiQOhN5a{gu8&n^k!TlzreEVBGsScnso zf0k8mYIJK=;yPA+()lx6nv)^%YXPr=SA;NOH#18eUcDVLOyd{~eFr>GzXWv-E^uU( z&gV48VxFsn%Np6&If#pOA3lL`zc7Ichdpz-YChkT(O<6YDdLt1@$@o6cDKk{qme&s z(brt0td(zA1$(lWkE%S7;udZCiIwr&>S!biF=Vt#`Pq$bHhp-|ui8G!Av*+X)Hgo- znL8ESBHicUu27esSO+{rv#|)K4s`t*B@Jfp&j)h`Zkkw*L5aa2q4qNZOfx!nfc z5&hX#Xt(}sH{Q!FU+;g0JJ?K!t>XBAa5pwK?}5F5TKSm5o3|9}UL1Uh>}#%vL?GVf z^&Q1YuWv_l)t?uddKS<>t*cz(W6sNU`-Mrfs@C%63{SA*-3D;W!~AMX-^^A|$=f}& zuBRak`yT9L*8j}63GwZ0m^Xwi#2xs6&^i?#b0Ps2b6_``K|gJ<_UXaXtfQ11&M(cE zBiFcJBpzV9%QS>XGCtmSQfgD1VJhegvxWt5TcR>XjCiT%yXv3>r@D-czzQK4U6-qn zc6hH>>U;O%C}69LXjF7eTHLNBXEuqgUeh0M(1DB6N|@b-!dlSIacA>>`3rB2OLe6T zzrL|%yLB(^XWjE;k%n$(UxBtggG;WLDYva|Y}PBrV62%~3snA{r@or*xiRzk0a!0y z(^dezvC%mc`44ciG*sfdszCN)k19ewp!n;T1qEMKHwVD3%VCn|-EC-zet0Pu^Db@d znG;wqFMn72ln|CPwcjFz=6$c?;QPFF@5%*NbOfW-ZVc&w;pH%}f0-)kLpuKM=La`MY%d354@*NJG+?w{suAajpvD{;@rxzXxQ^1YBAO+A``) zd_XdLLSzc+2fWPR%ONy{##>8gtfOnFP19%VLs~~nubQ7;(HCk2XT9wt_MATnkiNx-Tw%L5y6Mxdq zx?nn%bnXA7sIVKuN~ z0vi7>epM4x{(BH4$fI`q1_%`7BZ&$?`*@)K#?Z=}&}s$kfx5goLQ$ I1pdnW4~_+BQvd(} delta 5935 zcmZ8_cQ71W*!?0QSRn~(wTQ41(bf_rS`e$(=)x*X^iFt@)rqX=R*PPO=oTBXT7u{$ zcoDrtk0n@bzvMUb&hMM={&CNo=icX;xzD|GX6~8S`lJQa)u6b>2mkX*{7PfWwvJ>)mbtz8l(C&f)qY!p|t-e`$2?avT z3=a|#(yuLpAoHM6F+H2_d%J4=lc9^aP-9Zx@eNQm6MQ)bDXTsf+!Vz646Ekx5( z>%3%MD?51gD9?0_I_w>p#7_3-kM8@8Cz^y<1e4+OUsrlpz9lDf-QYsGCVz*gMUrSb=smVA%BeLY zMq9*kAiwgvL@Sy;@Gu9i+W&#t0pg?ok{tj_Jum2O9mBlhPJb10m&Wt%MX z+0ntHH>iT;t?}Q38ymuiY|`%Uxqjv*lw8nfVo*@<$TTSD`xwo2l0-+?X?t>&m_n% z6v!c*Ez~Wqh=HejKgddtFa3g1AKm4zHU?*->E-3BbL0a9gI-;3^h8TEA);5BI8&>& zT&g&$5cuYn%d;IfB32l2fxlRq&_5?m<^I$dzWfb)?fHAEYlG|ChFi0Q!_@o1sd}c}Md)z50XA8XtbUa?$Hl+>-%c#A_;3%s4+C)bQ31`; z`4Xic-r|J=2-={(fuJ~VhTP$2%fX7h9oJjX?w^n&{I#;Pz!)#XsIMQ88%l$PCYcb`h zYi>E62C2`O&dM4iPIWz8lp>VSi1DxlQN#A}YZ5ALD&VINi85>oF$dfa-j-fh`OZQX z`<8zaSrjy&io+zLu59@^*VcZ-p2VTZ4%jj^pevU)Pg8a@P2@CWJfPNzQ==)X9=_C| z-VK*d${e-{TOH$;=T(C_RYDuSJA*R?K~~_DLStuLIVtJ4buAV?H4p7K3eVs2hQphc z?AfG7Hllmv6QcfIfM;I}h+Xe6A1`fV9#+r4xPW+sdp6*56I{T4E zcND-b>vy&pA86ZWUoE^gnN|68%bC{L!7hBP`KKA@9s|2a{8$j>xfYvVW~=+sZQo(g z5XE@Dq~*E%{CkGWvvqlK&iaGmSoG`Oy!bC8_JK$0Nl2a_t1Y|%Cb0e&1CKN zDhD2x{tA!@)q9p5JUBBpa#`zy+V?jOA{}jSOUx4UGgqOywBajvs9AE;DkB!zTc5+f zT_hwPvT*GtP}P5l;eOeu?l;8xvU)NSgzOG;^N3A` zYe*vdswW)IXCx1`&fB<^;aJy~#YY&K%uCA9NZ=Q9`_b`Mnl+)jEe^%sinsXgck0Cb1s`8C zK;9(%L-nP0iBmhQ)MII~(?FHOYV(!E=^_>9?ESeZ&NpbGBEDk3dEiE+mg5C3tcXe}c^#4tNdqLhL3bQ*ePCJ(pfu)xS zAp!vGwc~;V`KX2JK)`_Eo%S&zNPGGcbn{~(53}DC*P08r@7apyy%%5|1(t~hE7TGU=f`cacdXGI&t2T^%bVOjcG zb=5*!8}UM};Siz}$%45a(J_I8gX?7SL>vs9fjDgMBKZIS?whwDOQW>Md)uF5pfg5k zm^i_$8Wg`67^Mi;wuy8}<@oR*Qo*_K7F<&go6RlODd`bMQhV%&#HekZl6R&(V7(#5 zQYaR$)Z4&j3xYdXy?7t;Eb#8^^1prr?KTqpAA!&PM4lWZdFxF?2xAQ?i{BmiFC1c zqXFwR6}6|WgRe=}sK2+|**%dB>nTGS^)9Ma?g>7>nfVy34ACaD{Q{xWhTV7jzEcF! z?hY&~_9&U5m}cQ9)N^9gdQ`dIcRT=AW=%INu5eDc3anBXnNj2Fv9)aXRWH{3HmwTO zRyKp(-y7I30tuxY>(fs3+ymY!)~D?WQ#0#xcAf->@>F&!Y_Ueab{ZpzMBP!-FKaE@8pLZ8Mn;219qZta20K6)jhqYV+)tFTTui|XLh>*&%lSssFE zhkR3A1H^s#fV|%h&U{oBIV&5%)#4MO@J3W!!!EZ0D(RYmEe;(AY&u;p!ZUgF={%G* zs<}%e8%){V9Zro-!khAAdr^~L=KPLYu)xlQtmtdvwznxUruNp?AOq#Uo+FlW>+bw= z(62BE?kNI^b28Df@Xh@)vKdL^Qb>CfXzj5qsS3&2hN&0+Zdkl)JDJP$snlpN_bii? zf=z%V-_>+=D*cXp_JYr`mw~?sqVz5-;b~V371txFL)K$OG*7STuo?>d;!e^N#n+mR zndBMnG}&JDu3wRuPK=+rtL`3`6Hr~F2%8u%Wx{B8J}{dOZMIW+OBkwoxG~W<-_DU( zDfD!`1<>!~+A=lB_3G0tY@{8?)%ppSVA%6W@^!1oPej!Njrb5;E@cgS2G-*P$(aA% zVP!}$Nx~vzM}IGtAclHq{Ep2$4V11d1;G72c3bTzFi342gq+XiWh170LrY&ZI*|sZ zuKG>t=e9BB*j4+Ana=M7I;*?g3La9>y~(-r4ytz8s)7%xw3L2xS~bH zqIhC}Hzh?`OdVYBnNI|-SDZr>@-GaU*8=MDdAUcazFVS=z;*g+a9(pk9!iU^3gG)p z#h_qC5z1UIQ5H{jXhywZ&rAF}1mR8%0#>0}!BhH54HdPM>C&r8tgA3`N_@W8=|TTw zx6$#Q5__g6Mub}FxHCkLlKC3JaB2fzh45m6SrB>+Fb3>VPOw#FAv$o`jZQzzXe}sU z+N`Y~>}UQ&9VpbMjqGigP4>j8bnrT00bUE_Cbt`QKd-JA2M4J|CdByQjd@;WPxEpw{YpHv=OWhQ`1Bu36Wq8A%1gZzJG ziIb;ctW4AIh|orh=WkR{C!F)POOa&>JuIenid4onSBdr1F25cs_D>E<3pq#~>Ni(1LcujPApt zEV>=QKlobAgFx_G;LTXW9%lSI`89|Yj`5Zdxx2Hfpo=?7liMX=HV=w4Yh^2Bj(Rx> z)Uk???=iA5@wfcUClSi9=D5aycjtHs6 z54E_sNq#wL*QRNcxX?}sO6}=?8*O8GWO%<*uHN}ZVJ_^lk-9_o@cmv$A+sMreJFHt z25%`F(s=?%+nn`7AY$iDZdwCM$O%i6^z+2x!1nJ2ax!PWIw5PtQ~6_!BxBLMUxR;@ zr!{0*|Hz9iib|Yvb)FeTzavv~(%wO#LNVrbq&`Fm)chE0c*2a|Lv*L^;_)e!1ogC; zXf|3-q>ty)P;?;Y-5~#?CF+`^*FRtV(Hj31yzm-^+Mw5u?;}+3PSwC4!Nsi@iXlsV zD9xa;6ep9fIv2xhG2#clXbKisX57bO8?@Sa6rR>L#nhp(1+{f%V?0IWiXq<;OI*2y zjG3BK1xf`7iy$*1&@m_W!Xh_ktEY)+0(H2bGEQ+R$Ap$NSLtdPS8mO5?WTVp0~r#$9Z8idWlG+ z>Ce!%^7BrV@rg#c;=D%3nqz?I9Twb)UTV}%Ot=$2&`)0l-r02R_t@4KTnOcx9?|te z=qeU7<}`m&-%v)g^Mv1+h&Usl)Lz_kFE%Vv?xRwsgM+-4^Q_U&8efFyt^eTp5$gF# zvKbPEWncXjaRDlc9*jAiL%%_%45pi^F+GvhtGbQCA3-jXazbREFSimQ3!H}GT)6-T zZ~>H4E=jn5(eNsReaH5*nAgYsoP$-9{dRvQddWC6*TQyY1XrL`F^A*NDl_csP3KF9 zE7x{$!+!6$EB|9~WRPH?HPCb09BT7sG&B)H5EO-qi}%!UTtE2|hwR;e@-{Xs+dZ!5 zz@TQ|xP%#n=N-|7K@>uVVHwKaa%Di)ezn>$b5D1=J}uCDg@BuR5+8Qn@wK+n+HUSb z(}8_!Cph3vV9h0-m7>@km|f~Kd+EklAEY|ePIynnSaR-eeQf#CN-izX+~m01B>nuM zN`t1*Yl`RGgCC@8)Cym;hK-%j49&GUf>0@#a>@LXDmnq-F=t@5m*00*$@TU9p|thu zGqWX|Sa)+F=C)AfNHY`5B*!J0BN@bC*q8+E(8`b>xzJZPp?-c!ZM*H-P*G237mq}t z#)i+o=hD{GCG*yNoOR8jI4KS*ztl(8>yiuMyEoVX8`OrqReY6EgWN+BPB54@If@Mm z3qWXVbSup3J_6P{6oICThSN&2N8S<4B|mD9aT1Vl(eja#kUqmB%z1&l!)S_(g(Z)* zo>B7q{s1GG4~xEY%BY4Vuszb&x)*2T$TzGVhh!Z1`V7wN9+|k16v_LkVox}Dj&!(y zpc2TuO*OM-7;}%&beWy#*q#=MDzOU|+kf(=UCLWnE3K9Jb~qN@g4Jw6n>tei11BCG z@*~!T189h%Ovnn=NLF-tl8$&%exNNdTtiGh+Z#}QlvlhKn4x1jlbiD;=Y8WWva+C! zpiD~os9V)6AecLOZRH49=zpz?bgI|S`jxoLle3eZXw?7bjb(QREUuzLy#WmYriQ_5 z6=x7(GSQN-nAFnOba0{EL+AEiC$kM75At$z?PN|qjO_`7d2;6Mb;>;dxg9t;L$Ucn zHl**5{P;v^X3_}vV5aiIb$g|)S)uo(QYToWfNx49lh;z%KPMGZY2THkdOAz2xTQ;k z|M_XnQfk_XRm;77p)iLsn04M>c=98vgyOjr|5+=-?^oZuyOIHm>;Tu&YC;=fjTF$> zIJX&a8dgrHN~)?=c2sPlEIACTGmx^J?huwHUk90R=7e{+4p)C_BlwbV8xp=KUp^1J zCPml9luo<|RMv_ub3^J0MgK~>_}i_qb}yXt;_BaHzsEaWqWY%JHbm@O#)W z>x^8ihz$D9R>Utkf&%9@F4o65!G0zI`J>e?Z-&O;w!YIo%)tguzxQQXje!u}To5?) zm=(6_3=;(7UcX8K28Z5dsat;>lE~5g0QueQXQ&7q!f9!bK4O5Hl^cFCJ|B~HXfQBw z6k4-bLT2-za_c+7b`&ks1%Sl+AQpn&Tn;+hcK&Hp%Y#71#-N`Vvch~QJW<=EjCkl@bL>&^Zrh8Ueo_E-(T@dSA{(6HXg2(w<_T+*a=Uq4X_oUM$ z|I1_lCI;=(mf6|pp0*e7AD#Xac+!JQ!jR~7HE907g?3*rorbG^uRI zw*N7uLF51c?H~MagpmE@1OO0Tb}rt+LVssn4Ki{@ivPUrWCmV#ve9Hg-n)NGYW*RP plbv|^IRBQ+ic*YV`{Q*_Q2+pU{;T%~L&#W@>v(x7?RowN{|9^-Y9#;w -- 2.24.1