diff --git a/model_selection/cv_metric_gen.py b/model_selection/cv_metric_gen.py index 7546601a3558c6dd78a3dbf83d82d4e11987946c..e8be09959b6593e9049e8abdae0a99780d45f061 100644 --- a/model_selection/cv_metric_gen.py +++ b/model_selection/cv_metric_gen.py @@ -209,8 +209,9 @@ if __name__ == "__main__": # Curve generation setup mean_fpr = np.linspace(0, 1, 100) tprs, aucs = [], [] - mean_recall = np.linspace(0, 1, 100) - precisions, pr_aucs = [], [] + recall_points = np.linspace(0, 1, 100) + all_precisions = [] + pr_aucs = [] cmap = plt.get_cmap('tab10') # Colormap # Initialize storage for scores for each fold fold_scores = {metric_name: [] for metric_name in scorings.keys()} @@ -240,18 +241,14 @@ if __name__ == "__main__": pr_display = PrecisionRecallDisplay.from_estimator(model, X_test_fold, y_test_fold, name=f"PR fold {fold_idx}", alpha=0.6, lw=2, ax=axes[model_idx][1], color=cmap(fold_idx % 10)) - # Reverse the recall and precision arrays for interpolation - recall_for_interp = pr_display.recall[::-1] - precision_for_interp = pr_display.precision[::-1] - # Handle the edge case where recall_for_interp has duplicates, which can break np.interp - recall_for_interp, unique_indices = np.unique(recall_for_interp, return_index=True) - precision_for_interp = precision_for_interp[unique_indices] - - # Interpolate precision - interp_precision = np.interp(mean_recall, recall_for_interp, precision_for_interp) - precisions.append(interp_precision) + precision, recall = pr_display.precision, pr_display.recall pr_aucs.append(pr_display.average_precision) + axes[model_idx][1].plot(recall, precision, alpha=0.6, lw=2, label=f"PR fold {fold_idx} (AP = {pr_display.average_precision:.2f})", color=cmap(fold_idx % 10)) + + # Store the precision values for each recall point + all_precisions.append(np.interp(recall_points, recall[::-1], precision[::-1])) + # Plot diagonal line for random guessing in ROC curve axes[model_idx][0].plot([0, 1], [0, 1], linestyle='--', lw=2, color='r', alpha=.8, label='Random guessing') # Compute mean ROC curve @@ -262,11 +259,11 @@ if __name__ == "__main__": # Set ROC plot limits and title axes[model_idx][0].set(xlim=[-0.05, 1.05], ylim=[-0.05, 1.05], title=f"ROC Curve - {model_name} ({group}-{method_names[j]})") axes[model_idx][0].legend(loc="lower right") - + # Compute mean Precision-Recall curve - mean_precision = np.mean(precisions, axis=0) + mean_precision = np.mean(all_precisions, axis=0) mean_pr_auc = np.mean(pr_aucs) - axes[model_idx][1].plot(mean_recall, mean_precision, color='b', lw=4, label=r'Mean PR (AUC = %0.2f)' % mean_pr_auc, alpha=.8) + axes[model_idx][1].plot(recall_points, mean_precision, color='b', lw=4, label=r'Mean PR (AP = %0.2f)' % mean_pr_auc, alpha=.8) # Plot baseline precision (proportion of positive samples) baseline = np.sum(y_train) / len(y_train) axes[model_idx][1].plot([0, 1], [baseline, baseline], linestyle='--', lw=2, color='r', alpha=.8, label='Baseline') diff --git a/model_selection/output_cv_metrics/curves/post_ORIG.svg b/model_selection/output_cv_metrics/curves/post_ORIG.svg index bf3c7654ad7a727035554db2cee7e1db0e2dea16..8b11dcbf12b9e55c271e9689dbcea3c69e1025d7 100644 --- a/model_selection/output_cv_metrics/curves/post_ORIG.svg +++ b/model_selection/output_cv_metrics/curves/post_ORIG.svg @@ -6,7 +6,7 @@ - 2024-05-27T14:55:51.831980 + 2024-05-27T15:12:17.323977 image/svg+xml @@ -30,10 +30,10 @@ z - @@ -41,17 +41,17 @@ z - - + - + - + - + - + - + - + - + - + - + - + - + - + - - + - + @@ -659,12 +659,12 @@ L -3.5 0 - + - + @@ -674,12 +674,12 @@ L -3.5 0 - + - + @@ -689,12 +689,12 @@ L -3.5 0 - + - + @@ -704,12 +704,12 @@ L -3.5 0 - + - + @@ -719,12 +719,12 @@ L -3.5 0 - + - + @@ -733,7 +733,7 @@ L -3.5 0 - + - + - + - + - + - + - + - + - + - + - + - + - + - - - - - + - - - - + + - @@ -1370,19 +1338,19 @@ z - + - - - + + @@ -1404,19 +1372,51 @@ L 215.1875 318.311079 - + - - - + + + + + @@ -1438,19 +1438,53 @@ L 215.1875 332.989204 - + - - - + + + + + @@ -1472,19 +1506,19 @@ L 215.1875 347.667329 - + - - - + + @@ -1506,19 +1540,31 @@ L 215.1875 362.345454 - + - - - + + + + + @@ -1540,31 +1586,19 @@ L 215.1875 377.023579 - + - - - - - - + + @@ -1586,19 +1620,19 @@ z - + - - - + + @@ -1620,19 +1654,19 @@ L 215.1875 406.379829 - + - - - + + @@ -1653,52 +1687,20 @@ L 215.1875 421.057954 - - + + - - - - - - + + @@ -1720,19 +1722,19 @@ z - + - - + - - + - @@ -1900,12 +1902,12 @@ z - + - + @@ -1915,12 +1917,12 @@ z - + - + @@ -1930,12 +1932,12 @@ z - + - + @@ -1945,12 +1947,12 @@ z - + - + @@ -1960,12 +1962,12 @@ z - + - + @@ -1975,12 +1977,12 @@ z - + - + @@ -1989,7 +1991,7 @@ z - + - + - + @@ -2061,12 +2063,12 @@ z - + - + @@ -2076,12 +2078,12 @@ z - + - + @@ -2091,12 +2093,12 @@ z - + - + @@ -2106,12 +2108,12 @@ z - + - + @@ -2121,12 +2123,12 @@ z - + - + @@ -2135,7 +2137,7 @@ z - + @@ -2169,216 +2171,276 @@ z - + - + - + - + - + - + - + - + - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - + @@ -2422,29 +2484,29 @@ L 709.2 172.792016 - - - + - + @@ -2468,17 +2530,15 @@ L 579.671875 303.632954 - - + + - - + + @@ -2487,7 +2547,7 @@ L 579.671875 318.311079 - + @@ -2502,17 +2562,17 @@ L 579.671875 318.311079 - - + + - - + + @@ -2521,7 +2581,7 @@ L 579.671875 332.989204 - + @@ -2532,21 +2592,19 @@ L 579.671875 332.989204 - + - - + + - - + + @@ -2555,7 +2613,7 @@ L 579.671875 347.667329 - + @@ -2566,21 +2624,21 @@ L 579.671875 347.667329 - + - - + + - - + + @@ -2589,7 +2647,7 @@ L 579.671875 362.345454 - + @@ -2600,21 +2658,19 @@ L 579.671875 362.345454 - + - - + + - - + + @@ -2623,7 +2679,7 @@ L 579.671875 377.023579 - + @@ -2634,21 +2690,21 @@ L 579.671875 377.023579 - + - - + + - - + + @@ -2657,7 +2713,7 @@ L 579.671875 391.701704 - + @@ -2668,21 +2724,19 @@ L 579.671875 391.701704 - + - - + + - - + + @@ -2691,7 +2745,7 @@ L 579.671875 406.379829 - + @@ -2702,21 +2756,21 @@ L 579.671875 406.379829 - + - - + + - - + + @@ -2725,7 +2779,7 @@ L 579.671875 421.057954 - + @@ -2736,21 +2790,19 @@ L 579.671875 421.057954 - + - - + + - - + + @@ -2759,7 +2811,7 @@ L 579.671875 435.736079 - + @@ -2774,46 +2826,375 @@ L 579.671875 435.736079 - - + + - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + - - + - + - + - + @@ -2886,14 +3267,14 @@ z - + - + - + - + @@ -2901,14 +3282,14 @@ z - + - + - + - + @@ -2916,14 +3297,14 @@ z - + - + - + - + @@ -2931,14 +3312,14 @@ z - + - + - + - + @@ -2946,23 +3327,23 @@ z - + - + - + - + - + - + @@ -3007,14 +3388,14 @@ z - + - + - + - + @@ -3022,14 +3403,14 @@ z - + - + - + - + @@ -3037,14 +3418,14 @@ z - + - + - + - + @@ -3052,14 +3433,14 @@ z - + - + - + - + @@ -3067,14 +3448,14 @@ z - + - + - + - + @@ -3082,23 +3463,23 @@ z - + - + - + - + - + - + @@ -3140,756 +3521,762 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + @@ -3920,27 +4307,27 @@ L 354.6 737.868583 - - - + - + - + @@ -3966,15 +4353,15 @@ L 215.1875 868.709521 - - + - + - + @@ -4000,15 +4387,15 @@ L 215.1875 883.387646 - - + - - - + + + @@ -4030,19 +4417,19 @@ L 215.1875 898.065771 - + - - + - - - + + + @@ -4063,20 +4450,20 @@ L 215.1875 912.743896 - - + + - - + - - - + + + @@ -4097,20 +4484,20 @@ L 215.1875 927.422021 - - + + - - + - - - + + + @@ -4131,20 +4518,20 @@ L 215.1875 942.100146 - - + + - - + - - - + + + @@ -4166,19 +4553,19 @@ L 215.1875 956.778271 - + - - + - + - + @@ -4204,15 +4591,15 @@ L 215.1875 971.456396 - - + - - - + + + @@ -4234,19 +4621,19 @@ L 215.1875 986.134521 - + - - + - + - + @@ -4272,15 +4659,15 @@ L 215.1875 1000.812646 - - + - + - + @@ -4298,15 +4685,15 @@ L 215.1875 1015.490771 - - + - + - + @@ -4334,23 +4721,23 @@ L 215.1875 1030.168896 - - + - + - + - + @@ -4358,14 +4745,14 @@ z - + - + - + - + @@ -4373,14 +4760,14 @@ z - + - + - + - + @@ -4388,14 +4775,14 @@ z - + - + - + - + @@ -4403,14 +4790,14 @@ z - + - + - + - + @@ -4418,23 +4805,23 @@ z - + - + - + - + - + - + @@ -4466,14 +4853,14 @@ z - + - + - + - + @@ -4481,14 +4868,14 @@ z - + - + - + - + @@ -4496,14 +4883,14 @@ z - + - + - + - + @@ -4511,14 +4898,14 @@ z - + - + - + - + @@ -4526,14 +4913,14 @@ z - + - + - + - + @@ -4541,23 +4928,23 @@ z - + - + - + - + - + - + @@ -4590,1395 +4977,2005 @@ z - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + + + + - - + + - - + + - - + + - - + + - - - - - + - + @@ -6019,32 +7016,362 @@ L 709.2 737.868583 - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + + + + + + + + + + + + + + + + + + + + + + - - - + + + + + + @@ -6053,7 +7380,7 @@ L 579.671875 868.709521 - + @@ -6064,21 +7391,19 @@ L 579.671875 868.709521 - + - - + + - - - + + + @@ -6087,7 +7412,7 @@ L 579.671875 883.387646 - + @@ -6102,17 +7427,17 @@ L 579.671875 883.387646 - - + + - - - + + + @@ -6121,7 +7446,7 @@ L 579.671875 898.065771 - + @@ -6136,17 +7461,15 @@ L 579.671875 898.065771 - - + + - - - + + + @@ -6155,7 +7478,7 @@ L 579.671875 912.743896 - + @@ -6166,21 +7489,21 @@ L 579.671875 912.743896 - + - - + + - - - + + + @@ -6189,7 +7512,7 @@ L 579.671875 927.422021 - + @@ -6204,17 +7527,15 @@ L 579.671875 927.422021 - - + + - - - + + + @@ -6223,7 +7544,7 @@ L 579.671875 942.100146 - + @@ -6234,21 +7555,21 @@ L 579.671875 942.100146 - + - - + + - - - + + + @@ -6257,7 +7578,7 @@ L 579.671875 956.778271 - + @@ -6272,17 +7593,15 @@ L 579.671875 956.778271 - - + + - - - + + + @@ -6291,7 +7610,7 @@ L 579.671875 971.456396 - + @@ -6302,21 +7621,21 @@ L 579.671875 971.456396 - + - - + + - - - + + + @@ -6325,7 +7644,7 @@ L 579.671875 986.134521 - + @@ -6336,21 +7655,19 @@ L 579.671875 986.134521 - + - - + - + - + @@ -6374,15 +7691,15 @@ L 579.671875 1000.812646 - - + - - - + + + @@ -6393,27 +7710,26 @@ L 579.671875 1015.490771 - - - - - - - - - - - - - - + + + + + + + + + + + + - + - + @@ -6428,23 +7744,23 @@ L 579.671875 1030.168896 - - + - + - + - + @@ -6452,14 +7768,14 @@ z - + - + - + - + @@ -6467,14 +7783,14 @@ z - + - + - + - + @@ -6482,14 +7798,14 @@ z - + - + - + - + @@ -6497,14 +7813,14 @@ z - + - + - + - + @@ -6512,23 +7828,23 @@ z - + - + - + - + - + - + @@ -6573,14 +7889,14 @@ z - + - + - + - + @@ -6588,14 +7904,14 @@ z - + - + - + - + @@ -6603,14 +7919,14 @@ z - + - + - + - + @@ -6618,14 +7934,14 @@ z - + - + - + - + @@ -6633,14 +7949,14 @@ z - + - + - + - + @@ -6648,23 +7964,23 @@ z - + - + - + - + - + - + @@ -6706,474 +8022,475 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + @@ -7209,27 +8526,27 @@ L 354.6 1302.94515 - - - + - + - + @@ -7255,15 +8572,15 @@ L 215.1875 1433.786087 - - + - + - + @@ -7289,15 +8606,15 @@ L 215.1875 1448.464212 - - + - + - + @@ -7323,15 +8640,15 @@ L 215.1875 1463.142337 - - + - - - + + + @@ -7353,19 +8670,19 @@ L 215.1875 1477.820462 - + - - + - - - + + + @@ -7386,20 +8703,20 @@ L 215.1875 1492.498587 - - + + - - + - - - + + + @@ -7421,19 +8738,19 @@ L 215.1875 1507.176712 - + - - + - + - + @@ -7459,15 +8776,15 @@ L 215.1875 1521.854837 - - + - + - + @@ -7493,15 +8810,15 @@ L 215.1875 1536.532962 - - + - - - + + + @@ -7523,19 +8840,19 @@ L 215.1875 1551.211087 - + - - + - - - + + + @@ -7557,19 +8874,19 @@ L 215.1875 1565.889212 - + - - + - + - + @@ -7587,15 +8904,15 @@ L 215.1875 1580.567337 - - + - - - + + + @@ -7615,7 +8932,7 @@ L 215.1875 1595.245462 - + @@ -7623,23 +8940,23 @@ L 215.1875 1595.245462 - - + - + - + - + @@ -7647,14 +8964,14 @@ z - + - + - + - + @@ -7662,14 +8979,14 @@ z - + - + - + - + @@ -7677,14 +8994,14 @@ z - + - + - + - + @@ -7692,14 +9009,14 @@ z - + - + - + - + @@ -7707,23 +9024,23 @@ z - + - + - + - + - + - + @@ -7755,14 +9072,14 @@ z - + - + - + - + @@ -7770,14 +9087,14 @@ z - + - + - + - + @@ -7785,14 +9102,14 @@ z - + - + - + - + @@ -7800,14 +9117,14 @@ z - + - + - + - + @@ -7815,14 +9132,14 @@ z - + - + - + - + @@ -7830,23 +9147,23 @@ z - + - + - + - + - + - + @@ -7879,791 +9196,1126 @@ z - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + + + + - - - - - + - + @@ -8712,29 +10364,359 @@ L 709.2 1302.94515 - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - + + + @@ -8743,7 +10725,7 @@ L 579.671875 1433.786087 - + @@ -8754,21 +10736,19 @@ L 579.671875 1433.786087 - + - - + + - - - + + + @@ -8777,7 +10757,7 @@ L 579.671875 1448.464212 - + @@ -8788,21 +10768,21 @@ L 579.671875 1448.464212 - + - - + + - - - + + + @@ -8811,7 +10791,7 @@ L 579.671875 1463.142337 - + @@ -8826,17 +10806,15 @@ L 579.671875 1463.142337 - - + + - - - + + + @@ -8845,7 +10823,7 @@ L 579.671875 1477.820462 - + @@ -8856,21 +10834,21 @@ L 579.671875 1477.820462 - + - - + + - - - + + + @@ -8879,7 +10857,7 @@ L 579.671875 1492.498587 - + @@ -8894,17 +10872,15 @@ L 579.671875 1492.498587 - - + + - - - + + + @@ -8913,7 +10889,7 @@ L 579.671875 1507.176712 - + @@ -8924,21 +10900,21 @@ L 579.671875 1507.176712 - + - - + + - - - + + + @@ -8947,7 +10923,7 @@ L 579.671875 1521.854837 - + @@ -8962,17 +10938,15 @@ L 579.671875 1521.854837 - - + + - - - + + + @@ -8981,7 +10955,7 @@ L 579.671875 1536.532962 - + @@ -8992,21 +10966,21 @@ L 579.671875 1536.532962 - + - - + + - - - + + + @@ -9015,7 +10989,7 @@ L 579.671875 1551.211087 - + @@ -9025,22 +10999,20 @@ L 579.671875 1551.211087 - - + + - - + - - - + + + @@ -9059,20 +11031,20 @@ L 579.671875 1565.889212 - - + + - - + - - - + + + @@ -9083,27 +11055,26 @@ L 579.671875 1580.567337 - - - - - - - - - - - - - - + + + + + + + + + + + + - + - + @@ -9118,23 +11089,23 @@ L 579.671875 1595.245462 - - + - + - + - + @@ -9142,14 +11113,14 @@ z - + - + - + - + @@ -9157,14 +11128,14 @@ z - + - + - + - + @@ -9172,14 +11143,14 @@ z - + - + - + - + @@ -9187,14 +11158,14 @@ z - + - + - + - + @@ -9202,23 +11173,23 @@ z - + - + - + - + - + - + @@ -9263,14 +11234,14 @@ z - + - + - + - + @@ -9278,14 +11249,14 @@ z - + - + - + - + @@ -9293,14 +11264,14 @@ z - + - + - + - + @@ -9308,14 +11279,14 @@ z - + - + - + - + @@ -9323,14 +11294,14 @@ z - + - + - + - + @@ -9338,23 +11309,23 @@ z - + - + - + - + - + - + @@ -9396,2595 +11367,2595 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + @@ -12015,27 +13986,27 @@ L 354.6 1868.021717 - - - + - + - + @@ -12061,15 +14032,15 @@ L 215.1875 1998.862654 - - + - + - + @@ -12095,15 +14066,15 @@ L 215.1875 2013.540779 - - + - + - + @@ -12129,15 +14100,15 @@ L 215.1875 2028.218904 - - + - + - + @@ -12163,15 +14134,15 @@ L 215.1875 2042.897029 - - + - + - + @@ -12197,15 +14168,15 @@ L 215.1875 2057.575154 - - + - + - + @@ -12231,15 +14202,15 @@ L 215.1875 2072.253279 - - + - + - + @@ -12265,15 +14236,15 @@ L 215.1875 2086.931404 - - + - + - + @@ -12299,15 +14270,15 @@ L 215.1875 2101.609529 - - + - + - + @@ -12333,15 +14304,15 @@ L 215.1875 2116.287654 - - + - + - + @@ -12367,15 +14338,15 @@ L 215.1875 2130.965779 - - + - + - + @@ -12393,15 +14364,15 @@ L 215.1875 2145.643904 - - + - + - + @@ -12429,23 +14400,23 @@ L 215.1875 2160.322029 - - + - + - + - + @@ -12453,14 +14424,14 @@ z - + - + - + - + @@ -12468,14 +14439,14 @@ z - + - + - + - + @@ -12483,14 +14454,14 @@ z - + - + - + - + @@ -12498,14 +14469,14 @@ z - + - + - + - + @@ -12513,23 +14484,23 @@ z - + - + - + - + - + - + @@ -12561,14 +14532,14 @@ z - + - + - + - + @@ -12576,14 +14547,14 @@ z - + - + - + - + @@ -12591,14 +14562,14 @@ z - + - + - + - + @@ -12606,14 +14577,14 @@ z - + - + - + - + @@ -12621,14 +14592,14 @@ z - + - + - + - + @@ -12636,23 +14607,23 @@ z - + - + - + - + - + - + @@ -12685,7132 +14656,9693 @@ z - - + + + + + + + + + + + + + + - - + + - - + + - - + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + @@ -19854,29 +24386,95 @@ L 709.2 1868.021717 - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + @@ -19885,7 +24483,7 @@ L 579.671875 1998.862654 - + @@ -19896,21 +24494,19 @@ L 579.671875 1998.862654 - + - - + - + - + @@ -19934,17 +24530,49 @@ L 579.671875 2013.540779 - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + - + @@ -19968,17 +24596,49 @@ L 579.671875 2028.218904 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -20002,17 +24662,49 @@ L 579.671875 2042.897029 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -20036,17 +24728,49 @@ L 579.671875 2057.575154 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -20070,17 +24794,49 @@ L 579.671875 2072.253279 - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + - + @@ -20104,17 +24860,49 @@ L 579.671875 2086.931404 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -20138,17 +24926,49 @@ L 579.671875 2101.609529 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -20172,17 +24992,49 @@ L 579.671875 2116.287654 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -20206,15 +25058,15 @@ L 579.671875 2130.965779 - - + - - - + + + @@ -20225,27 +25077,26 @@ L 579.671875 2145.643904 - - - - - - - - - - - - - - + + + + + + + + + + + + - + - + @@ -20260,23 +25111,23 @@ L 579.671875 2160.322029 - - + - + - + - + @@ -20284,14 +25135,14 @@ z - + - + - + - + @@ -20299,14 +25150,14 @@ z - + - + - + - + @@ -20314,14 +25165,14 @@ z - + - + - + - + @@ -20329,14 +25180,14 @@ z - + - + - + - + @@ -20344,23 +25195,23 @@ z - + - + - + - + - + - + @@ -20405,14 +25256,14 @@ z - + - + - + - + @@ -20420,14 +25271,14 @@ z - + - + - + - + @@ -20435,14 +25286,14 @@ z - + - + - + - + @@ -20450,14 +25301,14 @@ z - + - + - + - + @@ -20465,14 +25316,14 @@ z - + - + - + - + @@ -20480,23 +25331,23 @@ z - + - + - + - + - + - + @@ -20538,2663 +25389,2663 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + - - - + - + - + @@ -23289,15 +28140,15 @@ L 215.1875 2563.939221 - - + - + - + @@ -23323,15 +28174,15 @@ L 215.1875 2578.617346 - - + - + - + @@ -23357,15 +28208,15 @@ L 215.1875 2593.295471 - - + - + - + @@ -23391,15 +28242,15 @@ L 215.1875 2607.973596 - - + - + - + @@ -23425,15 +28276,15 @@ L 215.1875 2622.651721 - - + - + - + @@ -23459,15 +28310,15 @@ L 215.1875 2637.329846 - - + - + - + @@ -23493,15 +28344,15 @@ L 215.1875 2652.007971 - - + - + - + @@ -23527,15 +28378,15 @@ L 215.1875 2666.686096 - - + - + - + @@ -23561,15 +28412,15 @@ L 215.1875 2681.364221 - - + - + - + @@ -23595,15 +28446,15 @@ L 215.1875 2696.042346 - - + - + - + @@ -23621,15 +28472,15 @@ L 215.1875 2710.720471 - - + - + - + @@ -23657,23 +28508,23 @@ L 215.1875 2725.398596 - - + - + - + - + @@ -23681,14 +28532,14 @@ z - + - + - + - + @@ -23696,14 +28547,14 @@ z - + - + - + - + @@ -23711,14 +28562,14 @@ z - + - + - + - + @@ -23726,14 +28577,14 @@ z - + - + - + - + @@ -23741,23 +28592,23 @@ z - + - + - + - + - + - + @@ -23789,14 +28640,14 @@ z - + - + - + - + @@ -23804,14 +28655,14 @@ z - + - + - + - + @@ -23819,14 +28670,14 @@ z - + - + - + - + @@ -23834,14 +28685,14 @@ z - + - + - + - + @@ -23849,14 +28700,14 @@ z - + - + - + - + @@ -23864,23 +28715,23 @@ z - + - + - + - + - + - + @@ -23913,8827 +28764,11507 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - - - - + - + @@ -32778,29 +40309,293 @@ L 709.2 2433.098283 - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + @@ -32809,7 +40604,7 @@ L 579.671875 2563.939221 - + @@ -32820,21 +40615,19 @@ L 579.671875 2563.939221 - + - - + + - - - + + + @@ -32843,7 +40636,7 @@ L 579.671875 2578.617346 - + @@ -32854,21 +40647,21 @@ L 579.671875 2578.617346 - + - - + + - - - + + + @@ -32877,7 +40670,7 @@ L 579.671875 2593.295471 - + @@ -32892,17 +40685,15 @@ L 579.671875 2593.295471 - - + + - - - + + + @@ -32911,7 +40702,7 @@ L 579.671875 2607.973596 - + @@ -32926,17 +40717,17 @@ L 579.671875 2607.973596 - - + + - - - + + + @@ -32945,7 +40736,7 @@ L 579.671875 2622.651721 - + @@ -32956,21 +40747,19 @@ L 579.671875 2622.651721 - + - - + + - - - + + + @@ -32979,7 +40768,7 @@ L 579.671875 2637.329846 - + @@ -32994,17 +40783,17 @@ L 579.671875 2637.329846 - - + + - - - + + + @@ -33013,7 +40802,7 @@ L 579.671875 2652.007971 - + @@ -33024,21 +40813,19 @@ L 579.671875 2652.007971 - + - - + - + - + @@ -33062,17 +40849,17 @@ L 579.671875 2666.686096 - - + - + - + @@ -33096,17 +40883,49 @@ L 579.671875 2681.364221 - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + - + @@ -33130,15 +40949,47 @@ L 579.671875 2696.042346 - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - + + + @@ -33149,27 +41000,26 @@ L 579.671875 2710.720471 - - - - - - - - - - + + + + + + + + + - - + - + - + @@ -33184,23 +41034,23 @@ L 579.671875 2725.398596 - - + - + - + - + @@ -33208,14 +41058,14 @@ z - + - + - + - + @@ -33223,14 +41073,14 @@ z - + - + - + - + @@ -33238,14 +41088,14 @@ z - + - + - + - + @@ -33253,14 +41103,14 @@ z - + - + - + - + @@ -33268,23 +41118,23 @@ z - + - + - + - + - + - + @@ -33329,14 +41179,14 @@ z - + - + - + - + @@ -33344,14 +41194,14 @@ z - + - + - + - + @@ -33359,14 +41209,14 @@ z - + - + - + - + @@ -33374,14 +41224,14 @@ z - + - + - + - + @@ -33389,14 +41239,14 @@ z - + - + - + - + @@ -33404,23 +41254,23 @@ z - + - + - + - + - + - + @@ -33462,2774 +41312,2774 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + - - - + - + - + @@ -36317,15 +44167,15 @@ L 215.1875 3129.015788 - - + - + - + @@ -36351,15 +44201,15 @@ L 215.1875 3143.693913 - - + - + - + @@ -36385,15 +44235,15 @@ L 215.1875 3158.372038 - - + - + - + @@ -36419,15 +44269,15 @@ L 215.1875 3173.050163 - - + - + - + @@ -36453,15 +44303,15 @@ L 215.1875 3187.728288 - - + - + - + @@ -36487,15 +44337,15 @@ L 215.1875 3202.406413 - - + - + - + @@ -36521,15 +44371,15 @@ L 215.1875 3217.084538 - - + - + - + @@ -36555,15 +44405,15 @@ L 215.1875 3231.762663 - - + - + - + @@ -36589,15 +44439,15 @@ L 215.1875 3246.440788 - - + - + - + @@ -36623,15 +44473,15 @@ L 215.1875 3261.118913 - - + - + - + @@ -36649,15 +44499,15 @@ L 215.1875 3275.797038 - - + - + - + @@ -36685,23 +44535,23 @@ L 215.1875 3290.475163 - - + - + - + - + @@ -36709,14 +44559,14 @@ z - + - + - + - + @@ -36724,14 +44574,14 @@ z - + - + - + - + @@ -36739,14 +44589,14 @@ z - + - + - + - + @@ -36754,14 +44604,14 @@ z - + - + - + - + @@ -36769,23 +44619,23 @@ z - + - + - + - + - + - + @@ -36817,14 +44667,14 @@ z - + - + - + - + @@ -36832,14 +44682,14 @@ z - + - + - + - + @@ -36847,14 +44697,14 @@ z - + - + - + - + @@ -36862,14 +44712,14 @@ z - + - + - + - + @@ -36877,14 +44727,14 @@ z - + - + - + - + @@ -36892,23 +44742,23 @@ z - + - + - + - + - + - + @@ -36941,8725 +44791,11493 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - + - + @@ -45703,29 +56321,95 @@ L 709.2 2998.17485 - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - + + + @@ -45734,7 +56418,7 @@ L 579.671875 3129.015788 - + @@ -45745,21 +56429,19 @@ L 579.671875 3129.015788 - + - - + - + - + @@ -45783,17 +56465,49 @@ L 579.671875 3143.693913 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -45817,17 +56531,49 @@ L 579.671875 3158.372038 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -45851,17 +56597,49 @@ L 579.671875 3173.050163 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -45885,17 +56663,49 @@ L 579.671875 3187.728288 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -45919,17 +56729,149 @@ L 579.671875 3202.406413 - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + @@ -45938,7 +56880,7 @@ L 579.671875 3217.084538 - + @@ -45949,21 +56891,19 @@ L 579.671875 3217.084538 - + - - + + - - - + + + @@ -45972,7 +56912,7 @@ L 579.671875 3231.762663 - + @@ -45983,21 +56923,21 @@ L 579.671875 3231.762663 - + - - + + - - - + + + @@ -46006,7 +56946,7 @@ L 579.671875 3246.440788 - + @@ -46017,21 +56957,19 @@ L 579.671875 3246.440788 - + - - + - + - + @@ -46055,15 +56993,15 @@ L 579.671875 3261.118913 - - + - - - + + + @@ -46074,27 +57012,26 @@ L 579.671875 3275.797038 - - - - - - - - - - - - - - + + + + + + + + + + + + - + - + @@ -46109,23 +57046,23 @@ L 579.671875 3290.475163 - - + - + - + - + @@ -46133,14 +57070,14 @@ z - + - + - + - + @@ -46148,14 +57085,14 @@ z - + - + - + - + @@ -46163,14 +57100,14 @@ z - + - + - + - + @@ -46178,14 +57115,14 @@ z - + - + - + - + @@ -46193,23 +57130,23 @@ z - + - + - + - + - + - + @@ -46254,14 +57191,14 @@ z - + - + - + - + @@ -46269,14 +57206,14 @@ z - + - + - + - + @@ -46284,14 +57221,14 @@ z - + - + - + - + @@ -46299,14 +57236,14 @@ z - + - + - + - + @@ -46314,14 +57251,14 @@ z - + - + - + - + @@ -46329,23 +57266,23 @@ z - + - + - + - + - + - + @@ -46387,2889 +57324,2889 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + - - - + - + - + @@ -49390,15 +60327,15 @@ L 215.1875 3694.092354 - - + - - - + + + @@ -49419,20 +60356,20 @@ L 215.1875 3708.770479 - - + + - - + - + - + @@ -49458,15 +60395,15 @@ L 215.1875 3723.448604 - - + - + - + @@ -49492,15 +60429,15 @@ L 215.1875 3738.126729 - - + - + - + @@ -49526,15 +60463,15 @@ L 215.1875 3752.804854 - - + - - - + + + @@ -49555,20 +60492,20 @@ L 215.1875 3767.482979 - - + + - - + - - - + + + @@ -49589,20 +60526,20 @@ L 215.1875 3782.161104 - - + + - - + - + - + @@ -49628,15 +60565,15 @@ L 215.1875 3796.839229 - - + - + - + @@ -49662,15 +60599,15 @@ L 215.1875 3811.517354 - - + - - - + + + @@ -49691,20 +60628,20 @@ L 215.1875 3826.195479 - - + + - - + - + - + @@ -49722,15 +60659,15 @@ L 215.1875 3840.873604 - - + - + - + @@ -49758,23 +60695,23 @@ L 215.1875 3855.551729 - - + - + - + - + @@ -49782,14 +60719,14 @@ z - + - + - + - + @@ -49797,14 +60734,14 @@ z - + - + - + - + @@ -49812,14 +60749,14 @@ z - + - + - + - + @@ -49827,14 +60764,14 @@ z - + - + - + - + @@ -49842,23 +60779,23 @@ z - + - + - + - + - + - + @@ -49890,14 +60827,14 @@ z - + - + - + - + @@ -49905,14 +60842,14 @@ z - + - + - + - + @@ -49920,14 +60857,14 @@ z - + - + - + - + @@ -49935,14 +60872,14 @@ z - + - + - + - + @@ -49950,14 +60887,14 @@ z - + - + - + - + @@ -49965,23 +60902,23 @@ z - + - + - + - + - + - + @@ -50014,13064 +60951,16016 @@ z - - + + - - + + - - + + - - + + + + + + + + + + + + + + + + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + + + + + + + + + + + + + + + + - - - - - + - + @@ -63116,29 +77005,227 @@ L 709.2 3563.251417 - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - + + + @@ -63147,7 +77234,7 @@ L 579.671875 3694.092354 - + @@ -63158,21 +77245,19 @@ L 579.671875 3694.092354 - + - - + + - - - + + + @@ -63181,7 +77266,7 @@ L 579.671875 3708.770479 - + @@ -63192,21 +77277,21 @@ L 579.671875 3708.770479 - + - - + + - - - + + + @@ -63215,7 +77300,7 @@ L 579.671875 3723.448604 - + @@ -63226,21 +77311,19 @@ L 579.671875 3723.448604 - + - - + + - - - + + + @@ -63249,7 +77332,7 @@ L 579.671875 3738.126729 - + @@ -63260,21 +77343,21 @@ L 579.671875 3738.126729 - + - - + + - - - + + + @@ -63283,7 +77366,7 @@ L 579.671875 3752.804854 - + @@ -63298,17 +77381,15 @@ L 579.671875 3752.804854 - - + - - - + + + @@ -63328,21 +77409,21 @@ L 579.671875 3767.482979 - + - - + - - - + + + @@ -63362,21 +77443,85 @@ L 579.671875 3782.161104 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + @@ -63400,17 +77545,49 @@ L 579.671875 3796.839229 - - + - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + @@ -63430,21 +77607,53 @@ L 579.671875 3811.517354 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + @@ -63468,15 +77677,15 @@ L 579.671875 3826.195479 - - + - - - + + + @@ -63487,27 +77696,26 @@ L 579.671875 3840.873604 - - - - - - - - - - - - - - + + + + + + + + + + + + - + - + @@ -63522,23 +77730,23 @@ L 579.671875 3855.551729 - - + - + - + - + @@ -63546,14 +77754,14 @@ z - + - + - + - + @@ -63561,14 +77769,14 @@ z - + - + - + - + @@ -63576,14 +77784,14 @@ z - + - + - + - + @@ -63591,14 +77799,14 @@ z - + - + - + - + @@ -63606,23 +77814,23 @@ z - + - + - + - + - + - + @@ -63667,14 +77875,14 @@ z - + - + - + - + @@ -63682,14 +77890,14 @@ z - + - + - + - + @@ -63697,14 +77905,14 @@ z - + - + - + - + @@ -63712,14 +77920,14 @@ z - + - + - + - + @@ -63727,14 +77935,14 @@ z - + - + - + - + @@ -63742,23 +77950,23 @@ z - + - + - + - + - + - + @@ -63800,2310 +78008,2505 @@ z - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - - - - + - + @@ -66135,27 +80538,27 @@ L 354.6 4128.327984 - - - + - - - + + + @@ -66176,20 +80579,20 @@ L 215.1875 4259.168921 - - + + - - + - - - + + + @@ -66210,20 +80613,20 @@ L 215.1875 4273.847046 - - + + - - + - - - + + + @@ -66245,19 +80648,19 @@ L 215.1875 4288.525171 - + - - + - - - + + + @@ -66279,19 +80682,19 @@ L 215.1875 4303.203296 - + - - + - - - + + + @@ -66313,19 +80716,19 @@ L 215.1875 4317.881421 - + - - + - + - + @@ -66351,15 +80754,15 @@ L 215.1875 4332.559546 - - + - - - + + + @@ -66380,20 +80783,20 @@ L 215.1875 4347.237671 - - + + - - + - - - + + + @@ -66415,19 +80818,19 @@ L 215.1875 4361.915796 - + - - + - - - + + + @@ -66448,20 +80851,20 @@ L 215.1875 4376.593921 - - + + - - + - - - + + + @@ -66483,19 +80886,19 @@ L 215.1875 4391.272046 - + - - + - + - + @@ -66513,15 +80916,15 @@ L 215.1875 4405.950171 - - + - - - + + + @@ -66541,7 +80944,7 @@ L 215.1875 4420.628296 - + @@ -66549,23 +80952,23 @@ L 215.1875 4420.628296 - - + - + - + - + @@ -66573,14 +80976,14 @@ z - + - + - + - + @@ -66588,14 +80991,14 @@ z - + - + - + - + @@ -66603,14 +81006,14 @@ z - + - + - + - + @@ -66618,14 +81021,14 @@ z - + - + - + - + @@ -66633,23 +81036,23 @@ z - + - + - + - + - + - + @@ -66681,14 +81084,14 @@ z - + - + - + - + @@ -66696,14 +81099,14 @@ z - + - + - + - + @@ -66711,14 +81114,14 @@ z - + - + - + - + @@ -66726,14 +81129,14 @@ z - + - + - + - + @@ -66741,14 +81144,14 @@ z - + - + - + - + @@ -66756,23 +81159,23 @@ z - + - + - + - + - + - + @@ -66805,9153 +81208,12287 @@ z - - + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + + + + + + + - - - - - + - + @@ -75996,29 +93533,61 @@ L 709.2 4128.327984 - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - + + + @@ -76038,21 +93607,53 @@ L 579.671875 4259.168921 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - - - + + + @@ -76072,21 +93673,53 @@ L 579.671875 4273.847046 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - + - + @@ -76110,17 +93743,17 @@ L 579.671875 4288.525171 - - + - - - + + + @@ -76140,21 +93773,53 @@ L 579.671875 4303.203296 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - - - + + + @@ -76174,21 +93839,85 @@ L 579.671875 4317.881421 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - - - + + + @@ -76208,21 +93937,53 @@ L 579.671875 4332.559546 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - - - + + + @@ -76242,21 +94003,21 @@ L 579.671875 4347.237671 - + - - + - - - + + + @@ -76276,21 +94037,53 @@ L 579.671875 4361.915796 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - - - + + + @@ -76310,21 +94103,53 @@ L 579.671875 4376.593921 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - - - + + + @@ -76344,19 +94169,51 @@ L 579.671875 4391.272046 - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + - - - + + + @@ -76367,27 +94224,26 @@ L 579.671875 4405.950171 - - - - - - - - - - - - - - + + + + + + + + + + + + - + - + @@ -76402,53 +94258,53 @@ L 579.671875 4420.628296 - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + diff --git a/model_selection/output_cv_metrics/metrics.xlsx b/model_selection/output_cv_metrics/metrics.xlsx index deae0b388f7bde4a94e8031c7ac561290ef4289a..0d279e2dea470bb5ce8e1dacc7b0b8a4b551539c 100644 Binary files a/model_selection/output_cv_metrics/metrics.xlsx and b/model_selection/output_cv_metrics/metrics.xlsx differ