From 18034aa87fa0510e7690d707cabd7e668149a1c7 Mon Sep 17 00:00:00 2001 From: Joaquin Torres Bravo Date: Thu, 23 May 2024 12:56:18 +0200 Subject: [PATCH] PR curves working as expected. Need to analyze efficiency of doing cv twice --- model_selection/cv_metric_gen.py | 6 +- .../output_cv_metrics/curves/pre_ORIG.svg | 910 +++++++++--------- .../output_cv_metrics/metrics.xlsx | Bin 8129 -> 8128 bytes 3 files changed, 470 insertions(+), 446 deletions(-) diff --git a/model_selection/cv_metric_gen.py b/model_selection/cv_metric_gen.py index 6918460..39e276c 100644 --- a/model_selection/cv_metric_gen.py +++ b/model_selection/cv_metric_gen.py @@ -236,9 +236,9 @@ if __name__ == "__main__": mean_precision = np.mean(precisions, axis=0) mean_pr_auc = np.mean(pr_aucs) axes[model_idx][1].plot(mean_recall, mean_precision, color='b', lw=4, label=r'Mean PR (AUC = %0.2f)' % mean_pr_auc, alpha=.8) - # # Plot baseline precision (proportion of positive samples) - # baseline = np.sum(y_train) / len(y_train) - # axes[model_idx][1].plot([0, 1], [baseline, baseline], linestyle='--', lw=2, color='r', alpha=.8, label='Baseline') + # Plot baseline precision (proportion of positive samples) + baseline = np.sum(y_train) / len(y_train) + axes[model_idx][1].plot([0, 1], [baseline, baseline], linestyle='--', lw=2, color='r', alpha=.8, label='Baseline') # Set Precision-Recall plot limits and title axes[model_idx][1].set(xlim=[-0.05, 1.05], ylim=[-0.05, 1.05], title=f"Precision-Recall Curve - {model_name} ({group}-{method_names[j]})") axes[model_idx][1].legend(loc="lower right") diff --git a/model_selection/output_cv_metrics/curves/pre_ORIG.svg b/model_selection/output_cv_metrics/curves/pre_ORIG.svg index 3c10346..022b1c8 100644 --- a/model_selection/output_cv_metrics/curves/pre_ORIG.svg +++ b/model_selection/output_cv_metrics/curves/pre_ORIG.svg @@ -6,7 +6,7 @@ - 2024-05-23T12:46:28.660631 + 2024-05-23T12:54:34.240479 image/svg+xml @@ -41,12 +41,12 @@ z - - + @@ -91,7 +91,7 @@ z - + @@ -132,7 +132,7 @@ z - + @@ -168,7 +168,7 @@ z - + @@ -215,7 +215,7 @@ z - + @@ -271,7 +271,7 @@ z - + @@ -304,12 +304,12 @@ z - - + @@ -324,7 +324,7 @@ L -3.5 0 - + @@ -339,7 +339,7 @@ L -3.5 0 - + @@ -354,7 +354,7 @@ L -3.5 0 - + @@ -369,7 +369,7 @@ L -3.5 0 - + @@ -384,7 +384,7 @@ L -3.5 0 - + @@ -431,7 +431,7 @@ z - + @@ -446,7 +446,7 @@ z - + @@ -461,7 +461,7 @@ z - + @@ -476,7 +476,7 @@ z - + @@ -491,7 +491,7 @@ z - + @@ -506,7 +506,7 @@ z - + @@ -523,7 +523,7 @@ z - + @@ -538,7 +538,7 @@ z - + @@ -553,7 +553,7 @@ z - + @@ -568,7 +568,7 @@ z - + @@ -583,7 +583,7 @@ z - + @@ -598,7 +598,7 @@ z - + @@ -645,7 +645,7 @@ z - + @@ -660,7 +660,7 @@ z - + @@ -675,7 +675,7 @@ z - + @@ -690,7 +690,7 @@ z - + @@ -705,7 +705,7 @@ z - + @@ -720,7 +720,7 @@ z - + @@ -737,7 +737,7 @@ z - + @@ -752,7 +752,7 @@ z - + @@ -767,7 +767,7 @@ z - + @@ -782,7 +782,7 @@ z - + @@ -797,7 +797,7 @@ z - + @@ -812,7 +812,7 @@ z - + @@ -859,7 +859,7 @@ z - + @@ -874,7 +874,7 @@ z - + @@ -889,7 +889,7 @@ z - + @@ -904,7 +904,7 @@ z - + @@ -919,7 +919,7 @@ z - + @@ -934,7 +934,7 @@ z - + @@ -951,7 +951,7 @@ z - + @@ -966,7 +966,7 @@ z - + @@ -981,7 +981,7 @@ z - + @@ -996,7 +996,7 @@ z - + @@ -1011,7 +1011,7 @@ z - + @@ -1026,7 +1026,7 @@ z - + @@ -1073,7 +1073,7 @@ z - + @@ -1088,7 +1088,7 @@ z - + @@ -1103,7 +1103,7 @@ z - + @@ -1118,7 +1118,7 @@ z - + @@ -1133,7 +1133,7 @@ z - + @@ -1148,7 +1148,7 @@ z - + @@ -1165,7 +1165,7 @@ z - + @@ -1180,7 +1180,7 @@ z - + @@ -1195,7 +1195,7 @@ z - + @@ -1210,7 +1210,7 @@ z - + @@ -1225,7 +1225,7 @@ z - + @@ -1240,7 +1240,7 @@ z - + @@ -1287,7 +1287,7 @@ z - + @@ -1302,7 +1302,7 @@ z - + @@ -1317,7 +1317,7 @@ z - + @@ -1332,7 +1332,7 @@ z - + @@ -1347,7 +1347,7 @@ z - + @@ -1362,7 +1362,7 @@ z - + @@ -1379,7 +1379,7 @@ z - + @@ -1394,7 +1394,7 @@ z - + @@ -1409,7 +1409,7 @@ z - + @@ -1424,7 +1424,7 @@ z - + @@ -1439,7 +1439,7 @@ z - + @@ -1454,7 +1454,7 @@ z - + @@ -1501,7 +1501,7 @@ z - + @@ -1516,7 +1516,7 @@ z - + @@ -1531,7 +1531,7 @@ z - + @@ -1546,7 +1546,7 @@ z - + @@ -1561,7 +1561,7 @@ z - + @@ -1576,7 +1576,7 @@ z - + @@ -1593,7 +1593,7 @@ z - + @@ -1608,7 +1608,7 @@ z - + @@ -1623,7 +1623,7 @@ z - + @@ -1638,7 +1638,7 @@ z - + @@ -1653,7 +1653,7 @@ z - + @@ -1668,7 +1668,7 @@ z - + @@ -1715,7 +1715,7 @@ z - + @@ -1730,7 +1730,7 @@ z - + @@ -1745,7 +1745,7 @@ z - + @@ -1760,7 +1760,7 @@ z - + @@ -1775,7 +1775,7 @@ z - + @@ -1790,7 +1790,7 @@ z - + @@ -1807,7 +1807,7 @@ z - + @@ -1822,7 +1822,7 @@ z - + @@ -1837,7 +1837,7 @@ z - + @@ -1852,7 +1852,7 @@ z - + @@ -1867,7 +1867,7 @@ z - + @@ -1882,7 +1882,7 @@ z - + @@ -1929,7 +1929,7 @@ z - + @@ -1944,7 +1944,7 @@ z - + @@ -1959,7 +1959,7 @@ z - + @@ -1974,7 +1974,7 @@ z - + @@ -1989,7 +1989,7 @@ z - + @@ -2004,7 +2004,7 @@ z - + @@ -2356,7 +2356,7 @@ z - + @@ -2371,7 +2371,7 @@ z - + @@ -2386,7 +2386,7 @@ z - + @@ -2401,7 +2401,7 @@ z - + @@ -2416,7 +2416,7 @@ z - + @@ -2431,7 +2431,7 @@ z - + @@ -2934,7 +2934,7 @@ L 335.769382 2447.378717 L 335.769382 2447.074091 L 336.870909 2447.074091 L 336.870909 2447.074091 -" clip-path="url(#p103f5069f3)" style="fill: none; stroke: #1f77b4; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#p68bfafae0b)" style="fill: none; stroke: #1f77b4; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#p68bfafae0b)" style="fill: none; stroke: #ff7f0e; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#p68bfafae0b)" style="fill: none; stroke: #2ca02c; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#p68bfafae0b)" style="fill: none; stroke: #d62728; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#p68bfafae0b)" style="fill: none; stroke: #9467bd; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#p68bfafae0b)" style="fill: none; stroke: #8c564b; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#p68bfafae0b)" style="fill: none; stroke: #e377c2; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#p68bfafae0b)" style="fill: none; stroke: #7f7f7f; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#p68bfafae0b)" style="fill: none; stroke: #bcbd22; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#p68bfafae0b)" style="fill: none; stroke: #17becf; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#p68bfafae0b)" style="fill: none; stroke-dasharray: 7.4,3.2; stroke-dashoffset: 0; stroke: #ff0000; stroke-opacity: 0.8; stroke-width: 2"/> +" clip-path="url(#p68bfafae0b)" style="fill: none; stroke: #0000ff; stroke-opacity: 0.8; stroke-width: 4; stroke-linecap: square"/> - + @@ -7466,7 +7466,7 @@ z - + @@ -7481,7 +7481,7 @@ z - + @@ -7496,7 +7496,7 @@ z - + @@ -7511,7 +7511,7 @@ z - + @@ -7526,7 +7526,7 @@ z - + @@ -7597,7 +7597,7 @@ z - + @@ -7612,7 +7612,7 @@ z - + @@ -7627,7 +7627,7 @@ z - + @@ -7642,7 +7642,7 @@ z - + @@ -7657,7 +7657,7 @@ z - + @@ -7672,7 +7672,7 @@ z - + @@ -8374,7 +8374,7 @@ L 437.86998 2448.693984 L 437.86998 2447.074091 L 412.129091 2447.074091 L 412.129091 2447.074091 -" clip-path="url(#pf6aa962c23)" style="fill: none; stroke: #1f77b4; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#pb9b78bd86c)" style="fill: none; stroke: #1f77b4; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#pb9b78bd86c)" style="fill: none; stroke: #ff7f0e; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#pb9b78bd86c)" style="fill: none; stroke: #2ca02c; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#pb9b78bd86c)" style="fill: none; stroke: #d62728; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#pb9b78bd86c)" style="fill: none; stroke: #9467bd; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#pb9b78bd86c)" style="fill: none; stroke: #8c564b; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#pb9b78bd86c)" style="fill: none; stroke: #e377c2; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#pb9b78bd86c)" style="fill: none; stroke: #7f7f7f; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#pb9b78bd86c)" style="fill: none; stroke: #bcbd22; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#pb9b78bd86c)" style="fill: none; stroke: #17becf; stroke-opacity: 0.6; stroke-width: 2; stroke-linecap: square"/> +" clip-path="url(#pb9b78bd86c)" style="fill: none; stroke: #0000ff; stroke-opacity: 0.8; stroke-width: 4; stroke-linecap: square"/> + + + - - + - + @@ -14730,17 +14735,17 @@ L 571.751875 2574.864062 - - + - + @@ -14764,17 +14769,17 @@ L 571.751875 2589.542187 - - + - + @@ -14798,17 +14803,17 @@ L 571.751875 2604.220312 - - + - + @@ -14832,17 +14837,17 @@ L 571.751875 2618.898438 - - + - + @@ -14866,17 +14871,17 @@ L 571.751875 2633.576562 - - + - + @@ -14900,17 +14905,17 @@ L 571.751875 2648.254687 - - + - + @@ -14934,17 +14939,17 @@ L 571.751875 2662.932812 - - + - + @@ -14968,17 +14973,17 @@ L 571.751875 2677.610937 - - + - + @@ -15002,17 +15007,17 @@ L 571.751875 2692.289062 - - + - + @@ -15036,15 +15041,15 @@ L 571.751875 2706.967187 - - + - + @@ -15067,6 +15072,25 @@ L 571.751875 2721.645312 + + + + + + + + + + + + + + + + @@ -15080,12 +15104,12 @@ z - + - + - + @@ -15095,12 +15119,12 @@ z - + - + - + @@ -15110,12 +15134,12 @@ z - + - + - + @@ -15125,12 +15149,12 @@ z - + - + - + @@ -15140,12 +15164,12 @@ z - + - + - + @@ -15155,12 +15179,12 @@ z - + - + - + @@ -15172,12 +15196,12 @@ z - + - + - + @@ -15187,12 +15211,12 @@ z - + - + - + @@ -15202,12 +15226,12 @@ z - + - + - + @@ -15217,12 +15241,12 @@ z - + - + - + @@ -15232,12 +15256,12 @@ z - + - + - + @@ -15247,12 +15271,12 @@ z - + - + - + @@ -15294,12 +15318,12 @@ z - + - + - + @@ -15309,12 +15333,12 @@ z - + - + - + @@ -15324,12 +15348,12 @@ z - + - + - + @@ -15339,12 +15363,12 @@ z - + - + - + @@ -15354,12 +15378,12 @@ z - + - + - + @@ -15369,12 +15393,12 @@ z - + - + - + @@ -15386,12 +15410,12 @@ z - + - + - + @@ -15401,12 +15425,12 @@ z - + - + - + @@ -15416,12 +15440,12 @@ z - + - + - + @@ -15431,12 +15455,12 @@ z - + - + - + @@ -15446,12 +15470,12 @@ z - + - + - + @@ -15461,12 +15485,12 @@ z - + - + - + @@ -15508,12 +15532,12 @@ z - + - + - + @@ -15523,12 +15547,12 @@ z - + - + - + @@ -15538,12 +15562,12 @@ z - + - + - + @@ -15553,12 +15577,12 @@ z - + - + - + @@ -15568,12 +15592,12 @@ z - + - + - + @@ -15583,12 +15607,12 @@ z - + - + - + @@ -15600,12 +15624,12 @@ z - + - + - + @@ -15615,12 +15639,12 @@ z - + - + - + @@ -15630,12 +15654,12 @@ z - + - + - + @@ -15645,12 +15669,12 @@ z - + - + - + @@ -15660,12 +15684,12 @@ z - + - + - + @@ -15675,12 +15699,12 @@ z - + - + - + @@ -15722,12 +15746,12 @@ z - + - + - + @@ -15737,12 +15761,12 @@ z - + - + - + @@ -15752,12 +15776,12 @@ z - + - + - + @@ -15767,12 +15791,12 @@ z - + - + - + @@ -15782,12 +15806,12 @@ z - + - + - + @@ -15797,12 +15821,12 @@ z - + - + - + @@ -15814,12 +15838,12 @@ z - + - + - + @@ -15829,12 +15853,12 @@ z - + - + - + @@ -15844,12 +15868,12 @@ z - + - + - + @@ -15859,12 +15883,12 @@ z - + - + - + @@ -15874,12 +15898,12 @@ z - + - + - + @@ -15889,12 +15913,12 @@ z - + - + - + @@ -15936,12 +15960,12 @@ z - + - + - + @@ -15951,12 +15975,12 @@ z - + - + - + @@ -15966,12 +15990,12 @@ z - + - + - + @@ -15981,12 +16005,12 @@ z - + - + - + @@ -15996,12 +16020,12 @@ z - + - + - + @@ -16011,12 +16035,12 @@ z - + - + - + @@ -16028,12 +16052,12 @@ z - + - + - + @@ -16043,12 +16067,12 @@ z - + - + - + @@ -16058,12 +16082,12 @@ z - + - + - + @@ -16073,12 +16097,12 @@ z - + - + - + @@ -16088,12 +16112,12 @@ z - + - + - + @@ -16103,12 +16127,12 @@ z - + - + - + @@ -16150,12 +16174,12 @@ z - + - + - + @@ -16165,12 +16189,12 @@ z - + - + - + @@ -16180,12 +16204,12 @@ z - + - + - + @@ -16195,12 +16219,12 @@ z - + - + - + @@ -16210,12 +16234,12 @@ z - + - + - + @@ -16225,12 +16249,12 @@ z - + - + - + @@ -16242,12 +16266,12 @@ z - + - + - + @@ -16257,12 +16281,12 @@ z - + - + - + @@ -16272,12 +16296,12 @@ z - + - + - + @@ -16287,12 +16311,12 @@ z - + - + - + @@ -16302,12 +16326,12 @@ z - + - + - + @@ -16317,12 +16341,12 @@ z - + - + - + @@ -16355,10 +16379,10 @@ L 701.28 4037.31 - + - + diff --git a/model_selection/output_cv_metrics/metrics.xlsx b/model_selection/output_cv_metrics/metrics.xlsx index 8680af8a26424fb75abaec8df07c2d3d8c0bcb15..ad7cb0ddd818c93ed6fc3a3b921e717f1c530cc9 100644 GIT binary patch delta 520 zcmX?Tf54t6z?+#xgn@y9gW+P@M4ol^7t^*!=&oX$`3fj@nvsD)5J;!wCkGVe7ZmF! z=NF~wRpjO@o#^X-*np?)|EVk0uj_i9r#wBhMcBi`hpDhzCVzFtEe*r0@9#ZNUu%4D z%&<=0ew%2gU&8yBC%^aEn2Urh&fTqWA$OASW?=?K|CG`bN*9lQxKO>?((bR|oMZLn zwJI8)|M2N-G@E7WbLfihu_ud6c4*vf&rff3Trf?iRA#{mt{oeF?zP!VKTAn4CI@QxD|GOr9er1LEwGld*ay!N3q-l$ukluLmLn zycwB9m|>B&JwiHuYPLBrsN4x-q_Y1^Ru)}<&%uUD&;82ZkH0xJG&E9m!?}ZOs{{X z!q2frCp=-|l4&Z5BG2l~(!`gBZN60BQYMtadSlViKBW*>R`Y2FH-4lao^s}iz*(QK zweerR9$DI}RZ)FwpU>&%%eqypTW4l$d8D;KMf^y`M0@^R=KEb|Q@@2XepT{)Q1WfZ zxpgPA|9;qUJEduA&dllMmaEG{Pfpi9_wK&?b-Dh3voBcXetRZ=Y_)^Qhu8Oys3V8a z=BteMY)t1;H;Zuy@PTLzu?tKH -- 2.24.1