Pre-process snmCATseq data for later use in sincei
This notebook uses a subset of data from the snmCAT-seq protocol presented in Luo et. al (2022)
NOTES: - unmeth is not a proper column naming, it actually corresponds to the total number of reads. It can be seen as the ratio of meth/unmeth maxes out at 0.5.
[1]:
import os, tqdm, itertools, math
import pandas as pd
import numpy as np
from joblib import Parallel, delayed
import matplotlib.pyplot as plt
import seaborn as sns
[2]:
data_type = 'HCGN'
10k bin processing
Vivek has processed the data to create a 10k-binned dataset. We here import the single-sample sets and aggregate them into one dataset. IMPORTANT: Skip to the last part of this section for loading the bins, it these have already been saved ### Filter by bin coverage
[5]:
def format_one_sample_depth(f, output_type='GCYN'):
# output_type: GCYN or HCGN
df = pd.read_csv(f, sep='\t').set_index('ctxt')
df = df.loc[output_type].set_index('binID')
df = df['unmeth']
df = df.loc[[e for e in df.index if type(e) is str]]
return ((output_type, f), df)
def format_one_sample_raw(f, output_type='GCYN'):
# output_type: GCYN or HCGN
df = pd.read_csv(f, sep='\t').set_index('ctxt')
df = df.loc[output_type].set_index('binID')
df = df.loc[[e for e in df.index if type(e) is str]]
return ((output_type, f), df)
[7]:
bin_depth_df = Parallel(n_jobs=8, verbose=0)(
delayed(format_one_sample_depth)(
os.path.join('./snmC2Tseq_eckerlab/10k_bin/binned_10kb_all', f),
output_type=data_type
) for f in tqdm.tqdm(os.listdir('./snmC2Tseq_eckerlab/10k_bin/binned_10kb_all'))
)
# formatted_df = pd.concat(dict(itertools.chain(*formatted_df)), axis=1)
bin_depth_df = pd.concat(dict(bin_depth_df), axis=1)
bin_depth_df = bin_depth_df.loc[
[e for e in bin_depth_df.index if type(e) is str or not math.isnan(e)]
]
0%| | 0/2107 [00:00<?, ?it/s]
1%|█▌ | 16/2107 [00:01<02:28, 14.07it/s]
1%|██▎ | 24/2107 [00:01<02:45, 12.58it/s]
2%|███ | 32/2107 [00:02<02:44, 12.60it/s]
2%|███▊ | 40/2107 [00:03<02:57, 11.63it/s]
2%|████▌ | 48/2107 [00:04<03:00, 11.41it/s]
3%|█████▎ | 56/2107 [00:04<03:06, 10.98it/s]
3%|██████ | 64/2107 [00:05<03:04, 11.09it/s]
3%|██████▊ | 72/2107 [00:06<03:04, 11.02it/s]
4%|███████▌ | 80/2107 [00:06<03:05, 10.91it/s]
4%|████████▎ | 88/2107 [00:07<02:58, 11.31it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
5%|█████████ | 96/2107 [00:08<02:58, 11.27it/s]
5%|█████████▊ | 104/2107 [00:09<03:02, 10.97it/s]
5%|██████████▌ | 112/2107 [00:09<02:58, 11.17it/s]
6%|███████████▎ | 120/2107 [00:10<03:04, 10.75it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
6%|████████████ | 128/2107 [00:11<02:55, 11.29it/s]
6%|████████████▊ | 136/2107 [00:12<02:59, 10.99it/s]
2%|████▌ | 48/2107 [00:20<02:41, 12.72it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
7%|██████████████▎ | 152/2107 [00:13<03:07, 10.44it/s]
8%|███████████████ | 160/2107 [00:14<03:08, 10.31it/s]
8%|███████████████▊ | 168/2107 [00:15<03:11, 10.14it/s]
8%|████████████████▌ | 176/2107 [00:15<03:04, 10.49it/s]
9%|█████████████████▎ | 184/2107 [00:16<03:05, 10.37it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
9%|██████████████████ | 192/2107 [00:17<03:00, 10.61it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
9%|██████████████████▊ | 200/2107 [00:18<03:07, 10.19it/s]
10%|███████████████████▌ | 208/2107 [00:19<03:07, 10.11it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
10%|████████████████████▎ | 216/2107 [00:19<03:07, 10.08it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
11%|█████████████████████ | 224/2107 [00:20<03:10, 9.86it/s]
11%|█████████████████████▊ | 232/2107 [00:21<03:00, 10.37it/s]
11%|██████████████████████▌ | 240/2107 [00:22<02:56, 10.58it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
12%|███████████████████████▎ | 248/2107 [00:23<03:06, 9.97it/s]
12%|████████████████████████ | 256/2107 [00:23<03:04, 10.01it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
13%|████████████████████████▊ | 264/2107 [00:24<03:00, 10.22it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
13%|█████████████████████████▌ | 272/2107 [00:25<02:58, 10.28it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
13%|██████████████████████████▎ | 280/2107 [00:26<03:09, 9.63it/s]
14%|███████████████████████████ | 288/2107 [00:27<02:58, 10.20it/s]
14%|███████████████████████████▊ | 296/2107 [00:27<02:46, 10.89it/s]
14%|████████████████████████████▌ | 304/2107 [00:28<02:47, 10.75it/s]
15%|█████████████████████████████▎ | 312/2107 [00:29<02:43, 10.97it/s]
15%|██████████████████████████████ | 320/2107 [00:29<02:45, 10.78it/s]
16%|██████████████████████████████▊ | 328/2107 [00:30<02:42, 10.94it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
16%|███████████████████████████████▌ | 336/2107 [00:31<02:36, 11.29it/s]
16%|████████████████████████████████▎ | 344/2107 [00:32<02:41, 10.92it/s]
17%|█████████████████████████████████ | 352/2107 [00:32<02:33, 11.46it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
17%|█████████████████████████████████▊ | 360/2107 [00:33<02:39, 10.98it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
17%|██████████████████████████████████▌ | 368/2107 [00:34<02:38, 10.97it/s]
18%|███████████████████████████████████▎ | 376/2107 [00:34<02:41, 10.69it/s]
18%|████████████████████████████████████ | 384/2107 [00:35<02:43, 10.51it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
19%|████████████████████████████████████▊ | 392/2107 [00:36<02:42, 10.54it/s]
19%|█████████████████████████████████████▌ | 400/2107 [00:37<02:44, 10.41it/s]
19%|██████████████████████████████████████▎ | 408/2107 [00:38<02:42, 10.43it/s]
20%|███████████████████████████████████████ | 416/2107 [00:38<02:43, 10.36it/s]
20%|███████████████████████████████████████▊ | 424/2107 [00:39<02:41, 10.42it/s]
21%|████████████████████████████████████████▌ | 432/2107 [00:40<02:23, 11.69it/s]
21%|█████████████████████████████████████████▎ | 440/2107 [00:40<02:34, 10.82it/s]
21%|██████████████████████████████████████████ | 448/2107 [00:41<02:31, 10.94it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
22%|██████████████████████████████████████████▊ | 456/2107 [00:42<02:35, 10.62it/s]
22%|███████████████████████████████████████████▌ | 464/2107 [00:43<02:39, 10.29it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
22%|████████████████████████████████████████████▎ | 472/2107 [00:44<02:36, 10.46it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
23%|█████████████████████████████████████████████ | 480/2107 [00:45<02:47, 9.69it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
23%|█████████████████████████████████████████████▊ | 488/2107 [00:46<02:57, 9.14it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
24%|██████████████████████████████████████████████▌ | 496/2107 [00:46<02:57, 9.08it/s]
24%|███████████████████████████████████████████████▎ | 504/2107 [00:47<02:50, 9.39it/s]
24%|████████████████████████████████████████████████ | 512/2107 [00:48<02:41, 9.85it/s]
25%|████████████████████████████████████████████████▊ | 520/2107 [00:49<02:35, 10.20it/s]
25%|█████████████████████████████████████████████████▌ | 528/2107 [00:49<02:23, 11.00it/s]
25%|██████████████████████████████████████████████████▎ | 536/2107 [00:50<02:26, 10.71it/s]
26%|███████████████████████████████████████████████████ | 544/2107 [00:51<02:28, 10.56it/s]
26%|███████████████████████████████████████████████████▊ | 552/2107 [00:52<02:27, 10.51it/s]
27%|████████████████████████████████████████████████████▌ | 560/2107 [00:52<02:22, 10.83it/s]
27%|█████████████████████████████████████████████████████▍ | 568/2107 [00:53<02:26, 10.52it/s]
27%|██████████████████████████████████████████████████████▏ | 576/2107 [00:54<02:28, 10.28it/s]
28%|██████████████████████████████████████████████████████▉ | 584/2107 [00:55<02:25, 10.49it/s]
28%|███████████████████████████████████████████████████████▋ | 592/2107 [00:55<02:23, 10.57it/s]
28%|████████████████████████████████████████████████████████▍ | 600/2107 [00:56<02:22, 10.56it/s]
29%|█████████████████████████████████████████████████████████▏ | 608/2107 [00:57<02:20, 10.66it/s]
29%|█████████████████████████████████████████████████████████▉ | 616/2107 [00:58<02:15, 10.97it/s]
30%|██████████████████████████████████████████████████████████▋ | 624/2107 [00:58<02:17, 10.80it/s]
30%|███████████████████████████████████████████████████████████▍ | 632/2107 [00:59<02:15, 10.86it/s]
30%|████████████████████████████████████████████████████████████▏ | 640/2107 [01:00<02:12, 11.10it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
31%|████████████████████████████████████████████████████████████▉ | 648/2107 [01:00<02:10, 11.15it/s]
31%|█████████████████████████████████████████████████████████████▋ | 656/2107 [01:01<02:17, 10.57it/s]
32%|██████████████████████████████████████████████████████████████▍ | 664/2107 [01:02<02:14, 10.72it/s]
32%|███████████████████████████████████████████████████████████████▏ | 672/2107 [01:03<02:09, 11.07it/s]
32%|███████████████████████████████████████████████████████████████▉ | 680/2107 [01:03<02:10, 10.92it/s]
33%|████████████████████████████████████████████████████████████████▋ | 688/2107 [01:04<02:06, 11.25it/s]
33%|█████████████████████████████████████████████████████████████████▍ | 696/2107 [01:05<02:00, 11.70it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
33%|██████████████████████████████████████████████████████████████████▏ | 704/2107 [01:05<02:05, 11.16it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
34%|██████████████████████████████████████████████████████████████████▉ | 712/2107 [01:06<02:15, 10.28it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
34%|███████████████████████████████████████████████████████████████████▋ | 720/2107 [01:07<02:24, 9.61it/s]
35%|████████████████████████████████████████████████████████████████████▍ | 728/2107 [01:08<02:23, 9.58it/s]
35%|█████████████████████████████████████████████████████████████████████▏ | 736/2107 [01:09<02:16, 10.08it/s]
35%|█████████████████████████████████████████████████████████████████████▉ | 744/2107 [01:10<02:13, 10.20it/s]
36%|██████████████████████████████████████████████████████████████████████▋ | 752/2107 [01:10<02:13, 10.12it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
36%|███████████████████████████████████████████████████████████████████████▍ | 760/2107 [01:11<02:21, 9.54it/s]
36%|████████████████████████████████████████████████████████████████████████▏ | 768/2107 [01:12<02:13, 10.02it/s]
37%|████████████████████████████████████████████████████████████████████████▉ | 776/2107 [01:13<02:14, 9.92it/s]
37%|█████████████████████████████████████████████████████████████████████████▋ | 784/2107 [01:14<02:03, 10.75it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
38%|██████████████████████████████████████████████████████████████████████████▍ | 792/2107 [01:14<02:07, 10.33it/s]
38%|███████████████████████████████████████████████████████████████████████████▏ | 800/2107 [01:15<02:08, 10.14it/s]
38%|███████████████████████████████████████████████████████████████████████████▉ | 808/2107 [01:16<02:03, 10.48it/s]
39%|████████████████████████████████████████████████████████████████████████████▋ | 816/2107 [01:17<02:08, 10.06it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
39%|█████████████████████████████████████████████████████████████████████████████▍ | 824/2107 [01:18<02:04, 10.33it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
39%|██████████████████████████████████████████████████████████████████████████████▏ | 832/2107 [01:18<02:07, 10.00it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
40%|██████████████████████████████████████████████████████████████████████████████▉ | 840/2107 [01:19<02:08, 9.87it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
40%|███████████████████████████████████████████████████████████████████████████████▋ | 848/2107 [01:20<02:14, 9.37it/s]
41%|████████████████████████████████████████████████████████████████████████████████▍ | 856/2107 [01:21<02:09, 9.67it/s]
41%|█████████████████████████████████████████████████████████████████████████████████▏ | 864/2107 [01:22<02:05, 9.88it/s]
41%|█████████████████████████████████████████████████████████████████████████████████▉ | 872/2107 [01:23<02:04, 9.92it/s]
42%|██████████████████████████████████████████████████████████████████████████████████▋ | 880/2107 [01:23<02:05, 9.81it/s]
42%|███████████████████████████████████████████████████████████████████████████████████▍ | 888/2107 [01:24<02:03, 9.86it/s]
43%|████████████████████████████████████████████████████████████████████████████████████▏ | 896/2107 [01:25<02:01, 10.00it/s]
43%|████████████████████████████████████████████████████████████████████████████████████▉ | 904/2107 [01:26<02:03, 9.76it/s]
43%|█████████████████████████████████████████████████████████████████████████████████████▋ | 912/2107 [01:27<01:59, 10.03it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
44%|██████████████████████████████████████████████████████████████████████████████████████▍ | 920/2107 [01:27<02:00, 9.89it/s]
44%|███████████████████████████████████████████████████████████████████████████████████████▏ | 928/2107 [01:28<01:59, 9.85it/s]
44%|███████████████████████████████████████████████████████████████████████████████████████▉ | 936/2107 [01:29<01:54, 10.21it/s]
45%|████████████████████████████████████████████████████████████████████████████████████████▋ | 944/2107 [01:30<01:48, 10.70it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
45%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 952/2107 [01:30<01:47, 10.79it/s]
46%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 960/2107 [01:31<01:47, 10.68it/s]
46%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 968/2107 [01:32<01:49, 10.36it/s]
46%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 976/2107 [01:33<01:47, 10.57it/s]
47%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 984/2107 [01:33<01:48, 10.30it/s]
47%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 992/2107 [01:34<01:43, 10.81it/s]
47%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 1000/2107 [01:35<01:41, 10.94it/s]
48%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 1008/2107 [01:36<01:45, 10.43it/s]
48%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 1016/2107 [01:36<01:44, 10.41it/s]
49%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 1024/2107 [01:37<01:45, 10.29it/s]
49%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1032/2107 [01:38<01:43, 10.37it/s]
49%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1040/2107 [01:39<01:46, 10.05it/s]
50%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1048/2107 [01:40<01:41, 10.46it/s]
50%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1056/2107 [01:40<01:39, 10.55it/s]
50%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1064/2107 [01:41<01:34, 11.08it/s]
51%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1072/2107 [01:42<01:34, 10.98it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
51%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1080/2107 [01:43<01:42, 10.04it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
52%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1088/2107 [01:43<01:43, 9.87it/s]
52%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1096/2107 [01:44<01:42, 9.85it/s]
52%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1104/2107 [01:45<01:37, 10.31it/s]
53%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1112/2107 [01:46<01:36, 10.36it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
53%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1120/2107 [01:46<01:31, 10.81it/s]
54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1128/2107 [01:47<01:32, 10.64it/s]
54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1136/2107 [01:48<01:29, 10.79it/s]
54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1144/2107 [01:49<01:41, 9.48it/s]
55%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1152/2107 [01:50<01:37, 9.80it/s]
55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1160/2107 [01:50<01:33, 10.13it/s]
55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1168/2107 [01:51<01:34, 9.93it/s]
56%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1176/2107 [01:52<01:34, 9.90it/s]
56%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1184/2107 [01:53<01:31, 10.06it/s]
57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1192/2107 [01:54<01:30, 10.13it/s]
57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1200/2107 [01:54<01:29, 10.08it/s]
57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1208/2107 [01:55<01:26, 10.41it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1216/2107 [01:56<01:23, 10.61it/s]
58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1224/2107 [01:57<01:27, 10.04it/s]
58%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1232/2107 [01:58<01:25, 10.19it/s]
59%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1240/2107 [01:58<01:24, 10.32it/s]
59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1248/2107 [01:59<01:20, 10.62it/s]
60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1256/2107 [02:00<01:20, 10.61it/s]
60%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1264/2107 [02:01<01:21, 10.28it/s]
60%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1272/2107 [02:01<01:21, 10.28it/s]
61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1280/2107 [02:02<01:16, 10.77it/s]
61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1288/2107 [02:03<01:16, 10.78it/s]
62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1296/2107 [02:03<01:13, 11.00it/s]
62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1304/2107 [02:04<01:13, 10.90it/s]
62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1312/2107 [02:05<01:13, 10.88it/s]
63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1320/2107 [02:06<01:15, 10.39it/s]
63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1328/2107 [02:07<01:13, 10.55it/s]
63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1336/2107 [02:07<01:10, 10.87it/s]
64%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1344/2107 [02:08<01:11, 10.72it/s]
64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1352/2107 [02:09<01:10, 10.65it/s]
65%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1360/2107 [02:10<01:11, 10.51it/s]
65%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1368/2107 [02:10<01:09, 10.64it/s]
65%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1376/2107 [02:11<01:10, 10.42it/s]
66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1384/2107 [02:12<01:07, 10.66it/s]
66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1392/2107 [02:13<01:08, 10.38it/s]
66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1400/2107 [02:13<01:07, 10.50it/s]
67%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1408/2107 [02:14<01:04, 10.76it/s]
67%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1416/2107 [02:15<01:03, 10.83it/s]
68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1424/2107 [02:16<01:05, 10.48it/s]
68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1432/2107 [02:16<01:01, 10.97it/s]
68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1440/2107 [02:17<01:00, 11.07it/s]
69%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1448/2107 [02:18<01:01, 10.78it/s]
69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1456/2107 [02:18<00:59, 11.01it/s]
69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1464/2107 [02:19<00:56, 11.48it/s]
70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1472/2107 [02:20<00:58, 10.81it/s]
70%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1480/2107 [02:21<00:58, 10.64it/s]
71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1488/2107 [02:21<00:59, 10.37it/s]
71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1496/2107 [02:22<00:58, 10.37it/s]
71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1504/2107 [02:23<00:58, 10.31it/s]
72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1512/2107 [02:24<00:59, 10.08it/s]
72%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1520/2107 [02:25<00:58, 9.99it/s]
73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1528/2107 [02:25<00:56, 10.26it/s]
73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1536/2107 [02:26<00:54, 10.52it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1544/2107 [02:27<00:57, 9.83it/s]
74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1552/2107 [02:28<00:54, 10.10it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1560/2107 [02:29<00:58, 9.42it/s]
74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1568/2107 [02:30<00:54, 9.84it/s]
75%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1576/2107 [02:30<00:51, 10.38it/s]
75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1584/2107 [02:31<00:49, 10.61it/s]
76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1592/2107 [02:32<00:50, 10.14it/s]
76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1600/2107 [02:33<00:49, 10.32it/s]
76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1608/2107 [02:33<00:49, 10.12it/s]
77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1616/2107 [02:34<00:45, 10.76it/s]
77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1624/2107 [02:35<00:46, 10.43it/s]
77%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1632/2107 [02:36<00:45, 10.45it/s]
78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1640/2107 [02:36<00:40, 11.48it/s]
78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1648/2107 [02:37<00:41, 11.06it/s]
79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1656/2107 [02:38<00:42, 10.61it/s]
79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1664/2107 [02:38<00:40, 11.02it/s]
79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1672/2107 [02:39<00:40, 10.67it/s]
80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1680/2107 [02:40<00:39, 10.70it/s]
80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1688/2107 [02:41<00:38, 10.89it/s]
80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1696/2107 [02:41<00:37, 10.90it/s]
81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1704/2107 [02:42<00:39, 10.27it/s]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1712/2107 [02:43<00:38, 10.19it/s]
82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1720/2107 [02:44<00:37, 10.31it/s]
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1728/2107 [02:44<00:34, 10.84it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1736/2107 [02:45<00:35, 10.37it/s]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1744/2107 [02:46<00:34, 10.64it/s]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1752/2107 [02:47<00:33, 10.60it/s]
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1760/2107 [02:48<00:33, 10.31it/s]
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1768/2107 [02:48<00:32, 10.32it/s]
84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1776/2107 [02:49<00:31, 10.49it/s]
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1784/2107 [02:50<00:30, 10.56it/s]
85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1792/2107 [02:51<00:30, 10.24it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1800/2107 [02:51<00:30, 10.11it/s]
86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1808/2107 [02:52<00:30, 9.96it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1816/2107 [02:53<00:28, 10.15it/s]
87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1824/2107 [02:54<00:28, 9.84it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1832/2107 [02:55<00:27, 10.03it/s]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1840/2107 [02:55<00:26, 10.13it/s]
88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1848/2107 [02:56<00:25, 10.26it/s]
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1856/2107 [02:57<00:24, 10.38it/s]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1864/2107 [02:58<00:23, 10.29it/s]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1872/2107 [02:59<00:23, 10.02it/s]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1880/2107 [02:59<00:22, 10.19it/s]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1888/2107 [03:00<00:20, 10.47it/s]
90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1896/2107 [03:01<00:20, 10.29it/s]
90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1904/2107 [03:02<00:19, 10.66it/s]
91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1912/2107 [03:02<00:18, 10.30it/s]
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1920/2107 [03:03<00:17, 10.57it/s]
92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1928/2107 [03:04<00:17, 10.23it/s]
92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1936/2107 [03:05<00:16, 10.48it/s]
92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1944/2107 [03:05<00:14, 11.02it/s]
93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1952/2107 [03:06<00:14, 10.66it/s]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1960/2107 [03:07<00:14, 10.47it/s]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1968/2107 [03:08<00:13, 10.59it/s]
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1976/2107 [03:08<00:12, 10.86it/s]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1984/2107 [03:09<00:11, 10.35it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1992/2107 [03:10<00:11, 9.75it/s]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 2000/2107 [03:11<00:10, 9.78it/s]
95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 2008/2107 [03:12<00:09, 10.05it/s]
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 2016/2107 [03:12<00:08, 10.24it/s]
96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 2024/2107 [03:13<00:08, 9.99it/s]
96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 2032/2107 [03:14<00:08, 8.95it/s]
97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 2040/2107 [03:15<00:07, 9.15it/s]
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 2048/2107 [03:16<00:06, 9.65it/s]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 2056/2107 [03:17<00:05, 9.85it/s]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 2064/2107 [03:17<00:04, 10.17it/s]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 2072/2107 [03:18<00:03, 10.20it/s]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 2080/2107 [03:19<00:02, 10.34it/s]
99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 2088/2107 [03:20<00:01, 11.13it/s]
99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 2096/2107 [03:20<00:00, 11.19it/s]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2107/2107 [03:21<00:00, 10.45it/s]
[8]:
bin_depth_ranking_df = bin_depth_df.median(axis=1).sort_values()
plt.plot(bin_depth_ranking_df.values)
plt.axhline(bin_depth_ranking_df.tail(10000).values[0], linewidth=3, color='black')
plt.ylabel('Mean depth per bin', fontsize=15)
plt.xlabel('Bins', fontsize=15)
plt.yscale('log')
relevant_bins = bin_depth_ranking_df.tail(10000).index
relevant_bins = np.array(relevant_bins).astype(str)
relevant_bins = relevant_bins[relevant_bins != 'nan']
np.savetxt('./snmC2Tseq_eckerlab/10k_bin/top_bins_%s.txt'%(data_type), relevant_bins.astype(str), fmt='%s')
[9]:
relevant_bins = np.loadtxt('./snmC2Tseq_eckerlab/10k_bin/top_bins_%s.txt'%(data_type), dtype=str)
Import ratio
[10]:
def format_one_sample_ratio(f, output_type='GCYN', relevant_bins=None):
# output_type: GCYN or HCGN
df = pd.read_csv(f, sep='\t').set_index('ctxt')
df = df.loc[output_type].set_index('binID')
# Keep relevant bins
if relevant_bins is not None:
df = df.loc[np.intersect1d(df.index.astype(str), relevant_bins)]
# Recompute ratio (not well computed in the tool, leading to a cap at 0.5).
df['ratio'] = df['meth'] / df['unmeth']
df = df['ratio']
df = df.loc[[e for e in df.index if type(e) is str]]
return ((output_type, f), df)
def format_one_sample_raw(f, output_type='GCYN'):
# output_type: GCYN or HCGN
df = pd.read_csv(f, sep='\t').set_index('ctxt')
df = df.loc[output_type].set_index('binID')
df = df.loc[[e for e in df.index if type(e) is str]]
return ((output_type, f), df)
[11]:
formatted_df = Parallel(n_jobs=5, verbose=0)(
delayed(format_one_sample_ratio)(
os.path.join('./snmC2Tseq_eckerlab/10k_bin/binned_10kb_all', f),
relevant_bins=relevant_bins,
output_type=data_type
)
for f in tqdm.tqdm(os.listdir('./snmC2Tseq_eckerlab/10k_bin/binned_10kb_all'))
)
# formatted_df = pd.concat(dict(itertools.chain(*formatted_df)), axis=1)
formatted_df = pd.concat(dict(formatted_df), axis=1)
formatted_df = formatted_df.loc[
[e for e in formatted_df.index if type(e) is str or not math.isnan(e)]
]
0%| | 0/2107 [00:00<?, ?it/s]
0%|▍ | 5/2107 [00:02<14:26, 2.43it/s]
0%|▉ | 10/2107 [00:03<09:58, 3.50it/s]
1%|█▍ | 15/2107 [00:03<08:01, 4.35it/s]
1%|█▉ | 20/2107 [00:04<06:44, 5.15it/s]
1%|██▎ | 25/2107 [00:05<06:20, 5.47it/s]
1%|██▊ | 30/2107 [00:06<05:58, 5.79it/s]
2%|███▎ | 35/2107 [00:06<05:50, 5.92it/s]
2%|███▊ | 40/2107 [00:07<05:46, 5.96it/s]
2%|████▎ | 45/2107 [00:08<05:21, 6.41it/s]
2%|████▋ | 50/2107 [00:09<05:23, 6.35it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
3%|█████▏ | 55/2107 [00:10<06:36, 5.18it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
3%|█████▋ | 60/2107 [00:11<07:07, 4.79it/s]
3%|██████▏ | 65/2107 [00:12<07:12, 4.72it/s]
3%|██████▌ | 70/2107 [00:13<06:21, 5.34it/s]
4%|███████ | 75/2107 [00:14<06:06, 5.54it/s]
4%|███████▌ | 80/2107 [00:15<05:55, 5.70it/s]
4%|████████ | 85/2107 [00:16<05:49, 5.79it/s]
4%|████████▌ | 90/2107 [00:16<05:40, 5.93it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
5%|████████▉ | 95/2107 [00:17<05:41, 5.89it/s]
5%|█████████▍ | 100/2107 [00:18<05:37, 5.95it/s]
5%|█████████▊ | 105/2107 [00:19<05:22, 6.21it/s]
5%|██████████▎ | 110/2107 [00:20<05:23, 6.17it/s]
5%|██████████▊ | 115/2107 [00:20<05:18, 6.25it/s]
6%|███████████▎ | 120/2107 [00:21<05:06, 6.48it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
6%|███████████▋ | 125/2107 [00:22<06:01, 5.48it/s]
6%|████████████▏ | 130/2107 [00:23<05:39, 5.83it/s]
6%|████████████▋ | 135/2107 [00:24<05:47, 5.68it/s]
7%|█████████████▏ | 140/2107 [00:25<05:38, 5.82it/s]
7%|█████████████▋ | 145/2107 [00:25<05:22, 6.08it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
7%|██████████████ | 150/2107 [00:26<05:24, 6.04it/s]
7%|██████████████▌ | 155/2107 [00:27<05:42, 5.71it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
8%|███████████████ | 160/2107 [00:28<06:10, 5.25it/s]
8%|███████████████▌ | 165/2107 [00:29<06:06, 5.30it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
8%|███████████████▉ | 170/2107 [00:31<06:49, 4.73it/s]
8%|████████████████▍ | 175/2107 [00:32<06:39, 4.83it/s]
9%|████████████████▉ | 180/2107 [00:32<06:01, 5.33it/s]
9%|█████████████████▍ | 185/2107 [00:33<05:42, 5.62it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
9%|█████████████████▊ | 190/2107 [00:34<05:30, 5.81it/s]
9%|██████████████████▎ | 195/2107 [00:35<06:20, 5.02it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
9%|██████████████████▊ | 200/2107 [00:36<06:38, 4.79it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
10%|███████████████████▎ | 205/2107 [00:37<06:12, 5.11it/s]
10%|███████████████████▋ | 210/2107 [00:38<05:59, 5.28it/s]
10%|████████████████████▏ | 215/2107 [00:39<05:43, 5.51it/s]
10%|████████████████████▋ | 220/2107 [00:40<05:41, 5.52it/s]
11%|█████████████████████▏ | 225/2107 [00:41<05:22, 5.84it/s]
11%|█████████████████████▌ | 230/2107 [00:41<04:54, 6.38it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
11%|██████████████████████ | 235/2107 [00:42<05:14, 5.94it/s]
11%|██████████████████████▌ | 240/2107 [00:43<06:00, 5.17it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
12%|███████████████████████ | 245/2107 [00:44<05:58, 5.19it/s]
12%|███████████████████████▍ | 250/2107 [00:45<05:44, 5.39it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
12%|███████████████████████▉ | 255/2107 [00:47<06:36, 4.67it/s]
12%|████████████████████████▍ | 260/2107 [00:47<06:01, 5.11it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
13%|████████████████████████▉ | 265/2107 [00:48<05:44, 5.35it/s]
13%|█████████████████████████▎ | 270/2107 [00:49<06:02, 5.06it/s]
13%|█████████████████████████▊ | 275/2107 [00:50<05:49, 5.24it/s]
13%|██████████████████████████▎ | 280/2107 [00:51<05:21, 5.69it/s]
14%|██████████████████████████▊ | 285/2107 [00:52<05:08, 5.91it/s]
14%|███████████████████████████▎ | 290/2107 [00:52<04:59, 6.07it/s]
14%|███████████████████████████▋ | 295/2107 [00:53<05:13, 5.79it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
14%|████████████████████████████▏ | 300/2107 [00:54<05:16, 5.71it/s]
14%|████████████████████████████▋ | 305/2107 [00:55<05:15, 5.72it/s]
15%|█████████████████████████████▏ | 310/2107 [00:56<05:10, 5.79it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
15%|█████████████████████████████▌ | 315/2107 [00:57<06:12, 4.81it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
15%|██████████████████████████████ | 320/2107 [00:58<05:34, 5.34it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
15%|██████████████████████████████▌ | 325/2107 [01:00<06:21, 4.67it/s]
16%|███████████████████████████████ | 330/2107 [01:00<05:52, 5.04it/s]
16%|███████████████████████████████▍ | 335/2107 [01:01<05:32, 5.33it/s]
16%|███████████████████████████████▉ | 340/2107 [01:02<05:08, 5.72it/s]
16%|████████████████████████████████▍ | 345/2107 [01:03<04:59, 5.88it/s]
17%|████████████████████████████████▉ | 350/2107 [01:04<04:57, 5.91it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
17%|█████████████████████████████████▎ | 355/2107 [01:05<05:53, 4.96it/s]
17%|█████████████████████████████████▊ | 360/2107 [01:06<05:29, 5.30it/s]
17%|██████████████████████████████████▎ | 365/2107 [01:06<05:06, 5.69it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
18%|██████████████████████████████████▊ | 370/2107 [01:08<06:59, 4.14it/s]
18%|███████████████████████████████████▏ | 375/2107 [01:09<06:12, 4.65it/s]
18%|███████████████████████████████████▋ | 380/2107 [01:10<05:35, 5.14it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
18%|████████████████████████████████████▏ | 385/2107 [01:11<06:19, 4.54it/s]
19%|████████████████████████████████████▋ | 390/2107 [01:12<05:14, 5.46it/s]
19%|█████████████████████████████████████ | 395/2107 [01:13<04:50, 5.89it/s]
19%|█████████████████████████████████████▌ | 400/2107 [01:13<04:46, 5.95it/s]
19%|██████████████████████████████████████ | 405/2107 [01:14<04:37, 6.14it/s]
19%|██████████████████████████████████████▌ | 410/2107 [01:15<04:41, 6.03it/s]
20%|██████████████████████████████████████▉ | 415/2107 [01:16<04:38, 6.07it/s]
20%|███████████████████████████████████████▍ | 420/2107 [01:17<04:34, 6.15it/s]
20%|███████████████████████████████████████▉ | 425/2107 [01:17<04:14, 6.61it/s]
20%|████████████████████████████████████████▍ | 430/2107 [01:18<04:19, 6.46it/s]
21%|████████████████████████████████████████▉ | 435/2107 [01:19<04:26, 6.27it/s]
21%|█████████████████████████████████████████▎ | 440/2107 [01:19<04:13, 6.59it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
21%|█████████████████████████████████████████▊ | 445/2107 [01:21<05:16, 5.25it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
21%|██████████████████████████████████████████▎ | 450/2107 [01:22<05:56, 4.65it/s]
22%|██████████████████████████████████████████▊ | 455/2107 [01:23<05:18, 5.19it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
22%|███████████████████████████████████████████▏ | 460/2107 [01:24<06:01, 4.56it/s]
22%|███████████████████████████████████████████▋ | 465/2107 [01:25<05:33, 4.92it/s]
22%|████████████████████████████████████████████▏ | 470/2107 [01:26<05:06, 5.33it/s]
23%|████████████████████████████████████████████▋ | 475/2107 [01:27<04:47, 5.68it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
23%|█████████████████████████████████████████████ | 480/2107 [01:28<04:55, 5.50it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
23%|█████████████████████████████████████████████▌ | 485/2107 [01:29<05:55, 4.57it/s]
23%|██████████████████████████████████████████████ | 490/2107 [01:30<05:37, 4.79it/s]
23%|██████████████████████████████████████████████▌ | 495/2107 [01:31<05:03, 5.31it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
24%|██████████████████████████████████████████████▉ | 500/2107 [01:32<04:52, 5.50it/s]
24%|███████████████████████████████████████████████▍ | 505/2107 [01:33<05:14, 5.09it/s]
24%|███████████████████████████████████████████████▉ | 510/2107 [01:34<05:03, 5.26it/s]
24%|████████████████████████████████████████████████▍ | 515/2107 [01:35<04:48, 5.52it/s]
25%|████████████████████████████████████████████████▊ | 520/2107 [01:35<04:25, 5.98it/s]
25%|█████████████████████████████████████████████████▎ | 525/2107 [01:36<04:19, 6.10it/s]
25%|█████████████████████████████████████████████████▊ | 530/2107 [01:37<04:15, 6.18it/s]
25%|██████████████████████████████████████████████████▎ | 535/2107 [01:38<04:15, 6.16it/s]
26%|██████████████████████████████████████████████████▋ | 540/2107 [01:38<04:05, 6.38it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
26%|███████████████████████████████████████████████████▏ | 545/2107 [01:39<04:17, 6.07it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
26%|███████████████████████████████████████████████████▋ | 550/2107 [01:41<06:18, 4.11it/s]
26%|████████████████████████████████████████████████████▏ | 555/2107 [01:42<05:40, 4.56it/s]
27%|████████████████████████████████████████████████████▌ | 560/2107 [01:43<05:17, 4.88it/s]
27%|█████████████████████████████████████████████████████ | 565/2107 [01:44<04:53, 5.26it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
27%|█████████████████████████████████████████████████████▌ | 570/2107 [01:45<05:00, 5.12it/s]
27%|██████████████████████████████████████████████████████ | 575/2107 [01:46<04:54, 5.20it/s]
28%|██████████████████████████████████████████████████████▌ | 580/2107 [01:47<04:35, 5.54it/s]
28%|██████████████████████████████████████████████████████▉ | 585/2107 [01:47<04:39, 5.45it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
28%|███████████████████████████████████████████████████████▍ | 590/2107 [01:48<04:45, 5.30it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
28%|███████████████████████████████████████████████████████▉ | 595/2107 [01:49<04:37, 5.45it/s]
28%|████████████████████████████████████████████████████████▍ | 600/2107 [01:50<04:57, 5.07it/s]
29%|████████████████████████████████████████████████████████▊ | 605/2107 [01:51<04:37, 5.40it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
29%|█████████████████████████████████████████████████████████▎ | 610/2107 [01:52<04:57, 5.03it/s]
29%|█████████████████████████████████████████████████████████▊ | 615/2107 [01:54<06:28, 3.84it/s]
29%|██████████████████████████████████████████████████████████▎ | 620/2107 [01:55<05:54, 4.19it/s]
30%|██████████████████████████████████████████████████████████▋ | 625/2107 [01:56<05:24, 4.57it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
30%|███████████████████████████████████████████████████████████▏ | 630/2107 [01:57<05:18, 4.63it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
30%|███████████████████████████████████████████████████████████▋ | 635/2107 [01:58<04:51, 5.05it/s]
30%|████████████████████████████████████████████████████████████▏ | 640/2107 [01:59<04:48, 5.09it/s]
31%|████████████████████████████████████████████████████████████▌ | 645/2107 [02:00<04:17, 5.67it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
31%|█████████████████████████████████████████████████████████████ | 650/2107 [02:01<04:15, 5.71it/s]
31%|█████████████████████████████████████████████████████████████▌ | 655/2107 [02:02<04:24, 5.49it/s]
31%|██████████████████████████████████████████████████████████████ | 660/2107 [02:02<04:16, 5.64it/s]
32%|██████████████████████████████████████████████████████████████▍ | 665/2107 [02:03<03:54, 6.14it/s]
32%|██████████████████████████████████████████████████████████████▉ | 670/2107 [02:04<03:53, 6.16it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
32%|███████████████████████████████████████████████████████████████▍ | 675/2107 [02:05<03:46, 6.33it/s]
32%|███████████████████████████████████████████████████████████████▉ | 680/2107 [02:06<04:00, 5.94it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
33%|████████████████████████████████████████████████████████████████▎ | 685/2107 [02:06<03:52, 6.11it/s]
33%|████████████████████████████████████████████████████████████████▊ | 690/2107 [02:07<03:55, 6.01it/s]
33%|█████████████████████████████████████████████████████████████████▎ | 695/2107 [02:08<03:55, 5.99it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
33%|█████████████████████████████████████████████████████████████████▊ | 700/2107 [02:09<04:19, 5.43it/s]
33%|██████████████████████████████████████████████████████████████████▎ | 705/2107 [02:10<04:16, 5.46it/s]
34%|██████████████████████████████████████████████████████████████████▋ | 710/2107 [02:11<04:08, 5.62it/s]
34%|███████████████████████████████████████████████████████████████████▏ | 715/2107 [02:12<03:53, 5.95it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
34%|███████████████████████████████████████████████████████████████████▋ | 720/2107 [02:13<04:11, 5.51it/s]
34%|████████████████████████████████████████████████████████████████████▏ | 725/2107 [02:13<04:03, 5.67it/s]
35%|████████████████████████████████████████████████████████████████████▌ | 730/2107 [02:14<03:49, 5.99it/s]
35%|█████████████████████████████████████████████████████████████████████ | 735/2107 [02:15<03:46, 6.05it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
35%|█████████████████████████████████████████████████████████████████████▌ | 740/2107 [02:16<04:12, 5.41it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
35%|██████████████████████████████████████████████████████████████████████ | 745/2107 [02:17<04:38, 4.90it/s]
36%|██████████████████████████████████████████████████████████████████████▍ | 750/2107 [02:18<04:14, 5.34it/s]
36%|██████████████████████████████████████████████████████████████████████▉ | 755/2107 [02:19<03:59, 5.64it/s]
36%|███████████████████████████████████████████████████████████████████████▍ | 760/2107 [02:20<03:47, 5.92it/s]
36%|███████████████████████████████████████████████████████████████████████▉ | 765/2107 [02:20<03:43, 6.01it/s]
37%|████████████████████████████████████████████████████████████████████████▎ | 770/2107 [02:21<03:39, 6.09it/s]
37%|████████████████████████████████████████████████████████████████████████▊ | 775/2107 [02:22<03:43, 5.97it/s]
37%|█████████████████████████████████████████████████████████████████████████▎ | 780/2107 [02:23<03:16, 6.75it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
37%|█████████████████████████████████████████████████████████████████████████▊ | 785/2107 [02:23<03:19, 6.62it/s]
37%|██████████████████████████████████████████████████████████████████████████▏ | 790/2107 [02:25<03:47, 5.79it/s]
38%|██████████████████████████████████████████████████████████████████████████▋ | 795/2107 [02:25<03:43, 5.86it/s]
38%|███████████████████████████████████████████████████████████████████████████▏ | 800/2107 [02:26<03:39, 5.95it/s]
38%|███████████████████████████████████████████████████████████████████████████▋ | 805/2107 [02:27<03:35, 6.03it/s]
38%|████████████████████████████████████████████████████████████████████████████ | 810/2107 [02:28<03:37, 5.97it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
39%|████████████████████████████████████████████████████████████████████████████▌ | 815/2107 [02:29<04:13, 5.10it/s]
39%|█████████████████████████████████████████████████████████████████████████████ | 820/2107 [02:30<04:04, 5.27it/s]
39%|█████████████████████████████████████████████████████████████████████████████▌ | 825/2107 [02:31<03:50, 5.57it/s]
39%|█████████████████████████████████████████████████████████████████████████████▉ | 830/2107 [02:32<03:40, 5.79it/s]
40%|██████████████████████████████████████████████████████████████████████████████▍ | 835/2107 [02:32<03:37, 5.85it/s]
40%|██████████████████████████████████████████████████████████████████████████████▉ | 840/2107 [02:33<03:34, 5.92it/s]
40%|███████████████████████████████████████████████████████████████████████████████▍ | 845/2107 [02:34<03:36, 5.83it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
40%|███████████████████████████████████████████████████████████████████████████████▉ | 850/2107 [02:35<03:32, 5.92it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
41%|████████████████████████████████████████████████████████████████████████████████▎ | 855/2107 [02:36<03:53, 5.37it/s]
41%|████████████████████████████████████████████████████████████████████████████████▊ | 860/2107 [02:37<03:44, 5.56it/s]
41%|█████████████████████████████████████████████████████████████████████████████████▎ | 865/2107 [02:38<03:39, 5.65it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
41%|█████████████████████████████████████████████████████████████████████████████████▊ | 870/2107 [02:39<03:41, 5.59it/s]
42%|██████████████████████████████████████████████████████████████████████████████████▏ | 875/2107 [02:40<03:51, 5.32it/s]
42%|██████████████████████████████████████████████████████████████████████████████████▋ | 880/2107 [02:40<03:37, 5.65it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
42%|███████████████████████████████████████████████████████████████████████████████████▏ | 885/2107 [02:42<03:49, 5.32it/s]
42%|███████████████████████████████████████████████████████████████████████████████████▋ | 890/2107 [02:42<03:38, 5.57it/s]
42%|████████████████████████████████████████████████████████████████████████████████████ | 895/2107 [02:43<03:21, 6.03it/s]
43%|████████████████████████████████████████████████████████████████████████████████████▌ | 900/2107 [02:44<03:12, 6.26it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
43%|█████████████████████████████████████████████████████████████████████████████████████ | 905/2107 [02:45<03:35, 5.59it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
43%|█████████████████████████████████████████████████████████████████████████████████████▌ | 910/2107 [02:46<03:25, 5.82it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
43%|█████████████████████████████████████████████████████████████████████████████████████▉ | 915/2107 [02:47<03:45, 5.28it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
44%|██████████████████████████████████████████████████████████████████████████████████████▍ | 920/2107 [02:48<04:25, 4.47it/s]
44%|██████████████████████████████████████████████████████████████████████████████████████▉ | 925/2107 [02:49<04:02, 4.88it/s]
44%|███████████████████████████████████████████████████████████████████████████████████████▍ | 930/2107 [02:50<03:49, 5.13it/s]
44%|███████████████████████████████████████████████████████████████████████████████████████▊ | 935/2107 [02:51<03:23, 5.75it/s]
45%|████████████████████████████████████████████████████████████████████████████████████████▎ | 940/2107 [02:51<03:18, 5.87it/s]
45%|████████████████████████████████████████████████████████████████████████████████████████▊ | 945/2107 [02:52<03:10, 6.11it/s]
45%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 950/2107 [02:53<02:56, 6.56it/s]
45%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 955/2107 [02:54<02:57, 6.48it/s]
46%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 960/2107 [02:54<02:57, 6.48it/s]
46%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 965/2107 [02:55<02:53, 6.57it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
46%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 970/2107 [02:56<03:13, 5.87it/s]
46%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 975/2107 [02:57<03:02, 6.20it/s]
47%|████████████████████████████████████████████████████████████████████████████████████████████ | 980/2107 [02:58<02:57, 6.35it/s]
47%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 985/2107 [02:58<02:57, 6.31it/s]
47%|█████████████████████████████████████████████████████████████████████████████████████████████ | 990/2107 [02:59<02:58, 6.27it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
47%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 995/2107 [03:01<03:54, 4.73it/s]
47%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 1000/2107 [03:02<03:36, 5.12it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
48%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 1005/2107 [03:02<03:20, 5.50it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
48%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 1010/2107 [03:04<03:42, 4.92it/s]
48%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 1015/2107 [03:04<03:27, 5.27it/s]
48%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 1020/2107 [03:05<03:05, 5.87it/s]
49%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 1025/2107 [03:06<02:59, 6.02it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
49%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1030/2107 [03:07<03:15, 5.52it/s]
49%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1035/2107 [03:08<03:11, 5.60it/s]
49%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1040/2107 [03:09<03:05, 5.76it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
50%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1045/2107 [03:09<03:04, 5.76it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
50%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1050/2107 [03:11<03:26, 5.11it/s]
50%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1055/2107 [03:11<03:13, 5.45it/s]
50%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 1060/2107 [03:12<02:57, 5.91it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
51%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1065/2107 [03:13<02:48, 6.19it/s]
51%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 1070/2107 [03:14<02:54, 5.93it/s]
51%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1075/2107 [03:15<02:48, 6.11it/s]
51%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1080/2107 [03:15<02:45, 6.20it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
51%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1085/2107 [03:16<03:05, 5.52it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
52%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1090/2107 [03:18<03:23, 5.00it/s]
52%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1095/2107 [03:18<03:01, 5.58it/s]
52%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1100/2107 [03:19<02:59, 5.61it/s]
52%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1105/2107 [03:20<02:43, 6.13it/s]
53%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1110/2107 [03:21<02:32, 6.55it/s]
53%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1115/2107 [03:21<02:31, 6.56it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
53%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1120/2107 [03:22<02:31, 6.53it/s]
53%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1125/2107 [03:23<02:55, 5.58it/s]
54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1130/2107 [03:24<02:47, 5.82it/s]
54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1135/2107 [03:25<02:39, 6.09it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1140/2107 [03:26<02:37, 6.14it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1145/2107 [03:27<03:01, 5.30it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
55%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1150/2107 [03:28<03:12, 4.97it/s]
55%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1155/2107 [03:29<03:16, 4.85it/s]
55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1160/2107 [03:30<03:06, 5.07it/s]
55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1165/2107 [03:31<02:55, 5.37it/s]
56%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1170/2107 [03:32<02:50, 5.50it/s]
56%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1175/2107 [03:32<02:41, 5.79it/s]
56%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1180/2107 [03:33<02:38, 5.83it/s]
56%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1185/2107 [03:34<02:36, 5.88it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1190/2107 [03:35<02:33, 5.96it/s]
57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1195/2107 [03:36<02:31, 6.00it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1200/2107 [03:37<02:39, 5.69it/s]
57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1205/2107 [03:38<02:39, 5.65it/s]
57%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1210/2107 [03:38<02:35, 5.78it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1215/2107 [03:40<02:51, 5.19it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1220/2107 [03:41<03:00, 4.91it/s]
58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1225/2107 [03:42<02:55, 5.03it/s]
58%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1230/2107 [03:42<02:46, 5.28it/s]
59%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1235/2107 [03:43<02:35, 5.62it/s]
59%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1240/2107 [03:44<02:17, 6.30it/s]
59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1245/2107 [03:45<02:17, 6.26it/s]
59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1250/2107 [03:45<02:13, 6.42it/s]
60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1255/2107 [03:46<02:14, 6.32it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1260/2107 [03:47<02:14, 6.31it/s]
60%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1265/2107 [03:48<02:16, 6.17it/s]
60%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1270/2107 [03:49<02:15, 6.19it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1275/2107 [03:49<02:10, 6.39it/s]
61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1280/2107 [03:50<02:25, 5.69it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1285/2107 [03:51<02:17, 5.96it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1290/2107 [03:52<02:33, 5.32it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
61%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1295/2107 [03:53<02:30, 5.40it/s]
62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1300/2107 [03:54<02:33, 5.26it/s]
62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1305/2107 [03:55<02:28, 5.40it/s]
62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1310/2107 [03:56<02:20, 5.66it/s]
62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1315/2107 [03:57<02:17, 5.76it/s]
63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1320/2107 [03:57<02:10, 6.02it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1325/2107 [03:58<02:07, 6.11it/s]
63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1330/2107 [03:59<02:22, 5.44it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1335/2107 [04:00<02:17, 5.61it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
64%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1340/2107 [04:01<02:26, 5.24it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
64%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1345/2107 [04:02<02:25, 5.22it/s]
64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1350/2107 [04:03<02:21, 5.36it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1355/2107 [04:04<02:28, 5.08it/s]
65%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1360/2107 [04:05<02:20, 5.31it/s]
65%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1365/2107 [04:06<02:16, 5.44it/s]
65%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1370/2107 [04:07<02:10, 5.67it/s]
65%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1375/2107 [04:08<02:02, 5.97it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1380/2107 [04:09<02:10, 5.57it/s]
66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1385/2107 [04:10<02:15, 5.34it/s]
66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1390/2107 [04:10<02:10, 5.48it/s]
66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1395/2107 [04:11<02:00, 5.91it/s]
66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1400/2107 [04:12<01:55, 6.12it/s]
67%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1405/2107 [04:13<01:54, 6.12it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
67%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1410/2107 [04:14<01:57, 5.96it/s]
67%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1415/2107 [04:14<01:57, 5.88it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
67%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1420/2107 [04:16<02:10, 5.27it/s]
68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1425/2107 [04:16<02:03, 5.54it/s]
68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1430/2107 [04:17<01:57, 5.74it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1435/2107 [04:18<01:53, 5.92it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1440/2107 [04:19<01:57, 5.67it/s]
69%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1445/2107 [04:20<02:02, 5.40it/s]
69%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1450/2107 [04:21<01:52, 5.86it/s]
69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1455/2107 [04:21<01:48, 6.03it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1460/2107 [04:22<01:52, 5.75it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1465/2107 [04:24<02:09, 4.94it/s]
70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1470/2107 [04:25<02:01, 5.22it/s]
70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1475/2107 [04:26<02:00, 5.26it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
70%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1480/2107 [04:26<01:52, 5.56it/s]
70%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1485/2107 [04:27<01:58, 5.24it/s]
71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1490/2107 [04:28<01:50, 5.56it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1495/2107 [04:29<01:57, 5.19it/s]
71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1500/2107 [04:30<02:00, 5.02it/s]
71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1505/2107 [04:31<01:53, 5.31it/s]
72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1510/2107 [04:32<01:48, 5.50it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1515/2107 [04:33<01:44, 5.64it/s]
72%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1520/2107 [04:34<01:44, 5.61it/s]
72%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1525/2107 [04:35<01:47, 5.39it/s]
73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1530/2107 [04:35<01:39, 5.79it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1535/2107 [04:36<01:37, 5.85it/s]
73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1540/2107 [04:37<01:38, 5.78it/s]
73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1545/2107 [04:38<01:34, 5.96it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1550/2107 [04:39<01:32, 6.04it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1555/2107 [04:40<01:38, 5.63it/s]
74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1560/2107 [04:41<01:32, 5.91it/s]
74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1565/2107 [04:41<01:31, 5.94it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1570/2107 [04:42<01:30, 5.96it/s]
75%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1575/2107 [04:43<01:35, 5.57it/s]
75%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1580/2107 [04:44<01:34, 5.57it/s]
75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1585/2107 [04:45<01:35, 5.47it/s]
75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1590/2107 [04:46<01:31, 5.63it/s]
76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1595/2107 [04:47<01:22, 6.20it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1600/2107 [04:48<01:27, 5.80it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1605/2107 [04:48<01:25, 5.90it/s]
76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1610/2107 [04:49<01:23, 5.94it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1615/2107 [04:50<01:21, 6.00it/s]
77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1620/2107 [04:51<01:25, 5.70it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1625/2107 [04:52<01:24, 5.68it/s]
77%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1630/2107 [04:53<01:19, 5.99it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1635/2107 [04:54<01:27, 5.41it/s]
78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1640/2107 [04:54<01:20, 5.77it/s]
78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1645/2107 [04:55<01:16, 6.00it/s]
78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1650/2107 [04:56<01:15, 6.04it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1655/2107 [04:57<01:23, 5.38it/s]
79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1660/2107 [04:58<01:24, 5.31it/s]
79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1665/2107 [04:59<01:17, 5.69it/s]
79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1670/2107 [05:00<01:15, 5.80it/s]
79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1675/2107 [05:01<01:12, 5.95it/s]
80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1680/2107 [05:01<01:11, 5.96it/s]
80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1685/2107 [05:02<01:09, 6.09it/s]
80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1690/2107 [05:03<01:04, 6.48it/s]
80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1695/2107 [05:04<01:05, 6.29it/s]
81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1700/2107 [05:04<01:03, 6.39it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1705/2107 [05:06<01:14, 5.39it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1710/2107 [05:07<01:13, 5.37it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1715/2107 [05:08<01:18, 4.99it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1720/2107 [05:09<01:15, 5.10it/s]
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1725/2107 [05:10<01:12, 5.30it/s]
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1730/2107 [05:10<01:06, 5.68it/s]
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1735/2107 [05:11<01:04, 5.79it/s]
83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1740/2107 [05:12<01:03, 5.79it/s]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1745/2107 [05:13<01:04, 5.65it/s]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1750/2107 [05:14<01:02, 5.69it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1755/2107 [05:15<01:01, 5.70it/s]
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1760/2107 [05:16<01:01, 5.62it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1765/2107 [05:16<01:01, 5.55it/s]
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1770/2107 [05:17<00:59, 5.65it/s]
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1775/2107 [05:18<00:57, 5.78it/s]
84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1780/2107 [05:19<00:55, 5.89it/s]
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1785/2107 [05:20<00:52, 6.12it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1790/2107 [05:21<01:00, 5.23it/s]
85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1795/2107 [05:22<00:57, 5.42it/s]
85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1800/2107 [05:23<00:55, 5.55it/s]
86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1805/2107 [05:24<00:53, 5.68it/s]
86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1810/2107 [05:24<00:50, 5.93it/s]
86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1815/2107 [05:25<00:47, 6.18it/s]
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1820/2107 [05:26<00:48, 5.88it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1825/2107 [05:27<00:54, 5.16it/s]
87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1830/2107 [05:28<00:50, 5.46it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1835/2107 [05:29<00:51, 5.24it/s]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1840/2107 [05:30<00:48, 5.46it/s]
88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1845/2107 [05:31<00:45, 5.75it/s]
88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1850/2107 [05:31<00:42, 6.10it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1855/2107 [05:32<00:45, 5.48it/s]
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1860/2107 [05:33<00:43, 5.72it/s]
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1865/2107 [05:34<00:41, 5.85it/s]
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1870/2107 [05:35<00:38, 6.21it/s]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1875/2107 [05:36<00:37, 6.22it/s]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1880/2107 [05:36<00:36, 6.30it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1885/2107 [05:37<00:35, 6.20it/s]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1890/2107 [05:39<00:42, 5.12it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1895/2107 [05:39<00:38, 5.47it/s]
90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1900/2107 [05:40<00:36, 5.67it/s]
90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1905/2107 [05:41<00:35, 5.63it/s]
91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1910/2107 [05:42<00:33, 5.87it/s]
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1915/2107 [05:43<00:31, 6.00it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1920/2107 [05:44<00:32, 5.68it/s]
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1925/2107 [05:44<00:31, 5.86it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1930/2107 [05:45<00:32, 5.43it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1935/2107 [05:46<00:30, 5.61it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1940/2107 [05:47<00:33, 4.99it/s]
92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1945/2107 [05:48<00:30, 5.24it/s]
93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1950/2107 [05:49<00:28, 5.51it/s]
93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1955/2107 [05:50<00:27, 5.60it/s]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1960/2107 [05:51<00:23, 6.34it/s]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1965/2107 [05:51<00:22, 6.29it/s]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1970/2107 [05:52<00:20, 6.57it/s]
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1975/2107 [05:53<00:20, 6.53it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1980/2107 [05:54<00:20, 6.32it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1985/2107 [05:55<00:24, 5.03it/s]
94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1990/2107 [05:56<00:22, 5.31it/s]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1995/2107 [05:57<00:19, 5.66it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 2000/2107 [05:57<00:18, 5.84it/s]
95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 2005/2107 [05:59<00:18, 5.45it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 2010/2107 [06:00<00:18, 5.25it/s]
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 2015/2107 [06:00<00:16, 5.42it/s]
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 2020/2107 [06:01<00:15, 5.70it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 2025/2107 [06:02<00:13, 5.89it/s]
96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 2030/2107 [06:03<00:13, 5.80it/s]
97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 2035/2107 [06:04<00:12, 5.96it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 2040/2107 [06:05<00:12, 5.32it/s]
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 2045/2107 [06:06<00:11, 5.35it/s]
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 2050/2107 [06:07<00:10, 5.49it/s]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 2055/2107 [06:07<00:09, 5.62it/s]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 2060/2107 [06:08<00:07, 6.16it/s]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 2065/2107 [06:09<00:06, 6.15it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 2070/2107 [06:10<00:05, 6.29it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 2075/2107 [06:11<00:05, 5.57it/s]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 2080/2107 [06:12<00:04, 5.85it/s]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 2085/2107 [06:12<00:03, 6.01it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 2090/2107 [06:13<00:02, 6.03it/s]/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
/Users/soufianemourragui/opt/miniconda3/envs/sincei/lib/python3.9/site-packages/joblib/externals/loky/process_executor.py:700: UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
warnings.warn(
99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 2095/2107 [06:14<00:02, 5.53it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 2100/2107 [06:15<00:01, 5.40it/s]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2107/2107 [06:16<00:00, 5.60it/s]
Restrict ratio to deep enough bins
[12]:
plt.plot(formatted_df.isna().sum(axis=0).sort_values().values)
filtered_formatted_df = formatted_df.loc[:,formatted_df.isna().sum(axis=0) < 4000]
[13]:
# Mean imputation per row
filtered_formatted_df = filtered_formatted_df.fillna(filtered_formatted_df.mean(axis=0), axis=0)
filtered_formatted_df = filtered_formatted_df.T
[14]:
filtered_formatted_df.to_pickle('./snmC2Tseq_eckerlab/10k_bin/processed_data_%s_2023_09_24.pkl'%(data_type))
[15]:
filtered_formatted_df.to_csv('./snmC2Tseq_eckerlab/10k_bin/processed_data_%s_2023_09_24.csv.gz'%(data_type), compression='gzip')