--limit/-k parameter does not work as expected: only 519 papers downloaded when limit is set to 1000

[YuAoZeng]

Description

I encountered an issue where the --limit/-k parameter does not enforce the specified maximum number of papers to download.

Steps to Reproduce

1. Run the command:

   pygetpapers -q "zeolite" --startdate "2010-01-01" --enddate "2026-01-01" -k 1000 -o pygetpapers -p --pdf -s --supp --loglevel info

2. The output shows:

   Total Hits are 23264
   519it [00:00, 125938.32it/s]

3. Question:
   How to crawl all 23k+ papers without duplication

[petermr]

You will have to provide more output to show whether and why the download terminated. it's very unlikely that pygetpapers terminated it deliberately.

[YuAoZeng]

1. Run the command:

   pygetpapers -q "zeolite" --startdate "1950-01-01" --enddate "1970-01-01" -k 40 -o pygetpapers/1950-1970 -p --pdf -s --supp --loglevel info > pygetpapers/1950-1970/run.log

2. The output shows:

   INFO: Total Hits are 40

WARNING: Could not find more papers
27it [00:00, 128688.87it/s]
0%| | 0/27 [00:00<?, ?it/s]WARNING: files not found for this paper
4%|████████▋ | 1/27 [00:03<01:22, 3.16s/it]WARNING: files not found for this paper
7%|█████████████████▎ | 2/27 [00:06<01:22, 3.29s/it]WARNING: files not found for this paper
11%|██████████████████████████ | 3/27 [00:09<01:18, 3.28s/it]WARNING: files not found for this paper
15%|██████████████████████████████████▋ | 4/27 [00:12<01:13, 3.21s/it]WARNING: files not found for this paper
19%|███████████████████████████████████████████▎ | 5/27 [00:16<01:11, 3.24s/it]WARNING: files not found for this paper
22%|████████████████████████████████████████████████████ | 6/27 [00:19<01:06, 3.17s/it]WARNING: files not found for this paper
26%|████████████████████████████████████████████████████████████▋ | 7/27 [00:22<01:04, 3.20s/it]WARNING: files not found for this paper
30%|█████████████████████████████████████████████████████████████████████▎ | 8/27 [00:25<01:01, 3.25s/it]WARNING: files not found for this paper
33%|██████████████████████████████████████████████████████████████████████████████ | 9/27 [00:28<00:57, 3.20s/it]WARNING: files not found for this paper
37%|██████████████████████████████████████████████████████████████████████████████████████▎ | 10/27 [00:32<00:55, 3.25s/it]WARNING: files not found for this paper
41%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 11/27 [00:35<00:51, 3.22s/it]INFO: Extracted the files for this paper
INFO: Wrote the pdf file for PMC5201518
44%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 12/27 [00:46<01:24, 5.66s/it]WARNING: files not found for this paper
48%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 13/27 [00:50<01:09, 4.95s/it]WARNING: files not found for this paper
52%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/27 [00:53<00:57, 4.45s/it]WARNING: files not found for this paper
56%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 15/27 [00:56<00:50, 4.17s/it]WARNING: files not found for this paper
59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 16/27 [01:00<00:42, 3.91s/it]WARNING: files not found for this paper
63%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 17/27 [01:03<00:36, 3.67s/it]WARNING: files not found for this paper
67%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/27 [01:06<00:32, 3.57s/it]WARNING: files not found for this paper
70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 19/27 [01:09<00:27, 3.48s/it]WARNING: supplementary files not found for PMC2136311
INFO: Wrote the pdf file for PMC2136311
74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 20/27 [01:17<00:32, 4.69s/it]WARNING: files not found for this paper
78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/27 [01:20<00:25, 4.28s/it]WARNING: files not found for this paper
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 22/27 [01:23<00:19, 3.98s/it]WARNING: files not found for this paper
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 23/27 [01:27<00:15, 3.86s/it]WARNING: supplementary files not found for PMC2225672
INFO: Wrote the pdf file for PMC2225672
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 24/27 [01:35<00:15, 5.06s/it]WARNING: files not found for this paper
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 25/27 [01:38<00:09, 4.56s/it]WARNING: files not found for this paper
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 26/27 [01:42<00:04, 4.18s/it]WARNING: files not found for this paper
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 27/27 [01:45<00:00, 3.90s/it]
3. The program ran normally without errors. I set the -k 40 parameter to limit the number of downloaded papers to 40, and the log showed the total number of matched papers (hits) was 40, but only 27 papers were actually downloaded.

[petermr]

-p and --pdf are synonyms , so only one is needed. Same for -s / --supp It is common for the number of downloaded papers to be less than the hits. For example some hits do not have any text.

…

On Wed, Jan 28, 2026 at 7:48 AM YuAoZeng ***@***.***> wrote: *YuAoZeng* left a comment (petermr/pygetpapers#63) <#63 (comment)> 1. Run the command: pygetpapers -q "zeolite" --startdate "1950-01-01" --enddate "1970-01-01" -k 40 -o pygetpapers/1950-1970 -p --pdf -s --supp --loglevel info > pygetpapers/1950-1970/run.log 2. The output shows: INFO: Total Hits are 40 WARNING: Could not find more papers 27it [00:00, 128688.87it/s] 0%| | 0/27 [00:00<?, ?it/s]WARNING: files not found for this paper 4%|████████▋ | 1/27 [00:03<01:22, 3.16s/it]WARNING: files not found for this paper 7%|█████████████████▎ | 2/27 [00:06<01:22, 3.29s/it]WARNING: files not found for this paper 11%|██████████████████████████ | 3/27 [00:09<01:18, 3.28s/it]WARNING: files not found for this paper 15%|██████████████████████████████████▋ | 4/27 [00:12<01:13, 3.21s/it]WARNING: files not found for this paper 19%|███████████████████████████████████████████▎ | 5/27 [00:16<01:11, 3.24s/it]WARNING: files not found for this paper 22%|████████████████████████████████████████████████████ | 6/27 [00:19<01:06, 3.17s/it]WARNING: files not found for this paper 26%|████████████████████████████████████████████████████████████▋ | 7/27 [00:22<01:04, 3.20s/it]WARNING: files not found for this paper 30%|█████████████████████████████████████████████████████████████████████▎ | 8/27 [00:25<01:01, 3.25s/it]WARNING: files not found for this paper 33%|██████████████████████████████████████████████████████████████████████████████ | 9/27 [00:28<00:57, 3.20s/it]WARNING: files not found for this paper 37%|██████████████████████████████████████████████████████████████████████████████████████▎ | 10/27 [00:32<00:55, 3.25s/it]WARNING: files not found for this paper 41%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 11/27 [00:35<00:51, 3.22s/it]INFO: Extracted the files for this paper INFO: Wrote the pdf file for PMC5201518 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 12/27 [00:46<01:24, 5.66s/it]WARNING: files not found for this paper 48%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 13/27 [00:50<01:09, 4.95s/it]WARNING: files not found for this paper 52%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/27 [00:53<00:57, 4.45s/it]WARNING: files not found for this paper 56%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 15/27 [00:56<00:50, 4.17s/it]WARNING: files not found for this paper 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 16/27 [01:00<00:42, 3.91s/it]WARNING: files not found for this paper 63%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 17/27 [01:03<00:36, 3.67s/it]WARNING: files not found for this paper 67%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/27 [01:06<00:32, 3.57s/it]WARNING: files not found for this paper 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 19/27 [01:09<00:27, 3.48s/it]WARNING: supplementary files not found for PMC2136311 INFO: Wrote the pdf file for PMC2136311 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 20/27 [01:17<00:32, 4.69s/it]WARNING: files not found for this paper 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/27 [01:20<00:25, 4.28s/it]WARNING: files not found for this paper 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 22/27 [01:23<00:19, 3.98s/it]WARNING: files not found for this paper 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 23/27 [01:27<00:15, 3.86s/it]WARNING: supplementary files not found for PMC2225672 INFO: Wrote the pdf file for PMC2225672 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 24/27 [01:35<00:15, 5.06s/it]WARNING: files not found for this paper 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 25/27 [01:38<00:09, 4.56s/it]WARNING: files not found for this paper 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 26/27 [01:42<00:04, 4.18s/it]WARNING: files not found for this paper 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 27/27 [01:45<00:00, 3.90s/it] 3. The program ran normally without errors. I set the -k 40 parameter to limit the number of downloaded papers to 40, and the log showed the total number of matched papers (hits) was 40, but only 27 papers were actually downloaded. — Reply to this email directly, view it on GitHub <#63 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AAFTCS4U76SRJ4B3S7LGP5T4JBSVNAVCNFSM6AAAAACTDVVL5WVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZTQMBZGU3TQOJTGM> . You are receiving this because you commented.Message ID: ***@***.***>

-- Peter Murray-Rust Founder ContentMine.org and Reader Emeritus in Molecular Informatics Dept. Of Chemistry, University of Cambridge, CB2 1EW, UK