70亿超大记录字典 `updatedb` 失败

[wgetnz]

F:\pwcrack-framework>ruby pwcrack initdb "D:\Desktop\devtools\big.txt.unique.txt"
[*] Start creating the local DB...

F:/pwcrack-framework/lib/cli_cmd/initdb.rb:33:in readlines': index 268435456 too big (IndexError) from F:/pwcrack-framework/lib/cli_cmd/initdb.rb:33:in initdb'
from F:/pwcrack-framework/lib/cli.rb:82:in get_input' from F:/pwcrack-framework/lib/cli.rb:61:in commandline!'
from pwcrack:24:in `

'

F:\pwcrack-framework>

70亿数据无法导入

[wgetnz]

updatedb 超大数据失败
F:\pwcrack-framework>ruby pwcrack updatedb
[*] Start update the local DB...

F:/pwcrack-framework/lib/cli_cmd/updatedb.rb:34:in readlines': index 268435456 too big (IndexError) from F:/pwcrack-framework/lib/cli_cmd/updatedb.rb:34:in updatedb'
from F:/pwcrack-framework/lib/cli.rb:84:in get_input' from F:/pwcrack-framework/lib/cli.rb:61:in commandline!'
from pwcrack:24:in `

'

F:\pwcrack-framework>

[L-codes]

假如你的字典不重复的可见字符组成，那你字典大于 32G，生成的本地字典理论上有 691G 左右，而目前看本框架的支持最大字典数是 2.6亿条，你确定需要导入70亿条记录的字典？

[wgetnz]

假如你的字典不重复的可见字符组成，那你字典大于 32G，生成的本地字典理论上有 691G 左右，而目前看本框架的支持最大字典数是 2.6亿条，你确定需要导入70亿条记录的字典？

需要的，空间足够，密码来自rockyou2021.txt+自己收集后去重的数据，86G左右，79亿+条

[L-codes]

readlines 的限制出错好解决，但是生成过程是存储在内存中再保存到本地，大小估算有 800多G，哪怕内存有压缩功能，也需要4~600G的运行内存，你如果开启swap来跑，也会很慢，哪怕你机器性能好，updatedb成功了，你后续调用 localdb 插件查询的时候也会很慢，目前框架没考虑到这么大记录的数据库管理和搜索，建议用其它成熟的彩虹表工具