amarao (amarao_san) wrote,
amarao
amarao_san

JSONStream

Внезапно, я погорячился. Простейший эксперимент со stacked json показывает, что он нифига не stateless и нифига не константный по памяти.

Поток мелких json'ов на входе - и я уже лицезрею 400+ Мб у python. Плохо...

115Mб json'ов отъедают вместе 362Мб. Если исходить из этой пропорции, то получается, что при техническом разумном лимите в 256Мб на утилиту, лимит самой утилиты будет порядка 82 Мб. С одной стороны для бытовых нужд достаточно, с другой стороны, представляю себе, как будет материться человек, обнаруживший, что ему нужно 300+ Гб памяти, чтобы обработать 100Гб файл... При обещанной-то потоковости.

То есть это баг, и хоть и не фатальный, но баг, который надо будет изживать. Либо я не так готовлю сам JOSNStream, либо его придётся переписать (фатальный недостаток, ога), либо поднять багу.

Багу, кстати, сейчас подниму. https://github.com/nigelsmall/jsonstream/issues/1
Tags: json4shell, jsonstream
Subscribe

  • апгрейдовое

    А вот шифрованный home я переносил вообще ленивым образом - тупо сделал dd для раздела и поправил путь к устройству для кастомного pam_exec-скрипта.…

  • VM VS baremetal

    Наконец-таки у меня появились цифры для обсуждения этого вопроса в отрыве от IO. Известно, что IO на виртуалках всегда медленее, чем на bare-metal, и…

  • (no subject)

    206761 – escape codes in network interface names causes chaos bugzilla.kernel.org echo -e '\x1B[2J'|xargs -I I sudo ip link add I type dummy…

  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 4 comments