

Вообще, питон отличная штука для прикладных задач, связанных с анализом большого количества текста. На текущей работе только питон и юзаю.
Я обожаю питон.
Слишком медленный. Что-то серьезное на нем не написать.
Так он и задумывался не для серьезного.
Например распаковать клоунов из машины?
Видимо, не такой уж текст большой. Я один раз попробовал парсить лог питоном. Не очень большой, 200 гигабайт. Я там даже нашел либу для обработки потоком, без загрузки в память, ибо не очень оно влезало.
Когда я понял, что успел скатать в магазин, пожрать, и поиграть, а оно всё ещё парсит, я написал на джаве, и получил результат за полминуты.
Когда я понял, что успел скатать в магазин, пожрать, и поиграть, а оно всё ещё парсит, я написал на джаве, и получил результат за полминуты.
>лог
>не очень большой
>200 гигов
>не очень большой
>200 гигов
Ладно.
Всего около 5 минут жизни приложения на уровне логгирования INFO.
Лог ретеншен в таком вербозити, я так понимаю, максимум час?
Чуть больше. Но это максимальный допустимый на проде уровень, который включается только для отлова интересных ситуаций на короткое время. Которых нельзя получить в песочнице по ряду причин.
А так есть ещё дебаг и трейс, но они на проде хардкодно запрещены, так как никакая машина их не вытянет без ощутимой просадки перформанса - их не получится включить даже если попытаться.
А так есть ещё дебаг и трейс, но они на проде хардкодно запрещены, так как никакая машина их не вытянет без ощутимой просадки перформанса - их не получится включить даже если попытаться.
Ну так это стандартная практика. Но все равно, даже 40ГБ в минуту, даже для рилтайм транзакакций...
На проде? +_+
Для нагруженной системы норм. Но я бы храеил это дело в бдшее, чтобы парсить ей, а не питонами.
200 гигов это уже надо понимать, как память жрёт питон, это надо 4х RAM иметь...
Это парсинг. Нет необходимости всё грузить. Потоком построчно много памяти не нужно, можно бесконечное количество обработать на любом количестве памяти(ну, в пределах текущего буфера чтения и одной строки плюс трошки на логику)
Я в питоне нашел для этого стримы(встроенных нет), и технически, они работают. Но с такой скоростью, что просто пиздец.
Я в питоне нашел для этого стримы(встроенных нет), и технически, они работают. Но с такой скоростью, что просто пиздец.
Для 200 ГБ питон уже пиздец медленный, зато не в ручную
А тогда нахуя он вообще? Для серьёзных вещей не подходит, потому что там надо скорость, а для скриптов в наши времена можно пнуть ЛЛМ-ку и оно наебошит на любом языке парсер-хуярсер. ИИшке похуй на чём писать, а ты не будешь сутки ждать пока оно спроцессит не так уж и много данных.
На самом деле питон достаточно быстрый и он для того, чтобы на коленке писать и не ебать мозг про память
Причём, в случае питона - это время выполнения одного запроса.
Чтобы написать коммент, необходимо залогиниться
