Вообще, питон отличная штука для прикладных задач, связанных с анализом большого количества текста. На текущей работе только питон и юзаю.
13.10.2025, 17:37
Так он и задумывался не для серьезного.
Видимо, не такой уж текст большой. Я один раз попробовал парсить лог питоном. Не очень большой, 200 гигабайт. Я там даже нашел либу для обработки потоком, без загрузки в память, ибо не очень оно влезало.
Когда я понял, что успел скатать в магазин, пожрать, и поиграть, а оно всё ещё парсит, я написал на джаве, и получил результат за полминуты.
Когда я понял, что успел скатать в магазин, пожрать, и поиграть, а оно всё ещё парсит, я написал на джаве, и получил результат за полминуты.
Чуть больше. Но это максимальный допустимый на проде уровень, который включается только для отлова интересных ситуаций на короткое время. Которых нельзя получить в песочнице по ряду причин.
А так есть ещё дебаг и трейс, но они на проде хардкодно запрещены, так как никакая машина их не вытянет без ощутимой просадки перформанса - их не получится включить даже если попытаться.
А так есть ещё дебаг и трейс, но они на проде хардкодно запрещены, так как никакая машина их не вытянет без ощутимой просадки перформанса - их не получится включить даже если попытаться.
Для нагруженной системы норм. Но я бы храеил это дело в бдшее, чтобы парсить ей, а не питонами.
Это парсинг. Нет необходимости всё грузить. Потоком построчно много памяти не нужно, можно бесконечное количество обработать на любом количестве памяти(ну, в пределах текущего буфера чтения и одной строки плюс трошки на логику)
Я в питоне нашел для этого стримы(встроенных нет), и технически, они работают. Но с такой скоростью, что просто пиздец.
Я в питоне нашел для этого стримы(встроенных нет), и технически, они работают. Но с такой скоростью, что просто пиздец.
А тогда нахуя он вообще? Для серьёзных вещей не подходит, потому что там надо скорость, а для скриптов в наши времена можно пнуть ЛЛМ-ку и оно наебошит на любом языке парсер-хуярсер. ИИшке похуй на чём писать, а ты не будешь сутки ждать пока оно спроцессит не так уж и много данных.
Чтобы написать коммент, необходимо залогиниться
