Скачивалка картинок с плашками / joyreactor :: реактор скачать :: парсер :: Joyloader

joyreactorреактор скачатьпарсерJoyloader

Скачивалка картинок с плашками

Короче захотелось мне в связи со всеми этими последними событиями, и тем к чему они могут привести, коечего качнуть с реактора. Чтобы было, на всякий пожарный. Задал вопрос тут http://joyreactor.cc/post/5114496#comment25031878 и получил ответы. Смог воспользоваться одним из них и таки накачал чего хотел. Но пока разбирался с этим делом немного поматерился неудобности обоих способов, и параллельно процессу поковырялся над своим вариантом "на коленках". И вот теперь думаю, что он тоже имеет право на жизнь. Плюсы: удобность и простота. Минусы: плашки на картинках и ненастраевоемость.

В общем вот, представляю вам Joyloader

Скачать: https://disk.yandex.ru/d/uoQRruzTDnPUVA

joyloader.exe - скомпилированный програмусик

joyloader.py - исходный кодик, если вам стремно запускать чужие экзешники (что оправдано), то вот компилируйте сами и пользуйтесь, заодно решается проблема с настраиваемостью, настраивайте.

Кто-то скажет, блин там писят строчек кода, нафик ты это принес? А я отвечу - а вот.

Для примера скрин с рабочей прогой.

I
A Не за1Щ|П1|П|1п *■ anime.reactor.cc/tag/Anime+Cosplay
Главная > фэндомы > Anime > Anime Cosplay
Anime Cosplay
+ подписаться
По щисчиков: 955 Сообщений: 13072 Рейтинг постов: 92,305.6
Косплей (яп. =1
Основными прсфтипами i| детально воссоз "Макияжа и дииилни
Q заблокировать
*

Пишите замечания, благодарности, ругательства.

п.с Качает не только посты по тегам, но и просто фендомы, и даже комментарии пользователя, в общем походу все, где есть картинки и постраничность.

Если вдруг на реакторе что-то взорвется или кусок отскочит с этой штучкой можно стать фендомным мессией, Клио-с-реактора или архивариусом с политикой унижения. ...Так, просто мысли о будущем.

Столетний Лжец

01.03.2022, 19:05

+1,4

это нужно чтобы разом скачать весь тег? или че? просто... как бэ

Пиши
— —
5r.CC/p¡CS
Anime Cosplay
+ подписаться
Подписчиков: 955 Сообщений: 13072 Рейтинг постов: 92,305.6
О заблокировать
Косплей (яп. □ Л У
Открыть в новой вкладке Открыть в новом окне Открыть в приватном окне
Копировать адрес ссылки Сохранить ссылку как... Добавить ссылку в закладки

01.03.2022, 19:06

-0,9

а. все. увидел. ебать.

01.03.2022, 19:12

+1,4

,joyreactor,реактор скачать,парсер,Joyloader

01.03.2022, 19:06

+1,0

пишет, что не хватает api-ms-win-core-path-l1-1-0.dll

01.03.2022, 19:13

0,0

Это хз. У меня работает. Обычная винда десятка, без каких-то изощрений.

01.03.2022, 19:16

+1,2

надо видимо для вин7 какой-то пакет разработчика питона ставить?

01.03.2022, 19:29

0,0

Погодь. Меня тут в вируснутости обвинили. Пока отбой. Я решу эту проблему сначал, отпишусь. Пока архив с диска удалю.

01.03.2022, 19:33

+1,3

касперский говорит все чисто

01.03.2022, 19:34

+0,5

Что-то я не очень понял. Своим почистил. Сначала что-то нашло. Перекомпилировал, проверяю и все чисто. Ладно, обновил и открыл файл обратно, пусть будет.

По твоей проблеме попробовал глянуть на мой компилятор, может там можно версию винды выбрать или что-то такое, но ничего не увидел (хотя не особо и шарю).

01.03.2022, 19:44

+1,7

Для Win7 надо компилировать на Win7. А если будешь на Win10 использовать, то на Win10. Не эксперт, но я только такое решение в интернетах нашёл.

02.03.2022, 09:15

0,0

скачал длл, теперь выдает такое и через секунду закрывается

V
Г-Г,joyreactor,реактор скачать,парсер,Joyloader

01.03.2022, 19:17

-0,1

Visual C++ https://www.microsoft.com/ru-ru/download/details.aspx?id=48145

01.03.2022, 19:32

0,0

уже есть

01.03.2022, 19:33

0,0

Может да, надо питона обновить

01.03.2022, 20:18

0,0

Под семёрку последний питон - 3.8.

01.03.2022, 21:54

+1,5

И для нормального отображения юникода советую вместо семёрошной консоли юзать https://conemu.github.io

01.03.2022, 21:56

+1,5

п.п.с log.txt имеется в виду, что если оборвется, то знать на какой ссылке это произошло. Может инет отвалился или что-то такое, что можно исправить и запустить скачивание дальше. Вот можно взять последнюю ссылку из файла и продолжить.
А отвалиться может легко. Так как особо не тестено. Что-то получилось предусмотреть, но наверняка еще есть варианты оборвать скачивание.

01.03.2022, 19:19

+1,6

Внес небольшие правки, чтобы плашка реактора отрезалась, если есть желание можешь перезалить.
Вот так я впервые и прикоснулся к питону.

https://pastebin.com/i4qGpcdy

twilightsparkle

01.03.2022, 19:44

+1,9

P.S. FLCL coding squad лол

twilightsparkle

01.03.2022, 19:45

+2,3

Юзаем питон на коленке

01.03.2022, 19:57

0,0

А теперь руки помой)

Спасибо, оригинальное решение)) 14 пикселей для человека, гигантский скачок для человечества!
Обновил архив.

Давно тебя видно не было =-=

01.03.2022, 19:56

+0,3

Ну решение - не решение, да и на гифки не работает, а всяко людям потом руками не обрезать)

Таки да, давненько, много чего в жизни произошло, и только начал нормально голову лечить да жизнь в порядок приводить, как вдруг ХЕРАК

twilightsparkle

01.03.2022, 20:00

+0,7

Зачем обрезать, если можно отправлять нужные заголовки для авторизации и качать без плашки. Заодно станут доступными картинки из разделов только для зарегистрированных.

01.03.2022, 20:19

0,0

можно, делай =}
кока 22.Aug.2019 17:11
ссылка X,joyreactor,реактор скачать,парсер,Joyloader

twilightsparkle

01.03.2022, 20:24

-0,7

А если серьезно если время будет и iNji раньше не запилит, то сделаю, просто это уже не две строчки кода

twilightsparkle

01.03.2022, 20:26

+0,2

Так по идее одна строчка, там же вроде только рефер нужен. То есть
img_data = requests.get(img.attr("src"), headers={"referer": "http:\\joyreactor.cc"}).content

01.03.2022, 22:52

+0,9

Там ниже с плашками вроде разобрались. Обновил еще.

02.03.2022, 07:53

0,0

Автору спасибо!
gifs = d(".image span a.video_gif_source")
for gif in gifs.items():
nm = unquote(gif.attr("href").split("/")[-1])
for c in md: nm = nm.replace(c, "")
print(nm)
gif_data = requests.get(gif.attr("href")).content
with open(loadDir +'/'+ nm, 'wb') as handler: handler.write(gif_data)

А вот этот кусок должен гифки грузить?

02.03.2022, 03:32

0,0

Да. Разве что до него код который jpg png грузит, грузит и предпросмотр гифки, и по идее стоит смотреть, что если есть с таким именем, то оставлять только гифку.

02.03.2022, 03:44

0,0

Хех. Я не так давно скрипт писал, чтобы избранное выкачать. Твой не смотрел, но думаю, что он менее говнокод чем мой.

Вот сам скрипт: https://pastebin.com/sBdxUiFN

02.03.2022, 03:53

+0,6

не скачивает с тегом секретные разделы, как быть? о.о

02.03.2022, 04:20

+0,3

Видимо не качает то что не видно без регистрации.
Ждать когда twilightsparkle что-то более понтовое выкатит.

02.03.2022, 04:49

+0,3

Я питон не знаю, но попробовал погуглить на скорую руку.

Ты пробовал заменить
img_data = requests.get(img.attr("src")).content
на
img_data = requests.get(img.attr("src"), headers={"Referer": img.attr("src")}).content
чтобы картинки грузились без вотермарки?

Толковый мсье

02.03.2022, 06:48

+0,9

Я даже не знал как это загуглить)
Спасибо, помогло, с этим способом все, и картинки и гифки грузятся без плашек.
Перезалил архив на диск.
Вечером еще пост сделаю с этими обновлениями. Может еще сделаю фильтр по рейтингу для скачивания. Пока в пост добавил еще тег Joyloader, чтобы было в куче.

02.03.2022, 07:52

+2,1

Я знал про необходимость заголовка, а нагуглить, как в питоне добавлять заголовки в запрос, оказалось минутным делом.

Referer - это HTTP-заголовок, в котором клиент (браузер или твоя прога) рассказывает серверу (сайту), откуда он перешел на данный ресурс (картинку, страницу).

Реактор и ряд других сайтов форсят вотермарки в случае хотлинка (когда картинка на целевом сайте вставляется напрямую с сайта-источника), чтобы если уж целевой сайт экономит ресурсы по хранению изображений, пользуясь хранилищем другого сайта, то хотя бы его посетители будут видеть первоисточник. Побочный эффект: программы скачивания, которые не знают про Referer, тоже получают изображение с вотермаркой.

Добавление заголовка Referer заставляет реактор думать, что ты перешел на картинку, просматривая реактор, вотермарка не добавляется.

P.S. Даже элегантнее сделать {"Referer": url} вместо {"Referer": img.attr("src")}. Последний вариант хорош только для случаев, когда тебе заранее неизвестен контекст - страница, на которой размещено изображение.

Толковый мсье

02.03.2022, 09:04

+0,5

02.03.2022, 08:06

0,0

чивойта?

02.03.2022, 08:25

0,0

Из избранного качает?

02.03.2022, 08:21

0,0

Да

02.03.2022, 08:25

+0,9

Позабавила строка 67 в коде - "time.sleep(5) # не меняй, ато палучиш пожопе"
Её можно изменить, если добавить в коде Multiprocessing и приобрести несколько прокси, что конечно же никто делать не будет.
Хотя я именно так джой-статистику собираю.

02.03.2022, 09:39

+1,3

Кто покажет мне, где именно я рукожопый пидр?

$- Плашка с логотипом реактора у гифок не удаляется - В файл log.txt записываются адреса сканов на случай ошибки Папка: Elena Koshka Ссылка: http://joyreactor.cc/tag/Elena+Koshka joyreactor.cc http://joyreactor.cc/tag/Elena+Koshka --- PARSE URL \ем --- PARSE URL \ем --- PARSE URL \ем ---$

02.03.2022, 10:05

+0,1

Всё, разобрался, это из-за того, что из-за того, что гифки на страницах.
Чёрт, капец как удобно, я раньше часами картинки скачивал. iNji - моё к тебе уважение!

02.03.2022, 10:43

+0,1

Картинки отлично скачивает, но если натыкается на гифку, стопориться и зацикливается(

02.03.2022, 10:51

0,0

Там обнови архив. Уже есть вариант без плашек.

02.03.2022, 10:54

0,0

Зачем? Есть же KellyC Image Downloader
http://joyreactor.cc/post/4650258

02.03.2022, 11:36

+0,3

Ты пост читал? Или сразу пишешь?
У меня проще.

02.03.2022, 11:50

+0,1

Он неплох когда надо со страницы все скачать. Но по страничкам ходить и выкачивать все по тегу он не умеет. Эта приложуха проще и по страничкам ходит.

02.03.2022, 15:35

0,0

Да не, там тоже работает. Я себе 3гб бельишка накачал. Но пока разобрался как именно это сделать, немного устал.

02.03.2022, 15:36

0,0

Ну я так и не разобрался( так что жду когда этот скрипт начнет гифки и секретки качать)

02.03.2022, 17:19

0,0

Ну мой гифки качает.
А секретки это в плане еротику? Еротику качает вроде.

02.03.2022, 17:40

0,0

Да вот что-то нет. Запускаю скрипт по тегам из секретных разделов, а он только "технический пост" качает картинку и дальше никак.

02.03.2022, 20:57

0,0

я обычно на JS 20-40 строк пишу - подгружаю странички, выковыриваю url картинок и формирую новый body, напичканый только картинками, удаляя стили, скрипты. когда картинки загрузятся - просто сохраняю страницу. так без плашек получается, ну и не больше нескольких тысяч картинок за раз, ибо RAM может не хватить.

на некоторых сайтах не очень работает (pixiv, например): при сохранении браузер начинает повторно запрашивать у ресурса картинки, при этом невозможно управлять паузами между скачиванием, ресурс после 20-50 картинки немножко банит IP скачивающего, в итоге только часть картинок сохраняется.
выход - после получения каждой картинки переводить её в base64 и прописывать в src, тогда html-файл получится весом в сотни мегабайт, но картинки лишь раз запрашиваются у сервера, потом из html их можно питончиком в несколько строчек выпарсить.

02.03.2022, 15:59

0,0

если кто-то в курсе как сказать браузеру (любому, кроме IE) чтобы он картинки брал из своего кеша, а не снова загружал при сохранении страницы - буду очень благодарен.

02.03.2022, 16:01

0,0

Приблизительно такой вот скрипт на скорою руку для консоли:

https://pastebin.com/rS77bHy0

Выкачивает и с секреток, без плашек. Чтобы из комментариев ещё сохранять - это нужно каждый пост отдельно грузить. Может, API есть, помнится - что-то такое было, тогда можно не грузить кучу ненужного html.

Можно сделать юзерскрипт, с кнопкой, получением URL автоматически и т.п.

02.03.2022, 17:08

+0,5

11-я винда.

Запускаю прогу, прописываю папку, ссылку. Жму Enter.

Создаётся папка, файл с логом. Но скрипт не срабатывает и просто закрывается. Что не так?

15.07.2022, 18:43

0,0

Джой перешел на https и скрипт поломался.
Починил, вроде снова работает, обновил архив на диске v1.4

15.07.2022, 19:42

+0,1

Так. Скрипт работает, но из секретных разделов не качает, только обычный арт.

Пытаюсь запарсить тег D-rex, видно по скачиваемым артам.

17.07.2022, 15:16

0,0

Да, то что в инкогнито не открывается, не качает вроде.

17.07.2022, 15:58

+0,1

А ещё скрипт закольцован. По кругу пробегает все страницы.

Блин, а ведь парсер-то ради секретных разделов и нужен был :)

17.07.2022, 16:04

0,0

Он закольцован до тех пор, пока находит ссылку со следующей страницей. Как только не находит, то прекращает сканирование и выходит.

Сорян за секретные разделы :( . Попробуй другие варианты по тегу "парсер".

17.07.2022, 16:08

+0,1

Не знаю, у меня он 39 страниц кругов на 10 пробежал, я специально проверил.

Да я уж нашёл те, о которых тут речь и шла в общем-то. Тебе спасибо, что починил свой, комиксы так и эдак буду им качать.

Успехов!

17.07.2022, 18:13

+0,5

Похожие посты ↓↓↓

5116291, 5270188, 5313633, 5325625, 5345442, 5399769, 5487473, 5621955, 5725057, 5154018, 5101939, 5108109, 5107623, 5100868, 5097967