Всех с воскресеньем.
Пока основной баянометр в разработке заделал небольшой такой заменитель http://joy.komato3.net/
Сканирует апрувнутые посты 2 раза в минуту (надеюсь, не буду за это забанен).
Немного умеет в гифки, но это пока сильно эксперементально. Гифки бьются по 2 кадра в секунду и этот хеш идёт в базу.
Любителям поковыряться в JS-коде и прочей диагностике - найдёте API-запросы на странице, пожалуйста, не переусердствуйте.
Текущий интерфейс люто не дружелюбен: ограничен на загрузку 10 файлов одновременно, но в силу неких ограничений может туповато работать, так что не брезгуйте F5, и в целом выглядит как для роботов. Порой nginx может послать Вас нахуй за частоту запросов, такие дела.
У поиска есть не мнимая возможность найти лютейшее говно или не найти ничего, для этого есть кнопка "Bullshit" справа, создаёт некий реквест с копией вашей картинки. Поковыряюсь в алгоритмах поиска и хеширования, но не злоупотребляйте, пожалуйста.
В остальном, прошу потестить - есть ли смысл во всём этом?
Смысл есть, приятно, что есть тот, кто старается во благо кудахтора
15.10.2017, 19:24
![Fu kai -Ry о u su ke-An i m e-Ait-An i m e-to m о e- order)-4106111.png 948.9 кб jozen-(fategi сюда пред- and- [2] 15.09.2017 18:13:47 Fukai RyOUSUke:: Fate/Grand order ::Anime Art (Аниме арт, Аниме-арт):: Fate 15.09.2017 18:17:30 tomoe gozen (fate/grand order) от fukai ryousuke / Anime:: разное l](https://img2.safereactor.cc/pics/comment/full/dev-реактор-Баян-2763152.jpeg "dev,реактор,Баян,баян, боян, баяны, бояны, баянище, боянище,баянометр,баянометрозаменитель,песочница")
Да особо проблем пока не обнаружил, главное, мне кажется, чтобы искало посты с такой же картинкой, причём чтобы не было тега "удалённое".
А что должно появляться при нажатии на эту кнопку? Вот, скажем, есть гифка, где девка выламывает лобовое стекло машины, чтобы уйти от полицейского. Кидаю её на твой баянометрозаменитель. Обнаруживает пост, но там удалённое в тегах (http://joyreactor.cc/post/2873631), а изначальный пост не ищется (http://joyreactor.cc/post/2738337). Полагаю, это из-за вотермарки в углу. Жму на кнопку Bullshit - ничего не происходит. Хоть бы какое уведомление писалось, дескать, репорт отправлен.![Загрузить
девка выбивает лобовое стекло автомобиля, чтобы вылезти из него, так как дверь держит полицейский.gif 4.7 мб Ш [1] 13.11.2016 20:07:03 ПОЛИЦИЯ :: возможно дерзкий побег:: гиф анимация (гифки - ПРИКОЛЬНЫЕ gif анимашки) Bullshit, send a bug request,dev,реактор,Баян,баян, боян, баяны,](https://img2.safereactor.cc/pics/comment/dev-реактор-Баян-2763455.png "dev,реактор,Баян,баян, боян, баяны, бояны, баянище, боянище,баянометр,баянометрозаменитель,песочница")
![Загрузить
девка выбивает лобовое стекло автомобиля, чтобы вылезти из него, так как дверь держит полицейский.gif 4.7 мб Ш [1] 13.11.2016 20:07:03 ПОЛИЦИЯ :: возможно дерзкий побег:: гиф анимация (гифки - ПРИКОЛЬНЫЕ gif анимашки) Bullshit, send a bug request,dev,реактор,Баян,баян, боян, баяны,](https://img2.safereactor.cc/pics/comment/full/dev-реактор-Баян-2763455.png "dev,реактор,Баян,баян, боян, баяны, бояны, баянище, боянище,баянометр,баянометрозаменитель,песочница")
Для пользователя - ничего, просто делается копия всего этого дела для дальнейшего ручного разбирательства. Добавил "реакцию" на нажатие. Как будет время посмотрю реквесты.
Вы про прошлые боянометры? Вероятно, по тому, что просто разработчики устали, ибо это реально тяжело, это и усилия разработчика, это и нагрузка на сервер (у всех есть внешний сервер?).
Ковыряться в баянометре можно только когда тот отключен. Поэтому каждый раз, когда хостинг отключают за неуплату, админ спрашивает, оставлять работать старый или пилить новый функционал.
"админ" в смысле чувак, сделавший баянометр.
Будет ли open-source?
Немного уточню вопрос, что именно оперсурсного нужно? Если непосредственный код обработки (выкачивание картинок, хеширование, разбивка гифок на кадры), то это сложно, там тонны говнокода и платформозависимого кода, я, честно говоря, стесняюсь это публиковать. Если нужны какие-то http-запросы для работы с хешами - я сделал кое-какой rest-интерфейс, логику можно глянуть в ajax-запросах страницы. Если интересует этот момент, могу расписать что там к чему.
По-моему, смысл есть. Во-первых, было бы интересно посмотреть, как оно работает. Во-вторых, появится возможность пофиксить/доделать что-то коллективными усилиями. И, в-третьих, любой желающий сможет собрать и захостить свой баянометр, то есть ситуация с глубокой отладкой™ не повторится.
>что именно оперсурсного нужно?
В идеале, всё. Даже frontend, даже небо и Аллах.
В идеале, всё. Даже frontend
хеширование сам писал или брал готовую библиотеку?
хеши ищешь одинаковые или вплоть до какой-то дистанции?
хеши ищешь одинаковые или вплоть до какой-то дистанции?
пасиб.
а как решал проблему с поиском?
делал какие-то индексы или у тебя каждый поиск фуллскан ?
а как решал проблему с поиском?
делал какие-то индексы или у тебя каждый поиск фуллскан ?
Больной вопрос. Читал статьи по этому поводу, но, так понимаю, сильно это не оптимизировать, нужен призыв квалифицированных математиков. Да, делаю фуллскан по всей базе.
Проскользнула идея брать перцептивный хеш от хеша (по сути перцептивный хеш является сильно-упрощённой картинкой оригинала), тоесть грубо говоря: от картинки получаем 256-битный хеш (32 байта), берём от этого хеша хеш 4x4 (8 байт). Получается некого рода LOD, и этот хеш довольно удобно сравнивать Хеммингом ибо 8 байт это основа 64-битной архитектуры. Не сильно уверен в моей теории, математик я так себе, но вроде работает.
Проскользнула идея брать перцептивный хеш от хеша (по сути перцептивный хеш является сильно-упрощённой картинкой оригинала), тоесть грубо говоря: от картинки получаем 256-битный хеш (32 байта), берём от этого хеша хеш 4x4 (8 байт). Получается некого рода LOD, и этот хеш довольно удобно сравнивать Хеммингом ибо 8 байт это основа 64-битной архитектуры. Не сильно уверен в моей теории, математик я так себе, но вроде работает.
не минусил, но это так работать не будет.
64бита хеш тебя не спасет, так как чтоб искать по нему нужно так же либо мутить индексы для него, либо делать фуллскан.
насчет индексов смотри мой ответ к твоему предыдущему посту, у меня изначально хеши были по 64бит.
64бита хеш тебя не спасет, так как чтоб искать по нему нужно так же либо мутить индексы для него, либо делать фуллскан.
насчет индексов смотри мой ответ к твоему предыдущему посту, у меня изначально хеши были по 64бит.
я читал, что есть какие-то BK-tree индексы, но так нихуя и не понял (я тоже с матаном неочень). а готовых бд с ним так и не нашел.
потом появилась идея генерить близкие хеши для картинки, которую стянули с реактора и вести таблицу сопоставлений. такой себе индекс.
тобишь есть у нас картинка на реакторе, у нее хеш 11110001100110111000101011100100000011000000011001110011111011. мы генерим к нему все числа с расстоянием 1, с расстоянием 2 итд и записываем в бд.
а потом просто ищем в этом индексе точное совпадение с индексом искомой картинки.
нюанс крылся в одном - количестве данных. для int64 количество хешей с расхождением от 1 до 5 составляло 7666240 значений. то есть 7666240 64битных интов для каждой! картинки. это было уже не в какие ворота, их ж где-то нужно хранить. плюс время на генерацию.
хотя хз, они ж в целом пересекаются. может что-то и можно было бы сообразить, но в тот момент меня окончательно заебали бразильские проксики, которые постоянно отваливались и я забил на всю затею.
потом появилась идея генерить близкие хеши для картинки, которую стянули с реактора и вести таблицу сопоставлений. такой себе индекс.
тобишь есть у нас картинка на реакторе, у нее хеш 11110001100110111000101011100100000011000000011001110011111011. мы генерим к нему все числа с расстоянием 1, с расстоянием 2 итд и записываем в бд.
а потом просто ищем в этом индексе точное совпадение с индексом искомой картинки.
нюанс крылся в одном - количестве данных. для int64 количество хешей с расхождением от 1 до 5 составляло 7666240 значений. то есть 7666240 64битных интов для каждой! картинки. это было уже не в какие ворота, их ж где-то нужно хранить. плюс время на генерацию.
хотя хз, они ж в целом пересекаются. может что-то и можно было бы сообразить, но в тот момент меня окончательно заебали бразильские проксики, которые постоянно отваливались и я забил на всю затею.
с твоими 256бит хешами это вообще будет какое-то фантастическое количество данных.
прокси - чтобы реактор тебя по ip не банил за количество запросов?
можно ж было с кокой договориться, чтобы он для конкретного ip защиту отрубил
можно ж было с кокой договориться, чтобы он для конкретного ip защиту отрубил
Вопрос только в том - а где тут проблема то, кроме, собственно, настройки самого реверс прокса?
По сути ставишь нужное ПО на серваке с белым ипом, смотрящим в эти ваши интернеты (хоть бы тот же самый NGINX), указываешь локальные ресурсы в виде серверов по внутренней адресации. Тут же уже не суть на ESXI у тебя всё или на иных ОС, тут тупо 2L-3L маршрутизация который на виртуализацию серверов мягко-говоря поебать. Ну только если у тебя все настроено с выводом серверов в общий сетевой пул(подпул) для каждого хоста (сервера) и каждой VM.
По сути ставишь нужное ПО на серваке с белым ипом, смотрящим в эти ваши интернеты (хоть бы тот же самый NGINX), указываешь локальные ресурсы в виде серверов по внутренней адресации. Тут же уже не суть на ESXI у тебя всё или на иных ОС, тут тупо 2L-3L маршрутизация который на виртуализацию серверов мягко-говоря поебать. Ну только если у тебя все настроено с выводом серверов в общий сетевой пул(подпул) для каждого хоста (сервера) и каждой VM.
Лично мне эта тема не интересна, а вот тема поиска баянов весьма занятна.
http://pornreactor.cc/post/3269528 вот тут не сработало ни через загрузку, ни через ссылку. Гугл гифку-дубликат нашел.
