А третьей халфы в кучи то нет
"If yo do machine learning and want to sell it, name it Artificial Intelligence"
Нельзя, потому что в отличии от интеллекта нейросеть задрачивается под выполнение какой то конкретной функции. Она что то среднее между классическим линейным алгоритмом и интеллектом.
А вот сеть из нейросетей соединённая в единое целое и способная сама выполнять круг задач и еще по ходу дела чему нибудь обучаться, особенно выполнению новых доселе невиданных задач и опять же без чей либо особой помощи - вот це уже пожалуй интеллект.
А вот сеть из нейросетей соединённая в единое целое и способная сама выполнять круг задач и еще по ходу дела чему нибудь обучаться, особенно выполнению новых доселе невиданных задач и опять же без чей либо особой помощи - вот це уже пожалуй интеллект.
Будто человек не задрачивается под выполнение конкретной задачи.
Одна структура может выполнять разные задачи, чем не ИИ? До естественного интеллекта конечно далеко, в мозге нейронов очень много. Причём они могут разрывать старые и образовывать новые связи в ходе развития, также есть блуждающие нейроны. Всё дело в объёме, а элементарная база уже имеется.
Многие люди неспособны на самообучение, раз уж на то пошло.
Одна структура может выполнять разные задачи, чем не ИИ? До естественного интеллекта конечно далеко, в мозге нейронов очень много. Причём они могут разрывать старые и образовывать новые связи в ходе развития, также есть блуждающие нейроны. Всё дело в объёме, а элементарная база уже имеется.
Многие люди неспособны на самообучение, раз уж на то пошло.
Запили модель, которая перерабатывает любую информацию в квадратные корни и извлекает из них дискриминанты
1. Взять Keras
2. Накидать разных слоев, сверток там, полносвязанных и прочего говна
3. Обучить
4. ???
5. Profit
А вот как придумать, какие слои брать, как это соединять, как делать ебучую магию вида "а вот тут у нас плохо, поэтому мы применим такую-то функцию активации, хитроподвыебанный слой, нормализацию такую-то, а вот тут говнище из такой-то статьи с архива" - я ебу.
2. Накидать разных слоев, сверток там, полносвязанных и прочего говна
3. Обучить
4. ???
5. Profit
А вот как придумать, какие слои брать, как это соединять, как делать ебучую магию вида "а вот тут у нас плохо, поэтому мы применим такую-то функцию активации, хитроподвыебанный слой, нормализацию такую-то, а вот тут говнище из такой-то статьи с архива" - я ебу.
Я думаю над тем как сделать нормальный расцензуриватель. Фишка в том, что модель pix2pix конечно подходит, но результат получается мутноватый, впрочем возможно это проблема небольшого датасета. Мелкую мозаику можно привести в вид максимально приближенный к оригиналу, но когда она крупная, нужно как-то думать над тем, что бы брать цвета из ячеек, и комбинировать это с inpaint техникой. Есть куча всяких реализаций, все они в открытом доступе, но скудность моих познаний в матане не дает мне применить эти знания правильно.
Ну, ваши познания превышают мои на пару порядков. А практика так вообще.
А почему пикс2пикс? CycleGAN с resnet архетиктурой должен получше вписаться.
Можно попробовать что-то вроде: https://github.com/AlamiMejjati/Unsupervised-Attention-guided-Image-to-Image-Translation . Если датасет нормальный, по идее должно выучить как находить зацензуренные области и уже работать только с ними.
>> нужно как-то думать над тем, что бы брать цвета из ячеек, и комбинировать это с inpaint техникой
Ну как бы смысл в весь в том, чтобы сеть сама выучилась как это делать наилучшим образом. Или есть какие то другие идеи?
С матаном у меня обратная проблема. Я его относительно норм знаю, но в этом дип лернинге он особо не нужен и его не всегда можно притулить. Сейчас 80% статей вообще без формул (или что то тривиальное и так известное, просто для галочки).
Можно попробовать что-то вроде: https://github.com/AlamiMejjati/Unsupervised-Attention-guided-Image-to-Image-Translation . Если датасет нормальный, по идее должно выучить как находить зацензуренные области и уже работать только с ними.
>> нужно как-то думать над тем, что бы брать цвета из ячеек, и комбинировать это с inpaint техникой
Ну как бы смысл в весь в том, чтобы сеть сама выучилась как это делать наилучшим образом. Или есть какие то другие идеи?
С матаном у меня обратная проблема. Я его относительно норм знаю, но в этом дип лернинге он особо не нужен и его не всегда можно притулить. Сейчас 80% статей вообще без формул (или что то тривиальное и так известное, просто для галочки).
Это не подходит, почему именно pix2pix в этой статье написано https://zhuanlan.zhihu.com/p/27199954
Вообще pix2pix это модель как раз в основе которой CycleGAN.
>Ну как бы смысл в весь в том, чтобы сеть сама выучилась как это делать наилучшим образом. Или есть какие то другие идеи?
Была идея новую модель сделать. Поэтому я думал над тем каким образом вытаскивать данные из изображений. Нейронка же получает нужные данные, ей нельзя просто скормить изображение, нужно его подготовить. То есть Из чего состоит изображение из пикселей, каждый пиксель содержит информацию о цвете. Если изображение RGB то 1 байт на цвет, так-как цвета в диапазоне от 0 до 255 или же в 16ричном виде 00 - FF. RGBA уже 4 байта содержит.
Тут надо думать как все это вырисовывать. Тип смотри, при inpaint сначала детектятятся края, затем основываясь на предскозания нейронки края дорисовываются, соединяются между собой. Потом уже идет сам процесс дорисовывания. Если взять изображение с мозаикой и посмотреть каким образом детектятся края. Тут все очень хреново.![Step 1 : Gaussian smoothing
▼
Overlay '
Value at [503,037] = 174.534
Step 3 : Non-maximum suppression T
Overlay L),it-юмор,geek,Прикольные гаджеты. Научный, инженерный и айтишный юмор](https://img2.safereactor.cc/pics/comment/it-юмор-geek-3328905.png "it-юмор,geek,Прикольные гаджеты. Научный, инженерный и айтишный юмор")
Вообще pix2pix это модель как раз в основе которой CycleGAN.
>Ну как бы смысл в весь в том, чтобы сеть сама выучилась как это делать наилучшим образом. Или есть какие то другие идеи?
Была идея новую модель сделать. Поэтому я думал над тем каким образом вытаскивать данные из изображений. Нейронка же получает нужные данные, ей нельзя просто скормить изображение, нужно его подготовить. То есть Из чего состоит изображение из пикселей, каждый пиксель содержит информацию о цвете. Если изображение RGB то 1 байт на цвет, так-как цвета в диапазоне от 0 до 255 или же в 16ричном виде 00 - FF. RGBA уже 4 байта содержит.
Тут надо думать как все это вырисовывать. Тип смотри, при inpaint сначала детектятятся края, затем основываясь на предскозания нейронки края дорисовываются, соединяются между собой. Потом уже идет сам процесс дорисовывания. Если взять изображение с мозаикой и посмотреть каким образом детектятся края. Тут все очень хреново.
![Step 1 : Gaussian smoothing
▼
Overlay '
Value at [503,037] = 174.534
Step 3 : Non-maximum suppression T
Overlay L),it-юмор,geek,Прикольные гаджеты. Научный, инженерный и айтишный юмор](https://img2.safereactor.cc/pics/comment/full/it-юмор-geek-3328905.png "it-юмор,geek,Прикольные гаджеты. Научный, инженерный и айтишный юмор")
У меня гугл переводчик что-то не может перевести эту страницу.
Так почему именно пикс2пикс?
Пикс2пикс как супервайзд модель наверное лучше подойдет исходя из того, что датасет небольшой, и скорее всего у тебя там есть пары зацензурено/незацензурено.
СайклГан работает ансупервайзд, нет необходимости в парах, но нужно очень много картинок из одного и из другового домена.
В плане архитектуры, пикс2пикс использует юнет, который в данном случае может значительно проигрывать резнет блокам.
>> Поэтому я думал над тем каким образом вытаскивать данные из изображений. Нейронка же получает нужные данные, ей нельзя просто скормить изображение, нужно его подготовить. То есть Из чего состоит изображение из пикселей, каждый пиксель содержит информацию о цвете. Если изображение RGB то 1 байт на цвет, так-как цвета в диапазоне от 0 до 255 или же в 16ричном виде 00 - FF. RGBA уже 4 байта содержит.
Я чет завис. Как это нельзя просто скормить? Во флоат поинт перевести и нормализовать и скормить. Так все и делают.
>> Тип смотри, при inpaint сначала детектируется края, затем основываясь на предскозания нейронки края дорисовываются, соединяются между собой
Я бы делал так:
1. Обучить одну сеть находить мазайку и выдавать маску где эта мозайка. Здесь прогстой юнет подойдет. Можно глянуть статьи по сегментации.
Можно написать тузу которая будет генерить все возможные вариации мозайки, добавлять чуть мыла и шума.
Кидать эту мозайку рандомно на разные участки исходных изображений. Groundtruth у нас получается есть, обучить юнет должно быть не проблема.
2. Обучить другую сеть для инпейтинга. Например http://openaccess.thecvf.com/content_cvpr_2018/papers/Yu_Generative_Image_Inpainting_CVPR_2018_paper.pdf . Здесь придется на исходных изображения поотмечать все места которые могут быть зацензурены. Есть аниме фейс детектор на основе хаар вейвлетов, его думаю можно переобучить с небольшим вручную собранным датасетом находить те самые места. Линка https://github.com/nagadomi/lbpcascade_animeface
3. Теперь у нас есть: сеть которая находит цензуру и выдает маску, сеть которая умеет в инпейнт. Вместе по идее должно делать именно то, что нужно.
Так почему именно пикс2пикс?
Пикс2пикс как супервайзд модель наверное лучше подойдет исходя из того, что датасет небольшой, и скорее всего у тебя там есть пары зацензурено/незацензурено.
СайклГан работает ансупервайзд, нет необходимости в парах, но нужно очень много картинок из одного и из другового домена.
В плане архитектуры, пикс2пикс использует юнет, который в данном случае может значительно проигрывать резнет блокам.
>> Поэтому я думал над тем каким образом вытаскивать данные из изображений. Нейронка же получает нужные данные, ей нельзя просто скормить изображение, нужно его подготовить. То есть Из чего состоит изображение из пикселей, каждый пиксель содержит информацию о цвете. Если изображение RGB то 1 байт на цвет, так-как цвета в диапазоне от 0 до 255 или же в 16ричном виде 00 - FF. RGBA уже 4 байта содержит.
Я чет завис. Как это нельзя просто скормить? Во флоат поинт перевести и нормализовать и скормить. Так все и делают.
>> Тип смотри, при inpaint сначала детектируется края, затем основываясь на предскозания нейронки края дорисовываются, соединяются между собой
Я бы делал так:
1. Обучить одну сеть находить мазайку и выдавать маску где эта мозайка. Здесь прогстой юнет подойдет. Можно глянуть статьи по сегментации.
Можно написать тузу которая будет генерить все возможные вариации мозайки, добавлять чуть мыла и шума.
Кидать эту мозайку рандомно на разные участки исходных изображений. Groundtruth у нас получается есть, обучить юнет должно быть не проблема.
2. Обучить другую сеть для инпейтинга. Например http://openaccess.thecvf.com/content_cvpr_2018/papers/Yu_Generative_Image_Inpainting_CVPR_2018_paper.pdf . Здесь придется на исходных изображения поотмечать все места которые могут быть зацензурены. Есть аниме фейс детектор на основе хаар вейвлетов, его думаю можно переобучить с небольшим вручную собранным датасетом находить те самые места. Линка https://github.com/nagadomi/lbpcascade_animeface
3. Теперь у нас есть: сеть которая находит цензуру и выдает маску, сеть которая умеет в инпейнт. Вместе по идее должно делать именно то, что нужно.
Во, хоть кто-то в этом разбирается. Я писал все это с значительно более скудными познаниями. По сути я только вкатываюсь во все это дело. По практической части собираю датасет, который все еще очень небольшой всего 400+ изображений пара ценз-неценз.
По поводу скармливания изображения я это и имел ввиду, у меня просто крайне плохо получается что либо объяснять, по твоим ссылкам я пройдусь и посмотрю подумаю.
>очень много картинок
Вот с этим у меня и проблемы, да и думаю, что у нейронки тоже будут. Так-как стиль некоторых артов может в значитеьной мере разнится. Ща дотренирую pix2pix попробую запустить сайклган, посмотрим что из этого выйдет.
По поводу скармливания изображения я это и имел ввиду, у меня просто крайне плохо получается что либо объяснять, по твоим ссылкам я пройдусь и посмотрю подумаю.
>очень много картинок
Вот с этим у меня и проблемы, да и думаю, что у нейронки тоже будут. Так-как стиль некоторых артов может в значитеьной мере разнится. Ща дотренирую pix2pix попробую запустить сайклган, посмотрим что из этого выйдет.
не ну не все так плохоб еще иногда можно делать:
```
from keras.models import load_model
model = load_model('model.h5')
```
Ну и opencv грызть)
```
from keras.models import load_model
model = load_model('model.h5')
```
Ну и opencv грызть)
Отличный комментарий!