По крайней мере твои знания математики могут спиздить велик
И тебе придётся его заново изобретать
Это как блять?
То, чем ты не можешь заниматься из-за хреновых знаний математики
если очень упростить, то МО суть есть набор уравнений, чем пиже надрочишь их в своей НС тем резче работает алгоритм
Не везде обезательно сложная математике.
Ну пройдись по последнему nips'у
Вот тут список публикаций: https://papers.nips.cc/book/advances-in-neural-information-processing-systems-31-2018
Возьми пять наугад и полистай, чтобы иметь представление
Ну пройдись по последнему nips'у
Вот тут список публикаций: https://papers.nips.cc/book/advances-in-neural-information-processing-systems-31-2018
Возьми пять наугад и полистай, чтобы иметь представление
да как и обычное программирование
есть системные программисты, пишут драйверы, алгоритмы, библиотеки, компиляторы их не много
а есть прикладные которые это эексплуатируют
ML масштабен и вряд ли в продакшене вы будете делать что-то большее, чем эксплуатировать библиотеки
есть системные программисты, пишут драйверы, алгоритмы, библиотеки, компиляторы их не много
а есть прикладные которые это эексплуатируют
ML масштабен и вряд ли в продакшене вы будете делать что-то большее, чем эксплуатировать библиотеки
Там Алекс явно показал, что ии читерит.
Там есть момент, где ИИ сначала построил нексус, а потом выбрал его и еще один, не наводя камеры. Сделать без "читов" это невозможно.
БОльшая часть претензий к AlphaStar логично проистекает из того, что нейронка играет через API. Вряд ли у DeepMind был какой-то там злой умысел всех наебать, скорее просто недосмотр.
Да и ещё большой вопрос, сильно ли эти "читы" помогли боту.
Да и ещё большой вопрос, сильно ли эти "читы" помогли боту.
Мне часто приходится общаться со спецами по машинному обучению. Могу сказать, что в среднем знания математики у них крайне хреновые. БОльшая часть людей не делает даже простейшего статистического анализа полученных результатов и не понимает алгоритмов, заложенных в основу МО. Мотивирует это охуительнейшим методом: "А зачем? Все равно никто не знает почему методы МО работают?". Так что в этой области главное знать чем вектор от матрицы отличается.
Точно так же как и везде у людей есть разный уровень. MLем можно заниматься зная только базовую линейную алгебру (низкий уровень) собирая из готовых компонентов, а можно заниматься с профильным PhD (высокий уровень) и придумывать новые алгоритмы и двигать state-of-the-art.
Ресирчер врывается в тред.
Проблема в том, что в СНГ всё ещё существует нехватка соображающих в этой теме товарищей, а рынок при этом кластеризован ввиду незнания того, а что действительно такое хороший МЛ. Кластера два. Первый это компании, которые уже разобрались в том, что хорошо и что плохо, у них опытные товарищи и вилка ЗП в России около 200-600к. Второй это компании, слабо разбирающиеся в этом и приравнивающие МЛ парней к обычным девелоперам, поэтому и ЗП около 100-250к. Например, в РБ сейчас даже такой кластеризации нет и предложения выше 5к долляров для МЛ парней единичные.
По поводу математики - рандомное тыкание методов из библиотек и слоев из кераса "потому что так сказали в интернете" очень маловероятно приведёт к хорошему результату, а если концептуально и приведёт, то к достаточно низкому по точности.
И здесь встаёт вопрос того, насколько глубоко нужно понимать математику под капотом для того, чтобы инженерить или ресирчить.
Фактически в нормальном мире происходит разделение на три слоя МЛ парней: МЛ инженеры, МЛ ресирч инженеры, МЛ ресирчеры. Существуют ещё дата саентисты, но тут всё до жути размыто зачастую, особенно в СНГ. Кого только ДС не называют: и бизнес-аналитиков, и МЛ инженеров, и математиков-статистов, и так далее. Так что останемся пока на тех трёх парнях выше.
МЛ инженер это тот парень, который знает об основных задачах в своей области(Под-область МЛа), о том, как их решать, как оптимизировать. Попутно он может хорошо реализовать решение на целевом языке и платформе. То есть это что-то среднее между обычным программером и парнем, понимающем в МЛе. Соответственно необходимая ему математика имеет такой минимум:
Векторный анализ(Хватит Странга), линейная алгебра(Странг \ Хоффман), теорвер(Росс \ ДеГрут), оптимизация(Бойд) на уровне бакалаврских книжек.
МЛ ресирч инженер это тот парень, который заточен больше под то, чтобы реализовать конкретный алгоритм либо как-то его модифицировать попутно, но без подвязки к эффективности на какой-то платформе. По сути они занимаются чтением пэйперов либо дискассами с локальными саентистами, а потом это всё по-хорошему реализуют. Математическая база уже требует возможности читать пэйперы в какой-то области локальной. Соответственно здесь понимание методов должно быть уже на уровне вероятностно-статистических методов или, например, гомеоморфизмов и гиперплоскостей. То есть де факто здесь это уровень graduate degree, возможно MS, возможно PhD.
МЛ ресирчеры, очевидно, занимаются ресирчем, зачастую делают образную реализацию своих изобретений(потому что код у них отвратный), а потом ресирч инженеры занимаются нормальной реализацией. Здесь уже встаёт вопрос в способностях к ресирчу и пока что мало кто берёт парней без PhD, хотя на самом деле достаточно инициативного ума и некоторых фич исследовательского мышления. А математика здесь уже может быть безумной.
Проблема в том, что в СНГ всё ещё существует нехватка соображающих в этой теме товарищей, а рынок при этом кластеризован ввиду незнания того, а что действительно такое хороший МЛ. Кластера два. Первый это компании, которые уже разобрались в том, что хорошо и что плохо, у них опытные товарищи и вилка ЗП в России около 200-600к. Второй это компании, слабо разбирающиеся в этом и приравнивающие МЛ парней к обычным девелоперам, поэтому и ЗП около 100-250к. Например, в РБ сейчас даже такой кластеризации нет и предложения выше 5к долляров для МЛ парней единичные.
По поводу математики - рандомное тыкание методов из библиотек и слоев из кераса "потому что так сказали в интернете" очень маловероятно приведёт к хорошему результату, а если концептуально и приведёт, то к достаточно низкому по точности.
И здесь встаёт вопрос того, насколько глубоко нужно понимать математику под капотом для того, чтобы инженерить или ресирчить.
Фактически в нормальном мире происходит разделение на три слоя МЛ парней: МЛ инженеры, МЛ ресирч инженеры, МЛ ресирчеры. Существуют ещё дата саентисты, но тут всё до жути размыто зачастую, особенно в СНГ. Кого только ДС не называют: и бизнес-аналитиков, и МЛ инженеров, и математиков-статистов, и так далее. Так что останемся пока на тех трёх парнях выше.
МЛ инженер это тот парень, который знает об основных задачах в своей области(Под-область МЛа), о том, как их решать, как оптимизировать. Попутно он может хорошо реализовать решение на целевом языке и платформе. То есть это что-то среднее между обычным программером и парнем, понимающем в МЛе. Соответственно необходимая ему математика имеет такой минимум:
Векторный анализ(Хватит Странга), линейная алгебра(Странг \ Хоффман), теорвер(Росс \ ДеГрут), оптимизация(Бойд) на уровне бакалаврских книжек.
МЛ ресирч инженер это тот парень, который заточен больше под то, чтобы реализовать конкретный алгоритм либо как-то его модифицировать попутно, но без подвязки к эффективности на какой-то платформе. По сути они занимаются чтением пэйперов либо дискассами с локальными саентистами, а потом это всё по-хорошему реализуют. Математическая база уже требует возможности читать пэйперы в какой-то области локальной. Соответственно здесь понимание методов должно быть уже на уровне вероятностно-статистических методов или, например, гомеоморфизмов и гиперплоскостей. То есть де факто здесь это уровень graduate degree, возможно MS, возможно PhD.
МЛ ресирчеры, очевидно, занимаются ресирчем, зачастую делают образную реализацию своих изобретений(потому что код у них отвратный), а потом ресирч инженеры занимаются нормальной реализацией. Здесь уже встаёт вопрос в способностях к ресирчу и пока что мало кто берёт парней без PhD, хотя на самом деле достаточно инициативного ума и некоторых фич исследовательского мышления. А математика здесь уже может быть безумной.
Ладно, рисерчер отвечает:
Опять же общаясь с людьми из тех кто применяет ML к решению исследовательских задач (за пределами СНГ, в том числе в весьма респектабельных учреждениях) - чаще всего получается какая-то алхимия: они применяют методы, которых не понимают для решения проблем, которые опять же до конца непонятны. Очевидно, что цель научного процесса - это производство новых данных, но эти данные никак не верифицируемы, а совпадения с экспериментальными результатами чаще всего случайные. А случайные они потому, что до сих пор нету теории, которая объяснила бы почему они правильные и в каких рамках входных параметров они будут правильными.
Не довелось лично пообщаться с теми, кто разрабатывает сами подходы, не могу дать им конкретной оценки. Видел только курс Andrew Ng на курсере и несколько статей. Их подход к численному анализу меня довольно сильно раздражает неточностями и поверхностностью. Но опять же не буду присваивать себе звания спеца в данной области.
А касательно применителей ML - у меня до сих пор пригорает, когда мне один из таких знакомых (после прохождения курса на курсере) сказал: "мне нравится градиентный спуск потому, что это чисто программный алгоритм без всякой математической хуйни". Не спорю, что сама область мб и хороша, но сейчас ее пытаются использовать все (не думая опять же - а нужно ли оно им), в том числе и обладатели IQ равного комнатной температуре, что сильно подрывает авторитет всей отрасли. Раздражает сам подход - давай свалим кучу дерьма, приправим парой методов оптимизации и будем перемешивать пока не выйдет что-то толковое.
Извините за бугурт.
P.S. Я не математик. Честно не пизжу - я физик
Опять же общаясь с людьми из тех кто применяет ML к решению исследовательских задач (за пределами СНГ, в том числе в весьма респектабельных учреждениях) - чаще всего получается какая-то алхимия: они применяют методы, которых не понимают для решения проблем, которые опять же до конца непонятны. Очевидно, что цель научного процесса - это производство новых данных, но эти данные никак не верифицируемы, а совпадения с экспериментальными результатами чаще всего случайные. А случайные они потому, что до сих пор нету теории, которая объяснила бы почему они правильные и в каких рамках входных параметров они будут правильными.
Не довелось лично пообщаться с теми, кто разрабатывает сами подходы, не могу дать им конкретной оценки. Видел только курс Andrew Ng на курсере и несколько статей. Их подход к численному анализу меня довольно сильно раздражает неточностями и поверхностностью. Но опять же не буду присваивать себе звания спеца в данной области.
А касательно применителей ML - у меня до сих пор пригорает, когда мне один из таких знакомых (после прохождения курса на курсере) сказал: "мне нравится градиентный спуск потому, что это чисто программный алгоритм без всякой математической хуйни". Не спорю, что сама область мб и хороша, но сейчас ее пытаются использовать все (не думая опять же - а нужно ли оно им), в том числе и обладатели IQ равного комнатной температуре, что сильно подрывает авторитет всей отрасли. Раздражает сам подход - давай свалим кучу дерьма, приправим парой методов оптимизации и будем перемешивать пока не выйдет что-то толковое.
Извините за бугурт.
P.S. Я не математик. Честно не пизжу - я физик
Тут проблема заключается в следующем: большая часть ресирчеров 1) Плохо знакомы с основами теоретической информатики, 2) Плохо знакомы с языковым инструментарием, и когда появляются МЛ задачи, то 3) Плохо знакомы с теорией под машинным обучением.
В итоге получается, что многие ресирчеры (кроме парней в CS области) допускают множество ошибок в своём использовании инструментов информатики(Помню не так давно читал пэйпер SEGAN, у них есть реализация модели на гитхабе и она убийственна).
Какое-то время уже общаюсь с парнями из ODSа, там достаточно людей, которые после PhD по физике перекатываются в DS(особенно на примере Владимира Игловикова, который сейчас вообще в Lyft попал), и у них можно заметить расслоение между теми, кто разобрался и не разобрался в основах информатики просто по их речи с применением каких-то терминов. Просто для этого нужно потратить годик-другой, чтобы действительно разбираться.
Насчёт курсов в интернетах: на самом деле очень мало стоящих и достаточно фундаментальных. Например, на курсере есть Deep Learning от Ынга и его же используют в Стэнфорде на CS230. У Яндекса курс по С++ довольно-таки полноценный. У Стэнфорда по алгоритмам достаточно обширный курс. Но так или иначе они рекомендуют литературу, которая гораздо глубже всё это покрывает.
Несомненно, ML у Ынга на курсере рассчитан на гуманитариев практически, так как он не требует даже понимания производных, переводя всё в общее понимание. Но в то же время на Stanford Engineering Everywhere есть тот же самый CS229 Ынга, в котором он начинает с выведение функции ошибки как логарифма постериорной вероятности из нормального распределения данных.
То есть в целом кроме очень крутых книжек, которых гора публикуется(которые я благополучно спиратил), существует и ряд курсов, которые очень и очень неплохи, в том числе и от ODS.
Да, здесь есть проблема и проблема в том, что область всё ещё не в состоянии отсеивать тех, кто ни черта не понимает в подкапотных вещах. Поэтому и существует расслоение, о котором я говорил. Самое смешное, что по сути градиентный спуск это идея из выпуклой оптимизации, хотя работаем мы не с такими функциями, и тут уже появляется много эвристик для его модификации. Но так или иначе сама область оптимизации очень сильно базируется на математическом анализе, поэтому говорить о нематематичности этого было бы смешно, хех.
В целом здесь есть такая вещь, когда общаешься с инвесторами или менеджерами, то "Мы будем применять машинное обучение" сразу призывает хайповый интерес от несведущих, тонны инвестиций и так далее. Поэтому зачастую совершенно бестолковые парни зарекаются на эту тему, а наивные управленцы раскидываются деньгами в надежде хайпануть.
В итоге получается, что многие ресирчеры (кроме парней в CS области) допускают множество ошибок в своём использовании инструментов информатики(Помню не так давно читал пэйпер SEGAN, у них есть реализация модели на гитхабе и она убийственна).
Какое-то время уже общаюсь с парнями из ODSа, там достаточно людей, которые после PhD по физике перекатываются в DS(особенно на примере Владимира Игловикова, который сейчас вообще в Lyft попал), и у них можно заметить расслоение между теми, кто разобрался и не разобрался в основах информатики просто по их речи с применением каких-то терминов. Просто для этого нужно потратить годик-другой, чтобы действительно разбираться.
Насчёт курсов в интернетах: на самом деле очень мало стоящих и достаточно фундаментальных. Например, на курсере есть Deep Learning от Ынга и его же используют в Стэнфорде на CS230. У Яндекса курс по С++ довольно-таки полноценный. У Стэнфорда по алгоритмам достаточно обширный курс. Но так или иначе они рекомендуют литературу, которая гораздо глубже всё это покрывает.
Несомненно, ML у Ынга на курсере рассчитан на гуманитариев практически, так как он не требует даже понимания производных, переводя всё в общее понимание. Но в то же время на Stanford Engineering Everywhere есть тот же самый CS229 Ынга, в котором он начинает с выведение функции ошибки как логарифма постериорной вероятности из нормального распределения данных.
То есть в целом кроме очень крутых книжек, которых гора публикуется(которые я благополучно спиратил), существует и ряд курсов, которые очень и очень неплохи, в том числе и от ODS.
Да, здесь есть проблема и проблема в том, что область всё ещё не в состоянии отсеивать тех, кто ни черта не понимает в подкапотных вещах. Поэтому и существует расслоение, о котором я говорил. Самое смешное, что по сути градиентный спуск это идея из выпуклой оптимизации, хотя работаем мы не с такими функциями, и тут уже появляется много эвристик для его модификации. Но так или иначе сама область оптимизации очень сильно базируется на математическом анализе, поэтому говорить о нематематичности этого было бы смешно, хех.
В целом здесь есть такая вещь, когда общаешься с инвесторами или менеджерами, то "Мы будем применять машинное обучение" сразу призывает хайповый интерес от несведущих, тонны инвестиций и так далее. Поэтому зачастую совершенно бестолковые парни зарекаются на эту тему, а наивные управленцы раскидываются деньгами в надежде хайпануть.
Не борются. В том смысле, что глобальная оптимизация охренеть какая затратная, а зачастую нам достаточно неидеального решения задачи. Например, можно запускать локальные методы с некоторым образом распределённых точек. Можно искать эти точки посредством какого-нибудь приближения вроде grid search, то есть по сути эвристически потыкать в разные регионы функции, увидеть где получше всего выходит и там начать оптимизацию.
Потом сами методы оптимизации модифицируются, например, градиентный спуск может учитывать аналог импульса в своём движении, можно делать "проверку" потенциального шага и если он не очень, то откатываться обратно и модифицировать шаг. Там очень много всяких фич, если хочешь без особой детальности разобраться, то в Николенко есть глава по этому поводу, он там и ссылки даёт на отдельные ресурсы, чтобы разобраться глубже.
Потом сами методы оптимизации модифицируются, например, градиентный спуск может учитывать аналог импульса в своём движении, можно делать "проверку" потенциального шага и если он не очень, то откатываться обратно и модифицировать шаг. Там очень много всяких фич, если хочешь без особой детальности разобраться, то в Николенко есть глава по этому поводу, он там и ссылки даёт на отдельные ресурсы, чтобы разобраться глубже.
Рисёчер с PhD в ML отвечает:
В ML приходят люди с разными бекграундами (видел лингвистов, социологов помимо прочего) и с разными целями, на мой взгляд это нормально что очень много людей не знают что под капотом и просто применяют готовые вещи. ML как и любая новая технология будет всё больше коммодитизироваться и я думаю через пару лет любой школьник у себя со смартфона AutoMLем сможет построить классификатор предсказывающий вероятность появления двойки в дневнике. Так же как сейчас коммодитизировалось программирование: каждый школьник может на Swift себе в интерактивном режиме накодить какую-нибудь приложуху, а какие-нибудь геймдизайнеры с базовыми знаниями Lua могут разрабатывать достаточно крупные и интересные игры.
Как бы ML, как и любая сложная область математики и Computer Science необъятна и работы для тех кто действительно шарит хватит ещё лет на сто минимум. С соответствующей зарплатой.
В ML приходят люди с разными бекграундами (видел лингвистов, социологов помимо прочего) и с разными целями, на мой взгляд это нормально что очень много людей не знают что под капотом и просто применяют готовые вещи. ML как и любая новая технология будет всё больше коммодитизироваться и я думаю через пару лет любой школьник у себя со смартфона AutoMLем сможет построить классификатор предсказывающий вероятность появления двойки в дневнике. Так же как сейчас коммодитизировалось программирование: каждый школьник может на Swift себе в интерактивном режиме накодить какую-нибудь приложуху, а какие-нибудь геймдизайнеры с базовыми знаниями Lua могут разрабатывать достаточно крупные и интересные игры.
Как бы ML, как и любая сложная область математики и Computer Science необъятна и работы для тех кто действительно шарит хватит ещё лет на сто минимум. С соответствующей зарплатой.
у меня до сих пор бомбит от этой рекламы Gillette
Чтобы написать коммент, необходимо залогиниться
Отличный комментарий!