Имя: Пароль:
IT
 
Что вы думаете о Machine Learning и ИИ как выбор новой специализации и язык Python. Стоит?
, ,
0 Устюгов Павел
 
27.05.19
16:47
Всё чаще попадается на глаза заманчивое предложение пройти обучение по Machine Learning (искусственный интеллект, нейронные сети, все дела). Материала появилось достаточно много, да и оплачивается это направление, как я понял очень хорошо - особенно, если уезжаешь в другую страну. По сравнению с веб-разработкой можно заработать больше. Плюс конкуренция меньше, ведь далеко не все программисты имеют высшее образование по специальности и они не изучали различные математические науки связанные с ML - статистика, линейная алгебра, численные методы, теория ветоятности, дискретная математика и т.п.

Стоит ли начать изучать данное направление чтоб потом сделать его основным?

Вопрос задаю именно тем, кто в теме. Чтобы сказали в чем плюсы, в чем минусы, в чем особенности. Как по оплате, по наличию вакансий и насколько это головняк вообще? Как быстро можно научиться?

Может кто знает?  Ну и язык программирования Python изучать под это дело (ох как не хочется, не нравится мне его синтаксис)
58 Устюгов Павел
 
28.05.19
07:32
(56)ну это легко применяется в Game Dev. Написать игру, которая методом проб и ошибок начинает успешно проходить препятствия. Например, змейка. Я вчера смотрел - это шедевр. Змейка управлялась при помощи ИИ и заполнила всё пространство не врезавшись в себя.
59 Лодырь
 
28.05.19
07:34
(0) Без практики бесполезное времяпровождение. Сужу по своему опыту. Да, спустя несколько лет периодического изучения, могу решить задачку с каггла. Да, могу потягаться в конкурсе организованном каким-нибудь ЦФТ. Но в топы каггла не войду ) В общем на уровне современного выпускника профильного факультета. Из плюсов у вас будет больше смежного опыта, но имхо, он вам особо не поможет. Если не боитесь конкуренции со стороны молодежи и того что ваши руководители будут младше вас - вперед )
60 Устюгов Павел
 
28.05.19
07:35
(52)а как в Big data пролезть? как освоить это направление и можно ли его совмещать в себ-разработкой онлайн сервисов?
61 los_hooliganos
 
28.05.19
07:42
(60) Hadoop, плюс апач ингат. С БигДата выступают компании на разных конференциях для "нормальных" программистов (типа джава и прочие ООП языки). Там же можно и пообщаться поближе с разработчиками БигДата. В Новосибирске знаю что отдел БигДата у Билайна. Может еще кто-то из Москвы перевел свой отдел БигДата.
62 ice777
 
28.05.19
08:13
Имхо, пайтон один из самых низкооплачиваемых языков.
Это на случай, если ИИ разонравится.
63 Устюгов Павел
 
28.05.19
08:56
(62)нет же. https://ca.indeed.com/jobs?q=python&l=
выше чем php
64 MadHead
 
28.05.19
09:02
(53) Я в курсе процесса, так как постоянно взаимодействую с дата саинтимтами на работе. Подготовка данных тоже базируется на мат статистике и даже undupervised ml алгоритмах для очистки от шумов. Фичи
выделяют тоже не для всех задач, к примеру нейронки для компьютерного зрения.
(60) Hadoop - это большая система сервисов с серьезными подходами к секьюрити, толерантности к отказам оборудования и распределенным вычислениям. Что бы в этом всем хорошо разобраться, нужно сфокусировано изучать. Самостоятельно изучить крайне тяжело, нужно идти работать в компанию которая специализируется в этом направлении или хотя бы компанию которая активно использует hadoop
65 Garykom
 
гуру
28.05.19
09:19
(64) По фичам только для стандартных задач легко, к примеру компьютерное зрения это уже давно стандартная.
Только все улучшить пытаются.

Есть куча задач которые пока тяжело формализовать и в т.ч. выделить фичи (для меня привычнее "признаки" говорить хотя и свойство и особенность тоже адекватный перевод feature)
66 Garykom
 
гуру
28.05.19
09:21
(65)+ Вот возьмем например задачу ТС по "заманчивости предложений по обучению".
Какие будут фичи у рекламного текста/картинок чтобы начать анализировать?
67 Krendel
 
28.05.19
10:18
(66) Бюджет данной задачи, чтобы что-то анализировать, сначала надо получить граничные значения
68 Krendel
 
28.05.19
10:24
потом ты сможешь дать машине ключевики по своему запросу, собрать обратку по уже созданной рекламе, дать запрос в ав и яд по собранным запросам, выдать результирующую, и после этого только начать строить свою модель данных
69 Garykom
 
гуру
28.05.19
11:01
(67) (68) Причем тут некий бюджет или ключевики?

Речь про фичи, причем фичей (признаком, свойством, характеристикой) может быть что угодно, от адреса/места где реклама до какие там картинки и цены.
70 Garykom
 
гуру
28.05.19
11:03
Идея запилить умный спам фильтр от встроенной рекламы причем с определением ее адекватности.
Или просто поиск лучших "предложение пройти обучение по Machine Learning"
71 Krendel
 
28.05.19
11:14
(70) не было в ТЗ идеи запилить умный фильтр, было желание получить этапность работ по тематике
72 Krendel
 
28.05.19
11:19
(69) Ты можешь называть это фичи, лайфхаки,
в жизни ты будешь использовать мат аппарат типа этого
http://stratum.ac.ru/education/textbooks/modelir/lection26.html
73 Garykom
 
гуру
28.05.19
11:20
(72) Вы ничего не перепутали? Какое это имеет отношение к ML?
74 Mikeware
 
28.05.19
11:46
(38) это обычная технология двойного применения... Точно так же, как распознавание радиолокационной сигнатуры самолетов.
75 Garykom
 
гуру
28.05.19
11:52
(74) Кстати сейчас прикольно подобные технологии применяют относительно wifi с bt.

Для определения координат, ориентации в пространстве/помещении и даже отслеживании положения/движения крупных объектов.
76 Krendel
 
28.05.19
11:52
77 Garykom
 
гуру
28.05.19
11:53
(75)+ Например ничего сложного по wifi от обычного бытового роутера определять есть ли кто в помещении и где он движется
78 Garykom
 
гуру
28.05.19
11:55
(76) Этот метод в ML применяется только на конечном этапе оценки точности или для ее повышения.

Какое отношение это имеет к самым основам ML где все начинается с фич, если задачка не тупо учебная со всей проделанной почти работой и собранными/обработанными данными, приведенными в стандартный готовый вид?
79 Krendel
 
28.05.19
13:29
(78) Давай начнем с базы- почему используется мат аппарат в основе, но ты называешь выделение определений как "фича", когда это далеко не так
80 Garykom
 
гуру
28.05.19
13:34
(79) см (65)
81 Garykom
 
гуру
28.05.19
13:36
Но прикольно два представителя один глубоко теоретики с непонятно какими знаниями, другой реальный с общепринятым сленгом и я тут как не пойми кто.

Реально я просто в теме слегка и пробовал как с каггла задачки так и сам кое что делать, но даже близко к спецам не.
82 Garykom
 
гуру
28.05.19
13:39
(79) Кстати мат аппарат имеет такое же отношение к реальному ML как математика имеет к бухгалтерии и аудиту.

Местами применяется в виде простейших действий и неких готовых формул, ну и % да.
83 Krendel
 
28.05.19
13:44
(81) Я знаю чисто теорию и не напрашивался на выводы в последней инстанции, ибо смысла пееручиваться в свои 32 не особо вижу, а вот смену деятельности я реализовываю административным ростом
84 Garykom
 
гуру
28.05.19
13:45
(83) Ааа старое "я начальник ты дурак" да

Вот это мне и надоело, когда могу иметь выбор уже на кого работать и посылать лесом дураков.
85 Krendel
 
28.05.19
13:46
тем более у меня основное образование не мехмат или физ мат, а асоиу, а это только зачатки мат аппарата
86 Garykom
 
гуру
28.05.19
13:47
(85) К сожалению это бесполезные уже давно образования, без самостоятельного постоянного обучения или получения другого образования, более свежего.
87 Krendel
 
28.05.19
13:48
(84) Причем тут это "Ааа старое "я начальник ты дурак" да"??

Для самореализации мне нужны бюджеты, для бюджетов надо или искать спонсоров, или самому становится спонсором, я пошел по второму пути
88 Garykom
 
гуру
28.05.19
13:48
(87) Открыл франч?
89 Krendel
 
28.05.19
13:49
(88) да, неделю назад ;-)
90 Krendel
 
28.05.19
13:51
и столярную мастерскую полтора года назад ;-)
91 Krendel
 
28.05.19
13:53
А Машин Ленингом можно было бы позаниматься например для блока планирования, вполне себе  прикладная задача, или например автоматической генерации спецификаций на основании истории выпуска
92 Krendel
 
28.05.19
13:55
Там вполне себе задача делится на 3 составляющих, продажи, производство и закупки
93 Krendel
 
28.05.19
13:56
осталось найти 3 свободных мульта на ее реализацию в первичном  варианте, и впринципе все ;-)
94 Garykom
 
гуру
28.05.19
14:02
(91) Блок планирования давно есть в типовых в разных видах, вполне себе ML по сути, на простейших методах.

А "автоматической генерации спецификаций на основании истории выпуска" это тоже никакого отношения к ML не имеет и давным давно есть в САПР.
95 Krendel
 
28.05.19
14:05
(94) А почему тогда при наличии данного блока, у 90% он не запущен?
Каким механизмом происходит автоматическое уточнение расчета?

Откуда в САПРе есть история потребления всех материалов по предприятию?
96 Garykom
 
гуру
28.05.19
14:06
(90) У меня есть где то диплом столяра-плотника-станочника ))

А так столярка штука интересная, особенно сейчас когда есть куча всего и дешевого чтобы роботизированные станки делать самим.
97 Garykom
 
гуру
28.05.19
14:09
(95) >Каким механизмом происходит автоматическое уточнение расчета?

Там на основании продаж (или списании в производство) за прошлые периоды, с учетом остатков на складах формируются заказы поставщикам.
Уточнение происходит на основании новых данных за новые периоды.

>Откуда в САПРе есть история потребления всех материалов по предприятию?
Обратная интеграция, к проектам подтягиваются данные из учетных систем по факту
98 Krendel
 
28.05.19
14:11
(97) Там на основании продаж (или списании в производство) за прошлые периоды, с учетом остатков на складах формируются заказы поставщикам.
Уточнение происходит на основании новых данных за новые периоды.

понятно, у тебя в компании запущено планирование?
99 Garykom
 
гуру
28.05.19
14:12
(98) Только в виде отчетов которые смотрят ответственные за планирование.
Пока нет задачи убрать с них эту нагрузку, ибо специфика ювелирки изделия штучные.
100 Krendel
 
28.05.19
14:17
(99) Вот когда ты перейдешь от экспертной оценке, к автоматической генерации+ экспертная оценка, вот тогда мы и сможем говорить об реализованных механизмах МЛ
101 Krendel
 
28.05.19
14:19
на текущий момент такие оценки делают несколько сторонних компаний и вполне себе в рынке, никто не хочет иметь экспертов по мат моделированию в штате, ибо с ними никто не может общаться, все хотят отдать бабок и получить результат
102 Garykom
 
гуру
28.05.19
14:24
(101) Не, не, математическое моделирования это близкая к ML сфера но все же не то!
Да оно использует бывает те же методы и алгоритмы, но предназначено совсем для другого.

Цель моделирования это сделать нечто и отдать человеку (или ИИ) который принимает решение.
Цель ML это убрать человека который принимает решение и поручить это ИИ.
103 Krendel
 
28.05.19
14:31
(102) Алгоритмы принятия решения ты все равно пишешь на основе мат логики
104 Mikeware
 
28.05.19
14:42
(103) не всегда. иногда экспертная оценка "пойдет/не пойдет" на основании мнения пятой точки эксперта оказываются точнее "логически выверенного" и "математически просчитанного" плана...
105 Garykom
 
гуру
28.05.19
14:43
(103) Не совсем так данные от мат моделирования служат источником данных для ML
Причем очень часто моделирования не требуется если задача этого не требует, на вход сырые данные или слегка переделанные.
106 Krendel
 
28.05.19
14:58
(104) Почему иногда? достаточно часто, но это значит что мат модель не учитывает важный фактор, а вот белковый эксперт этот фактор учитывает.
(105) но обрабатываются они все равно формальной логикой
107 Krendel
 
28.05.19
14:58
я выпилюсь из данного треда, погружаться в специфику машинного обучения у меня нет желания, ибо нет бюджета на реализацию своего проекта
108 Garykom
 
гуру
28.05.19
15:02
(107) Плюс ML что большие бюджеты не нужны, если задачка интересная то могут практически бесплатно почти сделать.
109 Garykom
 
гуру
28.05.19
15:03
(108)+ Бюджеты нужны чтобы решение начать реально применять и особенно если его масштабировать и улучшать результат.
Но сейчас видяхи подешевели так что по железу выходит чуть уже легче.
110 Krendel
 
28.05.19
15:08
(108) Бесплатно не интересно, ибо эти поделки потом нельзя использовать, я уже прошел эту стадию
(109) Проблем с серваком как раз нет, стоит пустой сейчас, который может тянуть ерп на 100 пользаков +, покупался как стендовая машинка
111 ice777
 
28.05.19
15:11
112 ice777
 
28.05.19
15:13
(111) а не, но все равно посмотри диаграмму
113 Krendel
 
28.05.19
15:28
(112) Толку смотреть диаграмму, если в любой отрасли нужны спецы, а не дворники
114 Shur1cIT
 
28.05.19
15:44
(0) Всё не читал, рекомендую об Android подумать, платят много в том числе на удаленке в том числе за бугром, работы навалом.Вхождение (обучение+первая работа) в профессию проще так как разработчиков нехватает, клиентов с мелкими заказами посылают не моргнув глазом.
115 Американский Прогер
 
28.05.19
17:51
(0) Тебе не получится уехать в другую страну, так что забей. Иди лучше в стендаперы, у тебя в этом направлении потенциал гораздо больше.
116 Sysanin_1ц
 
28.05.19
18:58
(114) Дык вроде теперь вместо Андроида Котлин будет использоваться. Так что Андроид уже не в тренде
117 Sysanin_1ц
 
28.05.19
19:03
(0) А что в Питоне не нравится? Интересный язык с большими возможностями. Особенно на фоне некоторых предметно ориентированных ))
Насколько знаю Питон один не прокатывает в ИИ. Нужно знать еще минимум R или JAVA/SCALA, соответствующие библиотеки, а желательно и то и другое.
Плюс конешно математика и статистика сильная. Плюс вакансии в основном в крупных городах.
118 Garykom
 
гуру
28.05.19
21:06
(116) Вместо Java и не вместо а вместе с основным упором на Kotlin.

Ибо на нем намного быстрее и удобнее писать чем на Java под Android.
119 Устюгов Павел
 
29.05.19
08:48
(118)так что лучше Котлин сразу изучать?
120 Кирпич
 
29.05.19
08:52
(119) учи английский. котлин за неделю выучишь
121 Устюгов Павел
 
29.05.19
12:46
(120)да английский знаю. простой же язык. а вот java за неделю не выучишь..
122 Garykom
 
гуру
29.05.19
12:57
(121) Golang учи, его за пару дней можно выучить.
Конечно если Java уже знаешь.
123 Garykom
 
гуру
29.05.19
12:58
Kotlin кстати очень непривычная штука, но если попривыкнуть то никакого желания возвращаться на Java.
124 Устюгов Павел
 
29.05.19
17:29
(122)(123)А Go же уроде уходит и заместо него приходит Kotlin ?
125 Garykom
 
гуру
29.05.19
17:39
(124) Это разные штуки совершенно.
Go не замена Java и не для Android и не для фронта вместо JS как Kotlin.

Kotlin "компилируется" в Java или в JavaScript.
Golang компилируется в нативный код (.exe на win или *выполнимые на lin) без зависимостей, все статика как C++ может или Delphi.

Go это скорее простая замена аля Delphi/C++ для бэкенда.
126 Вафель
 
29.05.19
17:42
(120) язык то не сложно выучить.
сложно фрейморвки выучить и бест практис
127 Garikk
 
29.05.19
17:44
(125) <Delphi/C++ для бэкенда.>
Скорее PHP/Python/Ruby
128 Garikk
 
29.05.19
17:44
и то скорее только первых двух
129 Вафель
 
29.05.19
17:47
(128) Это не замена, а просто в этот список добовляется еще 1 язык
130 Garykom
 
гуру
29.05.19
17:55
(127) Это интерпретаторы а Golang компилятор, но по назначению согласен основному что сейчас применяют.

Фактически же Го это язык который вытеснит Delphi и C++, когда к нему UI нормальный прикрутят.
131 Garykom
 
гуру
29.05.19
17:58
(129) Как Kotlin заменяет Java и JavaScript так и Go постепенно заменит PHP/Python/Ruby а затем и Delphi/C++.
Вот с C# картинка сильно сложная это же CLR и мощь .Net, скорее всего MS свое Go под .Net сваяет.
132 Garykom
 
гуру
29.05.19
17:59
(131) Постепенно это лет 10-20 и то не везде, пока C++ один фиг шустрее чем Go.
133 Garykom
 
гуру
29.05.19
18:00
(132)+ На Golang уже можно программировать и компилировать под микроконтроллеры и под разные роутеры и оно там пашет нативно.
Но оперативки много требует.
134 Garikk
 
29.05.19
18:18
Я бы не стал очень верить в golang,хотябы потому что его гугл делает...и вообще в текущем варианте там много спорных вещей типа отсутствия исключений и неявного поведения у некоторых сущностей
А то можно вспомнить что у гугла есть еще Dart которым они хотят заменить js, и flutter который тоже толкают в сторону андройда

Delphi вообще мертв уже очень давно, его вообще можно не учитывать..
135 Garykom
 
гуру
29.05.19
18:49
(134) А не нужны исключения (все без них делается фактически, не выйдет трайкачить) и поведение там явное просто слегка непривычное.
В PHP и прочих тоже есть свои приколы и магия, с которыми еще сложнее разобраться.
136 Garykom
 
гуру
29.05.19
18:54
(134)  Delphi да но не Lazarus он активно развивается и там офигенная экосистема и все время новые версии выходят
Последняя версия    2.0.2 (18 апреля 2019)
https://ru.wikipedia.org/wiki/Lazarus

По сути Java и C# в будущем уготована судьба Delphi и вот Golang пока основной кандидат кто на замену им. Не спорю что легко может выскочить другая лошадка и обойти.
137 Garikk
 
29.05.19
18:59
(135) <поведение там явное просто слегка непривычное. >
ага, добавляешь в слайс по ссылке элемент, если размер не меняется - норм,
а если слайс увеличивается то создается его копися и ссылка на неё переключается
обалдеть явное поведение
138 Garikk
 
29.05.19
19:00
(136) у Java и C# судьба фортрана и кобола, это же языки ентерпрайза, они будут вечные как C/Cpp

То что у делфи выходят новые версии ни о чем не говорит, у него популярность ниже плинтуса
139 Garikk
 
29.05.19
19:02
(135) они настолько не нужны что в Go2 их хотят ввести :)
вообще капец забавно после каждой ф-ции писать
if err!=nil {
ой ошибка у нас
}
140 Garykom
 
гуру
29.05.19
19:03
(137) Да и это круто!
Программист явно знает и видит что происходит неявно во всех прочих ЯП где есть динамические массивы/списки.
Там в два раза сразу увеличивается размер слайса, если количество превысило емкость.
141 Garikk
 
29.05.19
19:04
(140) а ссылка то теряется на слайс. причем крайне неявно
а про увеличение размера слайса...так это в яве вроде также устроено и тюнится при желании
142 Garykom
 
гуру
29.05.19
19:04
(138) Нормальная у Delphi/Lazarus популярность, просто хайпа уже давно нет и запретно-постыдная тема в публикациях.
143 Garikk
 
29.05.19
19:04
итератор по слайсу не возращает ссылки назначения...пипец
144 Garikk
 
29.05.19
19:05
(143) *на значения
145 Garykom
 
гуру
29.05.19
19:05
(141) А ссылка никуда не теряется, там новый слайс создается и присваивается старой ссылке.

a = append(a, "добавляем")
146 Garikk
 
29.05.19
19:09
(145) нене
a := слайс
b = &a
b = append(b, "lala")

и внезапно b !=a если слайс увеличился, а b==a если НЕ увеличился
147 Garikk
 
29.05.19
19:10
охренеть явное поведение
148 Garikk
 
29.05.19
19:15
вообще для меня лично, пока Java и C# самые логичные и понятные языки, котлин пока не смотрел еще

остальное это какието приседания для хипстеров

я уже устал в питоне костыли строить вокруг отсутствующих типов и то что в крупных проектах оно падает в рантайме если в типах ошибка когда каждое изменение надо чутьли не вручную искать, если тесты не на 100% покрывают всё
149 Garykom
 
гуру
29.05.19
19:16
(146) В go все по значению а не по ссылке же

В данном случае ты в переменную b записал указатель на слайс a.
А затем взял к а добавил "lala" и получил новый слайс, который записал вместо старого указателя b (на a)

Последняя строчка эквивалентна
b = append(а, "lala")

Где мы a не трогали, но так как место в памяти где хранятся данные одно и тоже то согласен "b !=a если слайс увеличился, а b==a если НЕ увеличился"

Короче слайс это массив в памяти + некая структура вырезающая часть из этого массива
150 Устюгов Павел
 
29.05.19
19:19
(148)А С++ чем хуже Java то?

Вообще Java это надежная штука. много библиотек. Энтерпрайз на нем делают. Всякие корпоративные системы.
151 Garykom
 
гуру
29.05.19
19:20
(148) Питон имхо изврат, аля VB для математиков
152 Garykom
 
гуру
29.05.19
19:21
(150) C++ это зоопарк где тебе надо скрестить бактерию с динозавром
153 Garikk
 
29.05.19
19:23
(150) C++ хорош, но слишком низкоуровневый, в Яве в ногу себе сложнее стрелять (152) +1
154 Устюгов Павел
 
29.05.19
19:33
(152)а сколько нужно времени чтобы изучить Java до такого уровня чтобы получать 100+ т.р. ?  если знаешь ООП и С++ ?
я так понимаю один язык то изучить можно за месяц. но там же нужно знать библиотеки чтобы быть полезным в разработке приложений
155 Устюгов Павел
 
29.05.19
19:33
эх. лучшеб я ММА изучал в свое время. сейчас бы мне тоже предлагали по 10млн за фрик бои с блогерами и никакого программирования не нужно было бы.
156 Garykom
 
гуру
29.05.19
19:40
(154) Уровень зарплаты и вероятность ее получать не зависит напрямую от знаний, в т.ч. любого ЯП.
157 Garykom
 
гуру
29.05.19
19:42
(156)+ Можно успешно работать "программистом" обладая минимальными знаниями и передавая порученную работу/задания на аутсорс, за часть своей большой зарплаты.

Хотя это даже дорожные и строительные рабочие в Мск умудряются, за которых "таджики" работают ))