Как стать автором
Обновить
40
0

Пользователь

Отправить сообщение

На редкость бесполезная и бессмысленная статья. К тому же недостоверная.


Разработка Theano остановлена (объявление сделано в сентябре 2017 года).


Разработка Torch остановлена (последний коммит сделан в сентябре 2017 года).


Nervana давным давно куплена Intel'ом. Разработка тоже заброшена. Последний коммит 4-месячной давности называется "Замена копирайта с Nervana на Intel".

Спасибо за дополнение и полезные ссылки.


Действительно, выкатили второй пример. Только он пока с комментарием "Note: This model is a work in progress and training doesn't quite work." :-)

Google вроде никогда и не заявляла, что TPU будут значительно быстрее на этапе обучения. А вот при инференсе прирост обещали в десятки раз. Было бы замечательно, если бы вы сделали такой бенчмарк на ResNet50.

Концертирующий музыкант порой за 1 день прослушивает 3 концерта, причем не только для своего инструмента. Таким образом, узнают не только о том, ЧТО играют другие, но и, самое главное, КАК играют.

На самом деле между "потихоньку подбираюсь к тому, чтобы..." и "лежу на диване, ни фига не делаю и только мечтаю" нет никакой разницы. Чем скорее займетесь делом, тем быстрее чему-нибудь научитесь.

Ну раз вы все поняли, то откройте свою компанию с сотрудничеством, непрерывничеством и блекджеком. И сразу покажете им всем как надо...


Или не покажете, потому что вы хотите не только душевной красоты и спокойствия, но чтобы кто-то регулярно вам за это еще и деньги платил. И вам глубоко безралично насколько красиво и спокойно ему. Главное, чтобы денежки регулярно платил. Но сам не появлялся никак (в тексте тот, кто платит за всю эту вашу красоту, вообще никак не упоминается) и не мешал вам наслаждаться красотой и душевным спокойствием. А вам чтобы было красиво и хорошо. Не ему. Вам.


Только при таком подоходе вы должны за это приплачивать. Но вы платить не хотите. Вы хотите, чтобы вам было красиво и хорошо. Бирюзово чтобы.

В jupyter'е есть и LaTeX, и экспорт в PDF, и рисование каких угодно карт, и статьи народ в нем пишет (научные и не очень), и блоги делает.
А еще можно несложно интегрировать jupyter и overleaf и получить отличный инструмент для создания и публикации научных статей.

Пока этот продукт выглядит как "Я менеджер по маркетингу, но теперь я называю себя дата-саентистом"
image


Для работы одного дата-саентиста вполне достаточно jupyterlab'а. Так что если вы хотите сделать удобный продукт для дата-саентистов, то datalore надо переписывать почти полностью.


  1. Полная поддержка групповой работы с гибким распределением прав (на инстансы, данные, контейнеры, репозитории и т.п.)
  2. Полная поддержка функций git.
  3. Интеграция с github'ом.
  4. Встроенный движок для удобного проектирования графиков, в том числе динамических/интерактивных.
  5. Интеграция с Tensorboard.
  6. Интеграция с docker
  7. Многоконный интерфейс с табами и виджетами.
  8. Удобный доступ к удобной консоли
  9. Мощный файловый менеджер с редактированием файлов разных форматов.
  10. Гибкое управление инстансами (в т.ч. своими, а не только провайдеров)

Как видите, редактора в списке нет совсем, потому что подойдет почти любой.
Если в восьмой версии выпустите автоматическое переименование, то мы порадуемся, но только если в восьмой. А в первой не надо.


Вот примеры реальных ноутбуков дата-саентистов:


  1. https://github.com/analysiscenter/cardio/blob/master/cardio/models/dirichlet_model/dirichlet_model_training.ipynb


  2. https://github.com/analysiscenter/cardio/blob/master/tutorials/II.Pipelines.ipynb


  3. https://github.com/analysiscenter/radio/blob/master/tutorials/RadIO.IV.ipynb


  4. https://github.com/analysiscenter/radio/blob/master/tutorials/RadIO.III.ipynb

Поработайте с ними и поймете, что проблемы дата-саентистов вообще не там, где вы думали. А им все еще нужна удобная среда для работы. И это даже близко не datalore.

В jupyter'е тоже есть автодополнение и поиск. Переименование в реальной жизни датасаентолога крайне редко когда требуется, чтобы этим можно было гордиться.


Интеншены — захардкоженное баловство. Ни один из них в реальной работе никогда не требуется.


Редактор кода вообще никогда не был проблемой для анализа данных. Так что вы совершенно зря педалируете эту "редакторовость". Не цепляет совершенно.

Пока это все больше похоже на забавное баловство, для серьезной работы с данными не пригодное вообще.


Чтобы сделать простенькую, но полезную модель надо написать 5000 строк кода, потом 28000 раз их отредактировать и в конце-концов 4500 строк стереть — история изменений станет нечитаемой, в ней ничего не получится найти.
Нужны нормальные коммиты, теги, версии.


Видеть курсор вообще не надо. Зато надо уметь сливать куски кода, написанные разными людьми.


Также нужна нормальная работа с python-модулями, чтобы при изменении не надо было перезапускать кернел и все ячейки.


Что с распределенной работой? Сможете сделать "удаленные" ячейки, каждая из которых запускается на отдельном сервере со своими данными? А в ноутбуке пусть будет виден прогресс.


Пока данных мало, то и проблем с анализом нет, а когда датасеты в сотнях и тысячах Гб, что вы можете предложить? Добавьте встроенный функционал по (фоновому) копированию данных на вычислительные инстансы.


Да и про запуск инстансов стоит внимательно подумать: сразу ставить драйвера, устанавливать пакеты, загружать и запускать докер-контейнеры.

Эта штука работает только на вашем сайте и на своих мощностях ее не развернуть?


Что есть из инструментов командной работы? Разграничение доступа? Код-ревью? Комментарии? Ветки? Пулл-реквесты?

Если потрясти коробку, то будет понятно только что в ней есть что-то, и не факт, что это кот, и уж тем более не факт, что получится оценить его состояние.


Вы плохо планируете эксперименты, а виноват в этом я?!


Вот когда дополните свою модель так, что она будет требовать эффективной работы команды, тогда и обсудим ее.


Или это просто игра «найди любую уязвимость

Это не просто любая уязвимость, а критическая ошибка, полностью разрушающая ваш эксперимент.


Любой рациональный субъект (человек, обезьяна, нейросеть, ...) за малое число итераций придут к однозначному выводу: вместо работы, проще обменяться баллами и потом делать все, что захочется, в том числе работать, но только над тем, что лично тебе нравится, и именно так, как тебе самому нравится.


Особо рациональным субъектам для этого даже итерации не потребуются, поскольку можно спрогнозировать поведение рационального оппонента и состояние общей среды, обусловленной этим поведение, и формировать свое поведение с учетом такого прогноза. Это называется "думать на К ходов вперед".


Если вы этого не понимаете, то крайне рекомендую изучить хотя бы азы теории игр и методы градиентной оптимизации политики принятия решений в обучении с подкруплением — лучше станете понимать, чем руководствуются рациональные субъекты при принятии решений.

В предложенной вами схеме любому достаточно договориться всего лишь с одним человеком (я перечисляю баллы тебе, а ты — мне) и все — на работу можно вообще не ходить, поскольку 100% зарплаты вам гарантировано.


Очевидно, что каждый легко найдет себе пару, поскольку ситуация win-win для обоих.

В вашем эксперименте работать вообще не нужно. Все тупо перераспределяют бюджет с целью просидеть год (пока не изменится схема или не появится возможность сбежать в другое место).


А вот если добавить "работать", все принципиально изменится.


То есть баллы-то есть у всех, и они их могут раздавать направо и налево. Но денег в бюджете нет и никто баллы на деньги не обменяет, потому что денег по умолчанию просто нет.
А нет денег, нет и еды, поскольку еда за деньги покупается. И туалета, кстати, тоже нет — он ведь денег стоит. Равно как и нет теплой кровати (и нетеплой тоже нет) — за нее опять же нужно платить.


А деньги еще надо заработать, и только когда команда сделает что-то полезное и продаст это что-то полезно кому-то другому, и реально получит от этого другого деньги, то вот только после этого можно делить деньги между участниками с учетом баллов. Вот тут-то станет интересно.

Да вы прям кладезь.


Вы в основу принятия решения ставите не благополучие сотрудника, вашего проекта и благосостояние акционеров, а почему-то вашу собственную приятность.


Акционеры понесли убытки, сотрудник пострадал, проект под угрозой, а вам лишь бы приятно было. Отличный подход!

Про беспомощных программистов и необходимость их спасения вы сами себе придумали. У меня про это речи не было. Как и про упырей.
Вы совершенно зря переоцениваете важность менеджеров и недооцениваете программистов.


А мне искренне не симпатичен мир, где преобладают бесполезные неумные менеджеры, как в вашем описании. И если мне удастся вытащить хотя бы одного из них в реальность, то его жизнь уже прожита не зря.

Вы так и не поняли ничего.


Для вас это ничего не стоит, поэтому вы готовы любую глупость сделать и затем любую глупость скажете, чтобы свою предыдущую глупость оправдать.


И в этом случае приходится взвешивать уже не зарплаты Васи и Пети, а время, за которое команда сможет эту задачу решить.

Не надо переваливать на команду. Не команда принимала глупое решение, а вы. Вы их не только не спросили, но даже и в известность не поставили, что вот, мол, берем Васю и он будет получать больше вас всех, потому что я не смог организовать, чтобы вы сделали работу в срок. А теперь вы не получите премию (она уйдет на зарплату Васе), да еще и как лохи будете меньше Васи получать. Короче, команда не причем.


За время вы, кстати, тоже никакой ответственности не несете. Неделей позже, тремя или вообще на два месяца — да кто там разберет, когда на самом деле можно было задачу сделать и насколько вы задержали сдачу.


я найму переплаченного специалиста.

Конечно, наймете. Ведь платите переплаченному специалисту вы не из своих личных денег. А как-нибудь попробуйте из своих… или хотя бы у команды спросить, можно ли вам распоряжаться их деньгами. И мир сразу заиграет новыми красками.

Конечно, иногда бывают случаи, когда мы хантим Васю из соседней компании по «двойным тарифам». И зарплата у него получается в полтора раза больше, чем у Пети, который работает уже долго. Но я как руководитель десять раз подумаю, прежде чем сделать такой оффер Васе. А если сделаю, значит Вася действительно столько стоит (в текущей ситуации). И мне не стыдно будет смотреть в лицо Пете, рассказывая, почему Вася получает в полтора раза больше него.

Во, типичное поведение бесполезного менеджера под лозунгом "плевать на все: день прошел — зарплата капает".


А если сделаю, значит Вася действительно столько стоит

Кому стоит? Уж точно не вам, вы-то ни копейки не заплатили. За ваше глупое эгоистичное решение платят акционеры и Вася с Петей.
А вам тепло и спокойно: с ростом числа сотрудников растет статус и ЗП (есть однозначная корреляция и четкий тренд у менеджеров плодить численность) и в случае чего можно отфорвардить всех к Васе (он теперь за это отвечает и зарплата у него "ого-го", пусть отрабатывает) и к Пете (он давно работает, все знает).


И мне не стыдно будет смотреть в лицо Пете

Это потому что у вас ни стыда, ни совести. А вот вы теперь доплатите из своего кармана Пете, чтобы он получал ровно столько сколько Вася. Потому что если работа стоит Х, то все, выполняющие эту работу, должны получать Х.


Важно учитывать, что нам, например, могут быть остро нужны разработчики, и мы готовы на любые вложения, лишь бы заполучить человека. Но это тоже надо понимать и не бояться сказать вслух.

Кому важно? Если вам остро нужны разработчики, то доплатите и разработчику Пете. Ведь он нужен так же остро, как и разработчик Вася.
Кто готов на вложения? Лично вы-то сколько вложили?!


Ещё один очень важный момент, про который все забывают: переплата в данном случае будет нечестной по отношению не только к Пете, но и к Васе.

Ну то есть из своих сиюминутных корыстных побуждений вы поднасрали не только Пете, но и Васе. И еще акционерам. И только вам одному хорошо.
Ну, правильно, чё. День прошел — зарплата капает. И численность подчиненных растет. Молодец, ага. Пиши на хабр.

Что именно я должен вам доказать?

Все свои утверждения.


Существование сложных социальных структур

Да. Дать им четкое определение и доказать, что они существуют и являются главной причиной прогресса, как вы сейчас голословно утверждаете.


Или нужно доказать, что именно с усложнением этих структур и с накапливаемым этими структурами опыта связано развитие человечества?

Что угодно хоть как-нибудь да связано с чем угодно. Например, дождь во вьетнамской деревне в 17 веке как-нибудь связан с открытием теории относительности. Поэтому докажите, что не просто связан, а является как минимум необходимым условием научного прогресса.


Впрочем, вы этого не доказываете...

Как раз доказываю. Вы выдвигаете тезис "никакой гений не может ничего существенного сделать один, без команды". И в строгом соответствии с правилами формальной логики я опровергаю ваш тезис примерами Эйнштейна, Перельмана, Декарта, Ньютона, Лобачевского, Галуа. И этот ряд можно продолжать очень и очень долго.
Вообще говоря, и одного примера было бы достаточно для полного опровержения вашего утверждения. Но множественными примерами я продемонстрировал, что ваш тезис неверен не просто в редких исключительных случаях, а очень часто и даже почти всегда.


Я же напротив считаю, что...

Не имеет никакого значения, что лично вы считаете. Важно лишь что вы можете доказать. А вы пока ничего не можете.


Те негативные проявления о которых вы пишете, являются как раз следствием ...

Это надо доказать. Может быть они являются единственно возможным результатом жизнедеятельности этих ваших структур.


Но проблема не в их наличии, а в их недостаточной развитости.

Это тоже требует доказательства. Возможно проблема заключается именно в существовании этих ваших сложных социальных структур.


Без сообщества, Линус при всей его яркости так и остался бы просто яркой звёздочкой. Но именно благодаря сообществу...

Вы ведь даже не понимаете, о чем говорите своими пафосными фразами. Загляните в пулл-реквесты ядра. Мир вам откроется с принципиально новой стороны.


Единственная причина почему появилось ядро Линукса — потому что Торвальдс захотел его сделать и сделал. Один. Сам. Без команды.


Единственная причина, почему ядро Линукса еще не превратилось в бесформенный кусок говна — потому что Линус лично визирует пулл-реквесты и не пропускает говнокод. И громко кроет матом этих вот участников социальных структур за их уродский код и выгоняет их за это к *уям с проекта.
А они собираются в группы и пытаются его засудить (вместо того, чтобы писать нормальный код). Вот так вот работают социальные структуры.

Все мы входим...

Голословное пафосное утверждение. Голодный Эйнштейн не входил. Иначе бы его там покормили. Перельман, хоть и не голодный, но тоже не входит.


добивались успехов в рамках более широкой команды, будь то государство или всё человечество.

Еще одно напыщенное пустословие. Какое определение слову "команда" ни давай, но ни государством, ни человечеством она точно не является.


И важной задачей всего человечества… является выявление в людях их высокого творческого потенциала...

Вы прям мастер пафосной болтологии. Вы докажите это утверждение сначала.


Потому что по многочисленным фактам выходит, что важнейшей задачей человечества является уничтожение свободомыслящих прогрессивных людей, а также накопленных знаний. Последние 4000 лет этим занимаются государства и правящие элиты всех уровней.
Одна лишь тысяча лет Средневековья чего стоит — почти полностью уничтожена античная наука и инженерия, едва выжила литература, изуродованы скульптуры и памятники, утрачено изобразительное искусство (в Возрождение рисовать учились почти с нуля). К 14 веку в Европе никакой науки не было совсем.
Государство и церковь постарались на славу — строили сложные социальные структуры и повышали творческий потенциал людей, ага.


Но и даже сколь угодно талантливые люди тоже не в вакууме живут.

Ляпнуть можно что угодно. А у Эйнштейна не было еды. Совсем. Ни вы, ни какое государство, ни значимые ученые тех лет к нему не пришли и даже кусок хлеба ему не дали. Лобачевский, Декарт и Эйнштейн с удовольствием предпочли бы многолетней травле вакуум.


уж точно можно сказать, что умение выстраивать социальные связи повышает творческий потенциал личности

Очередное бессмысленное и ничем не обоснованное словоблудие.


в индивидуальных видах спорта новый рекорд является результатом работы большого коллектива

Это еще надо доказать. Потому что по факту это не так.
В частности, если снять с современных спринтеров модные шиповки, вывести их с суперскоростных пластиковых дорожек на улицу, то выяснится, что за последние 70 (это точно, а может и 270) лет человек не стал бегать быстрее. То есть рекорды вроде как есть, но это не рекорды бега, а лишь прогресс химической промышленности.
А рекорды в длинном беге обусловлены генетическими способностями африканских жителей.


Но это вовсе не значит, что именно от одиночек зависит развитие.

Вы продолжаете сыпать бездоказательными заявлениями. Докажите.


способность создавать сложные социальные структуры — это более важный фактор развития.

Докажите. Но не пустословиями своими абстрактными, а четкими определениями и строгими логическими выводами.

Информация

В рейтинге
Не участвует
Работает в
Зарегистрирован
Активность