Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 36
Geohot уже показал, что талант и увлечённость, помноженные на интеллект и знания, могут горы свернуть.
Видимо, стоит снять шляпу перед парнем, учитывая, что
Илон Маск предлагал хакеру бонус при трудоустройстве в несколько миллионов долларов, но тот отказался.
Посмотрим, как он прокатит свою Акуру перед домом Маска :)
Там к бонусу наверно прелагалось требование передать Тесле Моторс все наработки Геохота и отныне навсегда забыть про их развитие без команды Маска.
Причем сам бонус скорее всего выплачивался бы 5 лет и в договоре было бы прописано что его нельзя расторгнуть первые N (возможно те же 5) лет без возврата всей/части суммы «бонуса».
Естественно! Это стандартный пункт трудового договора американских корпораций. Я тут в одну компанию устраивался давича занимающуюся мобильными играми, так мне после их договора даже чтобы выпустить на картоне настольную игру придётся с юристами пол года согласовывать, как и для занятий любым другим интертейнментом.
«Математика там простая. Впервые в своей жизни я подумал: «Я знаю всё, что нужно знать»»
Обычно такие заявления соответствуют тому, что человек вообще не понимает ничего. Будем надеяться, что на необычного человека это не распространяется.
Соглашусь. Три уровня познания о предметной области:
1) Всё знаю
2) Ничего не знаю;
3) Знаю, что я знаю и знаю, чего я не знаю.
И еще пока вспоминал, наткнулся Эффект Даннинга — Крюгера:
1) Всё знаю
2) Ничего не знаю;
3) Знаю, что я знаю и знаю, чего я не знаю.
И еще пока вспоминал, наткнулся Эффект Даннинга — Крюгера:
Пояснение
Эффе́кт Да́ннинга — Крю́гера — метакогнитивное искажение, которое заключается в том, что люди, имеющие низкий уровень квалификации, делают ошибочные выводы, принимают неудачные решения и при этом не способны осознавать свои ошибки в силу низкого уровня своей квалификации. Это приводит к возникновению у них завышенных представлений о собственных способностях, в то время как действительно высококвалифицированные люди, наоборот, склонны занижать свои способности и страдать недостаточной уверенностью в своих силах, считая других более компетентными. Таким образом, менее компетентные люди в целом имеют более высокое мнение о собственных способностях, чем это свойственно людям компетентным, которые к тому же склонны предполагать, что окружающие оценивают их способности так же низко, как и они сами.
Она может работать как ограниченная демонстрация на известном участке дороги — у Tesla была такая система два года назад — но потребует огромных ресурсов для отладки на миллионах километров сильно отличающихся дорог».
Я так понимаю, что и Тесловский автопилот в таком же состоянии? Отладка ведь не один раз проехать.
А назвали бы пока все своими именами, суперадаптивным круиз-контролем например, а не автопилотом, то и не надо было бы переживать.
Не прошло и недели с момента созджания института открытых AI как Маск уже объявил чужой более качественный AI небезопасным на скорости только на основе того, что его не тыща инженеров разрабатывает, не взирая на ожидающиеся результаты тестов.
Похоже мы знаем как именно будут вестись интеллектуальный войны ближайшие 20 лет.
Похоже мы знаем как именно будут вестись интеллектуальный войны ближайшие 20 лет.
Ализар бы хоть удосужился прочитать комментарии к прошлой статье, где много человек достаточно подробно обсуждают почему новость про машину пахнет обманом и разводкой.
Тут он переводит Теслу Моторс, которая заявляет что вся эта тема притянута за уши и вряд ли работоспособна.
И всё равно: «Наверное, такая чрезмерная реакция Tesla Motors раззадорит хакера. Geohot уже показал, что талант и увлечённость, помноженные на интеллект и знания, могут горы свернуть.»
Тут он переводит Теслу Моторс, которая заявляет что вся эта тема притянута за уши и вряд ли работоспособна.
И всё равно: «Наверное, такая чрезмерная реакция Tesla Motors раззадорит хакера. Geohot уже показал, что талант и увлечённость, помноженные на интеллект и знания, могут горы свернуть.»
В книжке Тома Митчелла про машинное обучение от 1997 года показывается эксперимент, где машина едет по шоссе, видя его как картинку 32 на 32 пикселя на скорости чуть ли не 90 миль в час (книги под рукой проверить нет) используя обычную нейронку с одним скрытым слоем.
С 1997 года много поменялось. Сверточными сетями нельзя уже удивить вообще никого, количество приемов для предобучения на неразмеченных данных огромно, видеокарты не стоят никаких денег, библиотек для глубокого обучения весь интернет, все материалы о последних прорывах свободно доступны на arXiv, читай, реализуй. Ездить по шоссе много ума не надо — сравните вашу концентрацию когда вы едете по шоссе и по городу. На шоссе даже с плохой разметкой большой проблемы у сверточной сети научиться не будет. Велосипедисты там справа не едут, пьяные бараны от бара на дорогу не прыгают. Главное машины рядом видеть да полосы (или какие-то другие ориентиры, раз он так гордится отсутствием разметки на дороге).
В городе намного сложнее ездить. Посмотрите на демки гугла — их машины поддерживает модель всех объектов вокруг, анализирует их действия. Там сверточные сети — это просто помощники чтобы достать какие-то данные об окружении, но далеко не вся модель.
Чувак конечно крутой, что нафигачил и собрал все это, и если бы я был теслой, я бы тоже ему дал огромный оффер. Но, имхо, его модели до Тесловской как до луны. Как, в принципе, и тесловской до гугловой.
С 1997 года много поменялось. Сверточными сетями нельзя уже удивить вообще никого, количество приемов для предобучения на неразмеченных данных огромно, видеокарты не стоят никаких денег, библиотек для глубокого обучения весь интернет, все материалы о последних прорывах свободно доступны на arXiv, читай, реализуй. Ездить по шоссе много ума не надо — сравните вашу концентрацию когда вы едете по шоссе и по городу. На шоссе даже с плохой разметкой большой проблемы у сверточной сети научиться не будет. Велосипедисты там справа не едут, пьяные бараны от бара на дорогу не прыгают. Главное машины рядом видеть да полосы (или какие-то другие ориентиры, раз он так гордится отсутствием разметки на дороге).
В городе намного сложнее ездить. Посмотрите на демки гугла — их машины поддерживает модель всех объектов вокруг, анализирует их действия. Там сверточные сети — это просто помощники чтобы достать какие-то данные об окружении, но далеко не вся модель.
Чувак конечно крутой, что нафигачил и собрал все это, и если бы я был теслой, я бы тоже ему дал огромный оффер. Но, имхо, его модели до Тесловской как до луны. Как, в принципе, и тесловской до гугловой.
Ездить по шоссе много ума не надо — сравните вашу концентрацию когда вы едете по шоссе и по городу. На шоссе даже с плохой разметкой большой проблемы у сверточной сети научиться не будет. Велосипедисты там справа не едут, пьяные бараны от бара на дорогу не прыгают. Главное машины рядом видеть да полосы (или какие-то другие ориентиры, раз он так гордится отсутствием разметки на дороге).
В таком случае дальнобойщиков бы уже заменили на автоматику :-)
Когда автоматика научится водить не только при отсутствии разметки, но и при отсутствии дороги, тогда да.
В развитых странах дальнобои циркулируют только по трассам, не съезжая с дороги.
Да? А склады и магазины тоже на трассах или все-же сьезжать надо для доставки?
Магазины и склады часто тоже находятся за городом. В сам город груз доставляют грузовики поменьше. А со съездом в карман для погрузки электроника должна справиться.
Так я про фуры и говорю, они обычно груз доставляют только между оптовыми точками, расположенными в пригородах. А уже от складов в город грузы доставляются небольшими фургонами.
Ну и да, при условии, что фуры уже сейчас могли бы полностью автономно циркулировать по трассам, то даже создание новой инфраструктуры для погрузки/разгрузки не съезжая с асфальта окупилось бы за счет увольнения водителей…
Ну и да, при условии, что фуры уже сейчас могли бы полностью автономно циркулировать по трассам, то даже создание новой инфраструктуры для погрузки/разгрузки не съезжая с асфальта окупилось бы за счет увольнения водителей…
> Велосипедисты там справа не едут
Едут. Редко, но едут и имеют право там ехать. И тем хуже, что редко, т.к. живой водитель имеет склонность переставать думать о тех участниках движения, которых он редко видит.
> пьяные бараны от бара на дорогу не прыгают
На М10 еще как прыгают! Для них даже специально разрывы в отбойниках сделаны.
Едут. Редко, но едут и имеют право там ехать. И тем хуже, что редко, т.к. живой водитель имеет склонность переставать думать о тех участниках движения, которых он редко видит.
> пьяные бараны от бара на дорогу не прыгают
На М10 еще как прыгают! Для них даже специально разрывы в отбойниках сделаны.
Макс поддался на провокацию, Geohot раскрыл предложение про которые обычно молчат.
Извините за дилетантский вопрос, но что будет, если машину у нас будет контролировать не одна, а три обучаемые нейронные сети, обученные на разных наборах данных, а следующее действие машины будет определятся как среднее арифметическое между командами двух сетей, которые выдали самый близкий друг к другу результат.
То есть, например, в сложившейся ситуации первая нейронная сеть выдаёт команду поворота на 20 градусов влево, вторая — на 22 градуса влево, а третья — 15 градусов вправо (ошибка вроде растения в горшке вместо кошки), результатом такого набора команд будет поворот на (20 + 22)/2=21 градус влево.
Таким образом нам удастся исключить негативные последствия от ошибки одной из сетей. Такая точность управления (с учётом очень низкой вероятности ошибки одновременно двух сетей) будет вполне достаточной для ежедневного использования.
То есть, например, в сложившейся ситуации первая нейронная сеть выдаёт команду поворота на 20 градусов влево, вторая — на 22 градуса влево, а третья — 15 градусов вправо (ошибка вроде растения в горшке вместо кошки), результатом такого набора команд будет поворот на (20 + 22)/2=21 градус влево.
Таким образом нам удастся исключить негативные последствия от ошибки одной из сетей. Такая точность управления (с учётом очень низкой вероятности ошибки одновременно двух сетей) будет вполне достаточной для ежедневного использования.
Две сети говорят, что надо объехать препятствие справа, а одна — что слева, в итоге они въезжают в него левым бортом. Несколько утрировано, но как-то так…
Нет, машина в данном случае объезжает препятствие справа, потому что мы выполняем только нечто среднее между командами тех двух сетей, которые говорят, что нужно объехать справа. То есть, мы для управления всегда используем только самые похожие команды двух сетей, а третью игнорируем. Таким образом, когда одна из сетей выдаёт ошибочную команду (как в Вашем примере), это никак не повлияет на движение машины. В том и смысл.
Если тренировочные данные одной природы — зачем тренировать каждую сеть только на части данных? А дальше встает вопрос в том какая модель лучше, иногда использование n разных моделей (в смысле моделей разной природы, а не двух идентичных натренированных на разных данных) и скармливания их выходов на n+1 модель имеет смысл, но обычно прирост качества, если он и есть — очень небольшой.
>зачем тренировать каждую сеть только на части данных
Ну, я предполагал, что две идентичные сети, натренированные на разных данных одной природы, будут совершать ошибки в разных местах. Разве не так?
>иногда использование n разных моделей и скармливания их выходов на n+1 модель
То есть, Вы имеете в виду использование данных, получаемых от n сетей, как входных данных для ещё одной сети?
Ну, я предполагал, что две идентичные сети, натренированные на разных данных одной природы, будут совершать ошибки в разных местах. Разве не так?
>иногда использование n разных моделей и скармливания их выходов на n+1 модель
То есть, Вы имеете в виду использование данных, получаемых от n сетей, как входных данных для ещё одной сети?
А одна сеть натренированная на всех данных в этом случае с гораздо большей вероятностью будет выдавать еще меньше ошибок.
Можно конечно представить и ситуацию когда две сети наученные на половине данных каждая будут давать среднее арифметическое лучше чем одна сеть (если выход — действительное число) наученная на всем, но я бы в таком случае подумал что что-то не так с выбором модели/параметров обучения, или если разделение данных не случайное — может надо просто добавить фичу по которой они делились, но в любом случае такой результат бы крайне насторожил если бы вообще возник.
То есть, Вы имеете в виду использование данных, получаемых от n сетей, как входных данных для ещё одной сети?Да, выход последней модели тоже должен обучаться, использование простого аггрегатора не оправдано (ну, есть конечно случаи когда можно и просто среднее взять, но это ближе к совпадениям), т.к. оно не учится предсказывать то что вы хотите. Как минимум учат линейную регрессию, или что посложнее, зависит от сложности/типа/количества входных моделей и много чего еще.
Можно конечно представить и ситуацию когда две сети наученные на половине данных каждая будут давать среднее арифметическое лучше чем одна сеть (если выход — действительное число) наученная на всем, но я бы в таком случае подумал что что-то не так с выбором модели/параметров обучения, или если разделение данных не случайное — может надо просто добавить фичу по которой они делились, но в любом случае такой результат бы крайне насторожил если бы вообще возник.
Подход опробованый в космосе, но я бы анализировал только причины и условия, имеющие результат — Да/Нет, а не среднюю температуру. Например: «нужно ли снизить скорость?»
Стекинг — довольно популярная техника для повышения качества алгоритмов машинного обучения, правда обычно берут не просто среднее со всех выходов, а строят регрессию. Но и тут проблемы не исчезают, а именно:
1) Проблема не 100% точности все равно остается
2) Пройти сертификацию по тойже MISRA будет еще сложнее, т.к. доказать безопасность этой системы станет еще сложнее.
1) Проблема не 100% точности все равно остается
2) Пройти сертификацию по тойже MISRA будет еще сложнее, т.к. доказать безопасность этой системы станет еще сложнее.
Будет как в «особом мнении»: когда-нибудь только одна сеть выдаст правильный результат, но её не послушают.
Допустим 1-я сеть решает, что нужно повернуть на 30 градусов влево, 2-я на 20 влево, а 3-я на 15 вправо. И решения всех 3 не приводят к аварии.
Но все 3 машины знают, что если повернуть на 25 градусов, то это приведет к аварии (не важно по какой причине). Ни одна из них не выбирает повернуть на 25 градусов, но если усреднить данные 1-й и 2-й сети и отбросить данные 3-й, то придется повернуть на 25 градусов.
Как быть в этом случае?
Но все 3 машины знают, что если повернуть на 25 градусов, то это приведет к аварии (не важно по какой причине). Ни одна из них не выбирает повернуть на 25 градусов, но если усреднить данные 1-й и 2-й сети и отбросить данные 3-й, то придется повернуть на 25 градусов.
Как быть в этом случае?
Например, все сравнивают вероятности. Скажем, 1-я сеть получает показания 2-й и 3-й и проверяет у себя, с какой вероятностью такие маневры удачны:
В1(её собственный) — 95%
В2 (2-й системы) — 80%
В3 (3-й системы) — 75%
То же самое делают вторая и третья:
В1 — 80%
В2 — 90%
В3 — 70%
В1 — 85%
В2 — 75%
В3 — 97%
Ну и считаем среднее. Получаем, что сворачивать надо налево.
В1(её собственный) — 95%
В2 (2-й системы) — 80%
В3 (3-й системы) — 75%
То же самое делают вторая и третья:
В1 — 80%
В2 — 90%
В3 — 70%
В1 — 85%
В2 — 75%
В3 — 97%
Ну и считаем среднее. Получаем, что сворачивать надо налево.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Официальный ответ Tesla Motors на статью о самодельном автопилоте Джорджа Хоца