Pull to refresh
7
0
Send message

О «раздутом пузыре» нейросетей

Level of difficulty Medium
Reading time 8 min
Views 99K

На днях я наткнулся на одно любопытное видео.

Моей первой реакцией было Братан, хорош, давай, давай, вперёд! Контент в кайф, можно ещё? Вообще красавчик! Можно вот этого вот почаще? отрицание и усталость, потому что всё это я уже слышу на протяжении лет пяти с разной интенсивностью в зависимости от текущих объектов хайпа. В этом посте я попытаюсь разобраться, что из сказанного в видео является правдой.

Утверждения:

1. Закон Мура больше не выполняется из-за фундаментальных физических ограничений ⇒ масштабирование нейросетевых моделей по вычислительному бюджету невозможно.

2. Нейросетевые модели внедряются слишком медленно.

3. Ответы нейросетевых моделей неконтролируемы и неинтерпретируемы.

Дальше обсудим каждое из них.

Читать далее
Total votes 140: ↑136 and ↓4 +132
Comments 171

Практический Metric learning

Reading time 8 min
Views 13K

В этом посте мы поговорим о задаче metric learning, подходах к её решению, и разберём их на практике, используя open-source проект OpenMetricLearning. В качестве бонуса покажем, как с помощью простых эвристик можно догнать текущие SotA модели.

Читать далее
Total votes 18: ↑18 and ↓0 +18
Comments 4

Что я бы хотел знать про ML System Design раньше

Reading time 6 min
Views 16K

Около года назад я начал проходить собеседования в разные компании на позицию Machine Learning Engineer. Одним из этапов в каждой компании было проектирование ML системы. В данной статье я делюсь опытом и ресурсами, которые помогли мне пройти собеседования. В том числе в команду MLE Ленты, в которой сейчас тружусь.

Читать далее
Total votes 10: ↑10 and ↓0 +10
Comments 8

Y-хромосома в людях медленно исчезает. Что это значит для будущего мужчин?

Reading time 6 min
Views 63K


Пол человека и других млекопитающих, как все мы знаем из школы, определяется геном, содержащимся в Y-хромосоме. Наличие этой хромосомы (и располагающегося в ней гена SRY) делает эмбрион мужчиной, и запускает развитие в нём всех необходимых мужских «аксессуаров». Если же Y-хромосомы нет, то есть человек обладает генотипом XX, то он биологически женщина.


Проблема в том, что человеческая Y-хромосома вырождается и, скорее всего, исчезнет через несколько миллионов лет. Это или приведет к нашему вымиранию (если мы не разовьем новый половой ген), или заставит, скажем так, очень сильно понервничать любителей традиционных ценностей.


Хорошая новость заключается в том, что две ветви грызунов, не так далеко отстоящих от нас, уже потеряли свою Y-хромосому. И вполне благополучно дожили до того, чтобы рассказать нам об этом. Поэтому, возможно, мы сумеем взять пример с них.

Читать дальше →
Total votes 112: ↑96 and ↓16 +80
Comments 201

#4 Нейронные сети для начинающих. Sudoku Solver. Судоку. Часть 1

Reading time 11 min
Views 12K

Предыстория: одним зимним вечером, а скорее ночью, мне пришла в голову интересная идея. Почему бы не попробовать автоматизировать с помощью компьютерного зрения решение одной классической головоломки с числами, а если быть точнее — судоку. Дело в том, что мой дедушка — большой любитель разных кроссвордов, судоку и т. д. Зная это, я подумал, что было бы неплохо попробовать как-нибудь автоматизировать эту задачу. Конечно, до задачи автоматизации решения кроссвордов мне ещё далеко, но вот с задачей решения судоку, у которого есть чёткий алгоритм, можно поэкспериментировать.

Спойлер: я столкнулся с парой проблем как в своём понимании этой игры, так и в понимании меня компьютером (тут должно было быть смешно), но всё получилось. С результатом моего труда я вам и предлагаю ознакомиться!
Читать дальше →
Total votes 41: ↑41 and ↓0 +41
Comments 12

Величайшие программисты 21 века. Джон-Движок Кармак

Level of difficulty Easy
Reading time 9 min
Views 46K

Джон Кармак вместе с тёзкой Джоном Ромеро стали родоначальниками игрового жанра FPS. На слабеньких 486SX, без видеокарт (!) они выдали настоящий 3D-шутер без лагов с эффектом присутствия, что стало бомбой для 1993 года — в эпоху пошаговых стратегий и отсутствия скроллинга. Казалось, тут вмешалась чёрная магия…

В принципе, примерно так и есть. В разработке Wolfenstein 3D, Doom и движка Quake Джон Кармак действительно использовал кучу нестандартных приёмов вроде конверсии указателей или выхода за границы объектов, чтобы в циклах получать доступ к другому объекту, который гарантированно идёт следом.

Уровень программирования Doom и Quake до сих пор считается непревзойдённым образцом хакерских оптимизаций, а сам Джон Кармак — эталон сверхэффективного разработчика. Благодаря высочайшему качеству программирования Doom стал феноменом, который изменил мир.
Читать дальше →
Total votes 121: ↑117 and ↓4 +113
Comments 63

Как оптимизировать работу Stable Diffusion при помощи текстовой инверсии

Reading time 7 min
Views 9.5K
Изображение, сгенерированное AI по промпту «photograph of a robot drawing in the wild, nature, jungle» («фотография робота, рисующего в природе, джунглях»)

22 августа 2022 года Stability.AI объявила о публичном релизе Stable Diffusion — мощной диффузионной модели text-to-image. Модель способна генерировать различные варианты изображений на основании текстового или графического ввода.

Стоит заметить, что «модель выпущена под лицензией Creative ML OpenRAIL-M. Лицензия допускает коммерческое и некоммерческое использование. Ответственность за этическое использование модели лежит на разработчиках. Это относится и к производным от неё моделям».

В этой статье я расскажу, как точно настраивать эмбеддинги для создания персонализированных изображений на основании произвольных стилей или объектов. Вместо переучивания модели мы можем представить собственный стиль в виде новых слов в пространстве эмбеддингов модели. В результате этого новое слово будет руководить созданием новых изображений интуитивно понятным образом.
Читать дальше →
Total votes 31: ↑30 and ↓1 +29
Comments 1

Графы в Python: введение и знакомство с лучшими библиотеками

Reading time 11 min
Views 37K

Граф – это математическая структура данных, представляющая собой множество связанных элементов. Поскольку графы, по своей сути, являются очень гибкими и позволяют сохранять информацию в знакомой и удобной для восприятия форме, они всегда активно использовались в компьютерной науке и сфере технологий. С появлением же машинного и глубокого обучения, графы обрели ещё бо́льшую популярность, создав новое направление — машинное обучение на графах.

В этой статье я расскажу вам о наиболее полезных библиотеках Python, которые использовал для сетевого/графового анализа, визуализации и машинного обучения. Если говорить конкретнее, то это будут:

  • NetworkX для общего анализа графов;
  • PyVis для интерактивной визуализации графов прямо в браузере;
  • PyG и DGL для решения различных задач в области машинного обучения на графах.
Читать дальше →
Total votes 38: ↑36 and ↓2 +34
Comments 0

Julia и квантовые вычисления

Reading time 11 min
Views 5.6K


Мы представляем Yao (статья), пакет с открытым исходным кодом Julia для решения практических задач в исследованиях квантовых вычислений. Имя Yao происходит от первого китайского иероглифа, означающего унитарность (幺正).

Читать дальше →
Total votes 7: ↑7 and ↓0 +7
Comments 3

Определение места и роли человека как вида: влияние эволюции видов вычислительных систем

Reading time 8 min
Views 1.5K

На переходном, происходящим в настоящем, этапе эволюции в среду и процессы которого погружён человек, ключевыми объектами, определяющими вектор уклада данного этапа, а равно каждого последующего, выступают технологии. Перспективные технологии, формируют собой последовательный вектор развития, выраженный в массиве объектов: a. автоматизация и «углубленная» автоматизация; b. автономные системы; c. «интеллектуальные» системы; d. биосистемы; e. K-системы, включая kfs системы как производные.

Переходный этап эволюции является определяющим наиболее сложным в становлении порядка процессов, архитектуры систем, направляющего вектора развития экосистемы и человека как вида. Паритет постижения, имеет не большой, но сутевой перевес, скрытый тайной стороной возможностей, существующих технологий над научным умом. Процесс познания технологий на данном этапе не просто выявляет, а устанавливает набор проблем, определяющих собой местo человека как вида в дальнейшей экосистеме.

Концептуальной (прим.: выражающий собой фрейм проблематики) и наиболее сложной (прим.: краеугольной) представляется проблема осознания места и задач человека как вида в современном и последующем укладе экосистемы. Данный концепт наглядно выражен через проходящую эволюцию видов программно вычислительных систем от автоматических к автономным системaм с самоорганизующимися (прим.: «интеллектуальными») алгоритмами.

Правильное понимание и решение данной проблематики, требует ввести понятия о видах вычислительных систем, входящих в совокупный объект настоящего исследования.

Читать далее
Total votes 3: ↑2 and ↓1 +1
Comments 24

Что делать, когда выпускник топ-10 мирового вуза не может спроектировать блок сложения A+B

Reading time 5 min
Views 120K

У меня был в свое время практикант из Стенфорда, от которого я получил инсайдерскую информацию, чему их там учат. Потом я интервьировал много студентов, и понял, что если человек не делает самостоятельных проектов в вузе, а просто плывет по течению программы как медуза, то будучи выброшенным на берег индустрии, он становится совершенно беспомощным.

Когда я вижу у недавнего выпускника в резюме какой-то из протоколов в котором используется valid/ready, например AXI или AHB, я прошу его спроектировать блок, у которого на входе два числа A и B, а на выходе их сумма. Разумеется не просто написать SUM=A+B, а еще и поставить valid/ready сигналы на каждый из A, B, SUM, чтобы A и B могли приходить в разное время, а также чтобы блок ждал, если SUM не может быть передана другому блоку сразу.

Некоторые не справляются. Грустно смотреть на человека, который потратил 6 лет своей жизни (4 года в бакалавриате и 2 года в магистратуре) и океан денег на образование - и не может сложить два числа и бьется как угорь на сковородке. То блок не работает когда числа приходят в разное время, то создатель забывает снять valid, и блок на 2+2 выдает не 4, а 4-4-4-4-4-4-4... То числа складываются не попарно, а просто записываются в регистры и на выход идет их текущая сумма, хотя количество аргументов A и B не совпадает. То не отрабатывается backpressure и результаты теряются, то (после того как кандидат написал страницу кода на верилоге) блок работает на половинной производительности, то есть не может принимать поток чисел подряд, а ожидает между ними пропуски (gaps). Короче ведет себя как ChatGPT.

Как же прокачаться чтобы такого не было?
Total votes 135: ↑123 and ↓12 +111
Comments 222

Чему HR-ам стоит поучиться у PornHub и голливудских продюсеров

Reading time 4 min
Views 9.3K
image


Начал я тут разбираться с ТРИЗ и поспорил с приятелем, что некоторые (устаревшие) лайвхаки изобретательства из индустриальной эпохи отлично ложатся на текущие реалии. Выбрали область HR и приём ТРИЗ №13: принцип «Наоборот».

Мир найма ИТишников сходит с ума. С одной стороны ИТишники выпендриваются, с другой HR-ы пьют их кровушку литрами. То разработчики Амазон недовольны базовой компенсацией в 1 млн руб в мес и им поднимают ее до 2 млн руб/мес, то происходят увольнения тысяч сотрудников одним голосовым сообщением. Кто-то ухитряется покупать программистов по $50/час и перепродавать по $500/час. HR-ы не понимают разницу между Java и Java Script и затаскивают кандидата по глупым анкетам и тестовым задания. Мидлы получают по 30 предложений в неделю, а HR-у, чтобы нанять мидла, надо совершить 700 контактов.

ИТишникам уже платят просто за собеседование и дают 13-ю зарплату после подписания трудового договора, дают отпуск по уходу за домашними животными. А пики увольнений и «великие исходы» следуют волна за волной.

Допустим есть у нас перспективный Java разработчик, ему в LinkedIn в неделю приходит 20-30 новых сообщений от HR-ов. Как ему не потонуть в этом шквале приглашений на интервью и тестовых заданий, причем еще некоторые входящие даже не персонализированы?

Странно, что еще никто не додумался сделать удобную CRM, которая бы помогала именно ИТишнику справляться с наплывом информации и помогать не пропустить важное предложение.

И тут рождается идея (в духе ТРИЗ): перевернуть найм с ног на голову и дать разработчикам возможность самим управлять процессом трудоустройства. А что если не ИТишник должен заполнять анкеты и проходить интервью, а HR-ы?

Вот как это могло бы быть.
Читать дальше →
Total votes 36: ↑26 and ↓10 +16
Comments 28

Коварные перцентильные фильтры

Reading time 7 min
Views 2.2K

В жизни каждого A/B-эксперимента наступает момент, когда пора проанализировать его результаты и понять, а не зря ли мы пилили все эти фичи. 

Всем привет! Меня зовут Костя Житков, я — аналитик в команде Поиска рекомендаций hh.ru. В этой статье я расскажу о том, как мы чуть не увязли в самообмане во время анализа одного из наших A/B-экспериментов.

Читать далее
Total votes 14: ↑14 and ↓0 +14
Comments 1

Умный поиск: как искусственный интеллект hh.ru подбирает вакансии к резюме

Reading time 8 min
Views 37K
Больше половины соискателей ничего не ищут, а создают резюме и просто ждут, когда их пригласят на собеседование или хотя бы пришлют подходящую вакансию. Когда мы думали, как для них должен выглядеть сайт по поиску работы, то поняли, что им нужна всего одна кнопка.



Делать такую систему мы начали полтора года назад — решили построить на машинном обучении алгоритм, который сам выбирал бы подходящие пользователю вакансии. Но мы очень быстро поняли: вакансии, похожие на резюме, и вакансии, на которые владельцу резюме хочется откликнуться, — далеко не одно и то же.
Читать дальше →
Total votes 21: ↑21 and ↓0 +21
Comments 21

Книга «За пределами разума: что мы думаем и как мы к этому пришли»

Reading time 19 min
Views 5.6K
image Привет, Хабр! Сдали в типографию новую книгу «За пределами разума: что мы думаем и как мы к этому пришли».

Историей человечества движет воображение — удивительная способность представлять то, чего нет. Опираясь на данные из различных областей политики, религии, культуры, философии и истории, Фелипе Фернандес-Арместо рассказывает об увлекательных и пугающих случаях полета человеческой фантазии от первобытных времен до наших дней. Принципиально новое понимание когнитивной науки позволяет автору изучить пути и способы возникновения новых идей и выстроить увлекательные предположения о том, кем мы являемся и чего еще мы сможем достичь. При помощи исторических свидетельств Фернандес-Арместо воссоздает мысли наших предков со времен палеолита, раскрывая тонкость и глубину мышления людей. Это настоящая ода человеческому воображению, созданная утонченным мыслителем, позволяет увидеть, что плохие идеи зачастую оказываются более влиятельными, чем хорошие, что самые древние из доступных нам идей являются одними из лучших и что идеи Западного мира часто были следствием взаимодействия с другими частями света.
Читать дальше →
Total votes 4: ↑3 and ↓1 +2
Comments 8

Что делать с дрейфом данных и концепций в продакшен-системах машинного обучения

Reading time 6 min
Views 3.2K


Когда вы запускаете ML-систему в продакшен-среде, все только начинается. С системой могут возникнуть проблемы, и вам придется с ними разбираться. 
Команда VK Cloud Solutions перевела статью о том, что делать с дрейфом данных и концепций: откуда берутся проблемы, как их распознать и предотвратить.
Читать дальше →
Total votes 21: ↑21 and ↓0 +21
Comments 0

Теория чисел. Новый метод анализа распределения чисел, в том числе и простых

Reading time 6 min
Views 17K

В статье рассказывается о новом подходе к анализу распределения простых чисел.
О подходе с использованием формулы распределения чисел для всего натурального ряда.

Читать далее
Total votes 45: ↑41 and ↓4 +37
Comments 15

Ложная философия Матрицы

Reading time 7 min
Views 58K

▍ Матрица и девяностые


90-е годы прошлого века, в культурном плане — стали подходящим завершением для всего столетия. Авторы говорили на темы технологического будущего более уверенно, превознося или ругая прогресс, идя нога в ногу с научным позитивизмом или же отрицая технологии, пускались в метафизические и эзотерические учения. Если присмотреться, то многие произведения той эпохи имеют мрачный, грязный тон. В музыке — Massive Attack и Nirvana пели о зависимостях и трудности жизни в бедности, в книгах Чак Паланник и Девид Фостер Уоллес — писали о потере личности в мире, состоящем из рекламы и развлечений. А в кинематографе доминировали мрачные боевики и фильмы ужасов, для которых тема технологий стала основной.
Читать дальше →
Total votes 136: ↑121 and ↓15 +106
Comments 151

В какой вычислительной вселенной мы живем?

Reading time 6 min
Views 4.5K

Криптографы хотят знать, в каком из пяти возможных миров мы живем, что покажет, возможна ли вообще по-настоящему безопасная криптография.

Читать далее
Total votes 22: ↑20 and ↓2 +18
Comments 16

Как создать привлекающие внимание изображения если вы не дизайнер

Reading time 6 min
Views 28K
image

Прочитав эту статью, вы больше не когда не сможете запостить на Хабре статью с унылой картинкой.
Основные законы дизайна и простые инструменты ним, под катом.
Читать дальше →
Total votes 21: ↑16 and ↓5 +11
Comments 16

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Registered
Activity