Comments 15
Читабельно. Спасибо.
Ведь усложнить — можно всегда, а в конце пути может быть мучительно больно от несбыточных ожиданий и потраченных ресурсов.
Задача выполнена? Выполнена. Бюджет освоен? Освоен. Зарплаты выплачены? Выплачены. И кому тут мучительно больно кроме голодных студентов?
Не соглашусь, потому что мотивация "выполнено-освоено" она, возможно, более присуща менеджменту (и чем выше менеджмент, тем вероятнее там такое мышление, но все тоже далеко не черно-белое), а вот у сильных технарей мотивация работает уже по другому - вопросы просто получения немаленькой зарплаты уже давно решены и вот так это уже не работает, иначе из всех утюгов не трубилось бы о "выгорании".
Потому что все выгорающие зарплату, скорее всего, получали, зарплата по общим меркам была немаленькая, да и задачи решали и бюджет осваивали, однако ж проблема есть. Потому что она гораздо сложнее той конструкции, что вы сейчас описали.
Отнюдь. В мире нейросетей деньги платят за модели (читай KPI), а не за качественные исследования. Сделал 2 модели за год - получи зарплату за год, не сделал - получи оклад учёного 120 000 в год.
В мире нейросетей все очень по разному, и он точно не черно-белый, как и мотивация инженеров сводится не только к "за деньги - да". Я лично знаю людей, которых неплохо повышали за именно качественные исследования, без каких-либо kpi. И знаю обратные ситуации, например, когда сотрудников (или студентов физтеха) скупали оптом, просто потому что "они умные и пусть лучше работают у нас", после чего за ними вообще пропадает какой-то контроль, потому что этот контроль падал на других людей, у которых хватало своих корпоративных забот.
Ассоциация с дженгой понравилась. С деривативами тоже хорошо. Я бы ещё добавил ассоциацию с птолемеевским добавлением эпициклов, потому что часто задачи начинают не лучше или иначе анализировать, а просто отдавать всё более монструозным нейронкам. Хотя городить очень большие архитектуры тоже непросто, да и с эпициклами для орбит планет вряд ли было просто.
Для тех, кто освоил регулярные выражения, деривативы это так себе, простенькая задачка.
Даже такая, как открытая позиция по опциону Call. ))
Мне кажется, регулярку, с количеством элементов/групп больше восьми, понимает не сильно больше людей, чем деривативы. Конечно, наличие сайтов, позволяющих тестировать регулярки, сильно помогает, но в сложных или граничных случаях (особенно, если прям строго одну регулярку надо использовать), иногда тааак нужно вывернуть мозг, что на следующей неделе снова надо полдня разбираться, зачем регулярка написана так, а не иначе, если комментария изначально не было.
Так это особенность устройства мозга человека, не удерживать одновременно много сущностей одновременно. Для этого и есть всякие анализаторы и автоматические расписыватели регулярок. А дело создателя — собрать правильные и хорошо работающие вместе условия и перевести их на язык регэкспов единожды. А потом забыть, ибо работает.
Когда-то я для интереса писал свой регэксп на корректный е-мэйл адрес.
Сначала посмотрел готовое решение. Там страница символов. Я уложился в полторы сотни. Просто адекватно поставив задачу и зная, что ошибок этот регэксп допустит сильно меньше, чем люди, опечатывающиеся в своих адресах.
Написал и забыл. Для больших регэкспов, которые нужно перестраивать, всё то же что и для электроники: написал блоки, задокументировал, интегрировал блоки. Отметил какой за каким и с какого символа (сам символ и индекс) начинается. При надобности разобрать легко. Всегда нужна соразмерность задаче. Будет выгода от документирования — ну давай, пиши.
>Трансформеры, GANы, тензоры, перцептроны, все очень сложно, круто, математично.
Это все математика уровня лабороторок второго, максимум третьего курса матфака,. О какой сложности речь? В околонейросетевом мле математика закончилась лет 30 назад, с тех пор найти какойто околоматематический пейпер по данной теме - это как искать иголку в стогу сена.
Собственно, именно отсутствие математики как раз и является причиной того что прогресс в этой области пости полностью остановился те же несколько десятилетий назад.
Прогресс в ML остановился несколько десятилетий назад.
Ога - с интересом наблюдаем остановку, которая весь мир захватила.
Особенно интересен AI который так остановился что вообще почти не двигается!
Ну так это не прогресс в аи, это прогресс в железе и объеме доступных обучающих выборок. А так то трансформеры это регресс так как они существенно более примитивны и менее выразительны чем те же банальные лстм сети)
То есть, условно - человек сделал первый каменный молоток, но головка на нем держится хреново, как сделать чтобы держалась хорошо - придумать не получилось, поэтому молоток он выкинул и вместо него просто выломал себе дубину побольше)
Ну и тут еще дело субъективного восприятия. Когда элиза в 70х вышла - то ее многие воспринимали как "почти аги", прошло некоторое время - и все, тупой кремниевый болван. Та же участь постигнет и современные ллм, а потом и то что придет за ними. Здесь тот же эфект как с графонием в кино или играх - на момент выхода вау-эффект, воспринимается как прорыв и фотографический реализм. А потом проходит 10 лет, смотришь и думаешь - ну что за вырвиглаз?
Статья интересная, но автор, за что ты насилуешь глаза плохими нейрокартинками? Это прям портит впечатление сильно.
Ну хотя бы по 500 генераций на каждый промпт сделал. Чё так проклято-то?
Уродливая математика в машинном обучении или чему нам стоит поучиться у деривативов?