Вот собрали вы сырые данные из источников (RDBMS, Files, Object Storage, Message Queues), дальше у вас ETL (Spark, Airflow) и аналитика (Superset). Получается вы на лету все отчеты строите? Или все же есть persistence для обработанных данных?
Хотя внизу в слое Storage & Compute вижу S3. Получается вы в S3 все результаты ETL выгружаете? Или не все?
И еще: в слое Compute рядом со Spark есть Any compute engine. Any - это как?
Это, наверное, какое-то исследовательское учреждение (университет, или условный Max Planck Institute)? Классная работа, есть к чему стремиться, но для большинства "желающих войти" (без профильного образования, по физике в данном случае, и хотя бы минимального опыта практической работы, давшего на выход пару-тройку публикаций как минимум) это темный непонятный лес. А шансы "войти" не микроскопические, а просто нулевые. Один из тех самых corner cases.
А с другой стороны, при наличии фундаментального образования по физике, и практического опыта работы с какими-либо числодробилками, пути открыты много куда: от алгоритмической торговли до тех же AI tools. Но опять - к большинству желающих получить работу начального уровня в ИТ это не относится никак.
Статистика по языкам программирования - она ни о чем. Точнее она о том, почему у подавляющего числа желающих вайти нет и не будет такого шанса. Потому что рынок труда сегодняшний он не про языки программирования как таковые, он про задачи, которые надо на рабочем месте решать, и о том, что знает и понимает соискатель про эти задачи и способы их решения.
Умение делать то, о чём договорились, осознавая всю ущербность договоренного в сравнении с тем, что «можно было бы, если бы», — это главное
Все подобного рода советы сводятся к тому что можно сделать ИЛИ в срок, ИЛИ хорошо. Возможность сделать И в срок И хорошо даже не рассматривается. Хотя она по смыслу является (должна являться) вариантом по умолчанию.
Вы результаты моделирования валидировали как-то? Обычно (выборочно) сравнивают с экспериментальными данными (там где они есть), и/или с результатами от альтернативных моделей.
Ионы удерживаются внутри вакуумной камеры при помощи ловушки -- специальной системы электродов. Она по сути создает для них большую трехмерную потенциальную яму (да, теорема Ирншоу говорит, что статическими полями так сделать нельзя, поэтому там используется комбинация электростатического и радиочастотного полей)
Лазерные же ловушки вроде:
Их удерживают лазерами и охлаждают почти до абсолютного нуля. Кубитами управляют с помощью лазерных импульсов
Семь индийских инженеров потратили 200 миллионов рупий на строительство автомобильного моста (путепровода) и сделали в проекте поворот на 90°. Архитекторы отстранены от работ, в том числе два главных инженера.
Seven engineers including two chief engineers were suspended with immediate effect while a departmental inquiry will be conducted against a retired superintendent engineer
Семь инженеров, включаю двух главных, были немедленно отстранены, в то же время будет проведено официальное расследование против отставного производителя работ
Что взялись за отставного прораба, а действующих "инженеров" просто отстранили - действительно странно
Кстати там еще компанию-подрядчика и архитектурное бюро "дисквалифицировали":
The construction agency and design consultant have been blacklisted
Ни один из разработчиков LLM не работает на "контракте" с кем бы то ни было.
OpenAI, Anthropic, MistralAI и им подобные - это непубличные компании, привлекающие финансирование по закрытой подписке путем размещения облигаций (debt) и/или акций (equity). При этом никто и ни с кем никаких "контрактов" не подписывает, ни со "сроками", ни с "рыночной стоимостью", ни с "характеристиками модели". Компания напрямую или через андеррайтеров доводит до сведения потенциальных покупателей на что она собирается собираемые деньги потратить и сколько и на чем денег в перспективе заработать. Это те самые обещания поднять выручку по сравнению с текущей в N раз потому что "AI всех заменит к осени", "ИИ всех заменит к следующему году", "AGI заменит вообще всех вчера", и т.д. Дальше дело покупателей - поверить (сделать вид что поверили) в это вот все и дать денег, или не давать.
Внутренние подразделения многопрофильных крупных корпораций (Gemini от Google как пример). Они получают финансирование в рамках бюджета корпорации. Цели, сроки, ресурсы определяет руководство корпорации, дело исполнителей - взять под козырек и исполнять, или свалить, если не согласен. Тоже никаких "контрактов".
Поэтому предлагаемая схема с "контрактом" на разработку LLM максимально умозрительная, никакого отношения к реальному миру LLM не имеющая. Мы же здесь обсуждаем реальные модели, разработанные и продаваемые (или бесплатно распространяемые) реальными компаниями. Так ведь?
А так можем поговорить, к примеру, про "контракт" на разработку вечного двигателя, со сроками, стоимостью и характеристиками. Вопрос только зачем?
Какая-то максимально умозрительная постановка задачи. Все равно что приходит кто-то к кому-то и говорит "хочешь жить вечно, не стареть и не болеть?" Ну вряд ли кто откажется, правда?
А по поводу "инвестора с контрактом" - в контракте что будет написано про сроки и объем финансирования? За выручку от продаж и окупаемость еще одной LLM отвечать кто будет - инвестор или исполнитель? Или кто? Потому что если дам денег сколько надо и разрабатывайте так долго как хотите - это не контракт, это сказка какая-то
Nothing is evil in the beginning. Even Sauron was not so
Тот же OpenAI изначально создавался вполне приличными (если исключить Сэма) людьми с вполне благородными целями - польза для всего человечества, технический прогресс, вот это вот все. Но это было давно, и потому неправда.
На сегодняшний день любое предприятие по производству LLM - это часть финансовой пирамиды, заведомо и глубоко убыточное дело, выживающее лишь путем привлечения новых инвестиций под песню "скоро (в это году, этой осенью, но если нет то точно в следующем году, не позднее 2030, ...) AI заменит всех". Подробности можно найти, к примеру, в блоге у Эдика (тут, к примеру, апрельский подсчет, можно и нужно посмотреть и более ранние).
Она про то, что LLM не думают (глагол think). Поэтому, очевидно, интеллектом не являются. И поэтому разговоры про AI, AGI и пр. применительно к LLM смысла не имеют. Я об этом, собственнно.
А то что LLM можно рассматривать как новый класс систем текстового поиска - так и с этим не спорит вроде никто. Эффективность такого подхода к поиску обсуждается (те же "галлюцинации"). Для тех кто думать не хочет и торопится это идеальное на вид решение, один вопрос - один ответ. Для тех кто привык сопоставлять и анализировать - традиционные поисковики (если предположить, что можно их выхлоп как-то освободить от рекламы) подходят больше.
Противопоставлять эти два подхода друг другу бессмысленно. Все равно что утверждать все разработчики ПО должны быть уровня senior. Ерунда ведь? Вдумчивая ответственная работа - для тех кто хочет разбираться и искать наилучшие решения. Массовая низкоквалифицированная работа - для LLM-monkeys (в предположении, конечно, что кто-то и далее будет оплачивать этот недешевый и заведомо убыточный банкет). Каждому свое.
Статья от Apple не о том, кто на сколько вопросов умеет отвечать. Она о том, что люди умеют обучаться и думать, а LLM умеют только искать подсказки.
Пример с "ханойскими башнями" - человек, который решил эту задачу для 2, 3, 4, ладно, 5 дисков, сможет выработать алгоритм (математическую индукцию), как решить задачу для N+1 дисков, если для N дисков она уже решена.
А LLM, даже "думающие", в математическую индукцию не умеют. Что, собственно, исследование и показало, на примере головоломок.
Например ллм ответит правильно на 80%, а вы на 50%, сделает ли это вас недо-попугаем?
Это сделает LLM продвинутым попугаем. Но не более того.
Еще раз - интеллект состоит не в том чтобы запомнить 100500 ответов на 100500 вопросов. А в том чтобы решив одну-две-три похожих задачи выработать алгоритм решения такого сходного типа задач.
Интеллект человека состоит, помимо всего прочего, в том, чтобы когда надо вместо решения нерешаемой задачи показать/доказать ее нерешаемость. А ведру с параметрами все равно - сказали River Crossing с N=20 решать, будем решать и электричество жрать попусту.
Все что пп. 4-7 является следствием пп.1-3. Мощно ребята исследовали.
Кстати зеленый змий никак не участвует. Он получается вообще ни на что не влияет? )))
Вот собрали вы сырые данные из источников (RDBMS, Files, Object Storage, Message Queues), дальше у вас ETL (Spark, Airflow) и аналитика (Superset). Получается вы на лету все отчеты строите? Или все же есть persistence для обработанных данных?
Хотя внизу в слое Storage & Compute вижу S3. Получается вы в S3 все результаты ETL выгружаете? Или не все?
И еще: в слое Compute рядом со Spark есть Any compute engine. Any - это как?
Это, наверное, какое-то исследовательское учреждение (университет, или условный Max Planck Institute)? Классная работа, есть к чему стремиться, но для большинства "желающих войти" (без профильного образования, по физике в данном случае, и хотя бы минимального опыта практической работы, давшего на выход пару-тройку публикаций как минимум) это темный непонятный лес. А шансы "войти" не микроскопические, а просто нулевые. Один из тех самых corner cases.
А с другой стороны, при наличии фундаментального образования по физике, и практического опыта работы с какими-либо числодробилками, пути открыты много куда: от алгоритмической торговли до тех же AI tools. Но опять - к большинству желающих получить работу начального уровня в ИТ это не относится никак.
Это о чем? Backend (Spring, Hibernate, что там сейчас остромодное)? Android? Автоматизация тестирование (Selenium тот же, и иже с ним)?
Опять же - какой именно? Чистый web-backend? ML-ops? DevOps? Data Engineering? Анализ данных? Та же автоматизация тестирования?
Встроенное программирование? Desktop (Qt)? Компьютерное зрение? ML/AI tools? Разработка игр? Алгоритмическая торговля? Робототехника? Арбитраж рекламы? Betting?
Статистика по языкам программирования - она ни о чем. Точнее она о том, почему у подавляющего числа желающих вайти нет и не будет такого шанса. Потому что рынок труда сегодняшний он не про языки программирования как таковые, он про задачи, которые надо на рабочем месте решать, и о том, что знает и понимает соискатель про эти задачи и способы их решения.
Ну так это junior. Да еще frontend.
То есть ровно то куда 99% вайтишников ломятся
У каждого свой опыт
Все подобного рода советы сводятся к тому что можно сделать ИЛИ в срок, ИЛИ хорошо. Возможность сделать И в срок И хорошо даже не рассматривается. Хотя она по смыслу является (должна являться) вариантом по умолчанию.
Вы результаты моделирования валидировали как-то? Обычно (выборочно) сравнивают с экспериментальными данными (там где они есть), и/или с результатами от альтернативных моделей.
Дорогу осилит идущий. Конечно это пока не работающий механизм, и даже не прототип.
Но окружающую среду он точно греет не сильнее чем какой-нибудь ЦОД, очередную "модель с агентами" гоняющий
Лазерные же ловушки вроде:
Не?
Переводила LLM.
Вот оригинал:
Что взялись за отставного прораба, а действующих "инженеров" просто отстранили - действительно странно
Кстати там еще компанию-подрядчика и архитектурное бюро "дисквалифицировали":
Один из авторов патента много лет работает в области электроники, в том числе (с 2007 как минимум) и над фото-детекторами
Вот такие странные вещи происходят между небом и землей (c)
Elizabeth Holmes (Theranos) и Sam Bankman-Fried (FTX), а также их многочисленные инвесторы не дадут соврать. Не говоря уже про инвесторов в dotcom bubble.
Ни один из разработчиков LLM не работает на "контракте" с кем бы то ни было.
OpenAI, Anthropic, MistralAI и им подобные - это непубличные компании, привлекающие финансирование по закрытой подписке путем размещения облигаций (debt) и/или акций (equity). При этом никто и ни с кем никаких "контрактов" не подписывает, ни со "сроками", ни с "рыночной стоимостью", ни с "характеристиками модели". Компания напрямую или через андеррайтеров доводит до сведения потенциальных покупателей на что она собирается собираемые деньги потратить и сколько и на чем денег в перспективе заработать. Это те самые обещания поднять выручку по сравнению с текущей в N раз потому что "AI всех заменит к осени", "ИИ всех заменит к следующему году", "AGI заменит вообще всех вчера", и т.д. Дальше дело покупателей - поверить (сделать вид что поверили) в это вот все и дать денег, или не давать.
Внутренние подразделения многопрофильных крупных корпораций (Gemini от Google как пример). Они получают финансирование в рамках бюджета корпорации. Цели, сроки, ресурсы определяет руководство корпорации, дело исполнителей - взять под козырек и исполнять, или свалить, если не согласен. Тоже никаких "контрактов".
Поэтому предлагаемая схема с "контрактом" на разработку LLM максимально умозрительная, никакого отношения к реальному миру LLM не имеющая. Мы же здесь обсуждаем реальные модели, разработанные и продаваемые (или бесплатно распространяемые) реальными компаниями. Так ведь?
А так можем поговорить, к примеру, про "контракт" на разработку вечного двигателя, со сроками, стоимостью и характеристиками. Вопрос только зачем?
Какая-то максимально умозрительная постановка задачи. Все равно что приходит кто-то к кому-то и говорит "хочешь жить вечно, не стареть и не болеть?" Ну вряд ли кто откажется, правда?
А по поводу "инвестора с контрактом" - в контракте что будет написано про сроки и объем финансирования? За выручку от продаж и окупаемость еще одной LLM отвечать кто будет - инвестор или исполнитель? Или кто? Потому что если дам денег сколько надо и разрабатывайте так долго как хотите - это не контракт, это сказка какая-то
Бессмертный труд, реально. Нестареющая классика.
Спасибо, добрый человек ))
Nothing is evil in the beginning. Even Sauron was not so
Тот же OpenAI изначально создавался вполне приличными (если исключить Сэма) людьми с вполне благородными целями - польза для всего человечества, технический прогресс, вот это вот все. Но это было давно, и потому неправда.
На сегодняшний день любое предприятие по производству LLM - это часть финансовой пирамиды, заведомо и глубоко убыточное дело, выживающее лишь путем привлечения новых инвестиций под песню "скоро (в это году, этой осенью, но если нет то точно в следующем году, не позднее 2030, ...) AI заменит всех". Подробности можно найти, к примеру, в блоге у Эдика (тут, к примеру, апрельский подсчет, можно и нужно посмотреть и более ранние).
Статья Apple называется The Illusion of Thinking
Она про то, что LLM не думают (глагол think). Поэтому, очевидно, интеллектом не являются. И поэтому разговоры про AI, AGI и пр. применительно к LLM смысла не имеют. Я об этом, собственнно.
А то что LLM можно рассматривать как новый класс систем текстового поиска - так и с этим не спорит вроде никто. Эффективность такого подхода к поиску обсуждается (те же "галлюцинации"). Для тех кто думать не хочет и торопится это идеальное на вид решение, один вопрос - один ответ. Для тех кто привык сопоставлять и анализировать - традиционные поисковики (если предположить, что можно их выхлоп как-то освободить от рекламы) подходят больше.
Противопоставлять эти два подхода друг другу бессмысленно. Все равно что утверждать все разработчики ПО должны быть уровня senior. Ерунда ведь? Вдумчивая ответственная работа - для тех кто хочет разбираться и искать наилучшие решения. Массовая низкоквалифицированная работа - для LLM-monkeys (в предположении, конечно, что кто-то и далее будет оплачивать этот недешевый и заведомо убыточный банкет). Каждому свое.
Статья от Apple не о том, кто на сколько вопросов умеет отвечать. Она о том, что люди умеют обучаться и думать, а LLM умеют только искать подсказки.
Пример с "ханойскими башнями" - человек, который решил эту задачу для 2, 3, 4, ладно, 5 дисков, сможет выработать алгоритм (математическую индукцию), как решить задачу для N+1 дисков, если для N дисков она уже решена.
А LLM, даже "думающие", в математическую индукцию не умеют. Что, собственно, исследование и показало, на примере головоломок.
Это сделает LLM продвинутым попугаем. Но не более того.
Еще раз - интеллект состоит не в том чтобы запомнить 100500 ответов на 100500 вопросов. А в том чтобы решив одну-две-три похожих задачи выработать алгоритм решения такого сходного типа задач.
Интеллект человека состоит, помимо всего прочего, в том, чтобы когда надо вместо решения нерешаемой задачи показать/доказать ее нерешаемость. А ведру с параметрами все равно - сказали River Crossing с N=20 решать, будем решать и электричество жрать попусту.
Есть задачи - надо решать (c)