OrganicMaps (форк MapsMe). Но там к сожалению без пробок и других онлайн штук. Зато работают оффлайн + куча других плюшек, например пешие маршруты по пердям мира. Не замена Яндексу, к сожалению, но во многих случаях достаточно этих карт.
Он не требует от вас никакой информации кроме авторизации через ТГ, и к сожалению, электронную почту
Авторизация через Тг + электронная почта это "никакая информация"? А на каком-нибудь этапе он и номер телефона спросит? И это не условный HH, который хоть как-то соблюдает закон о персональных данных (хоть утечки и происходят), это ноунэйм-бот в Телеграмме (с ноунэйм вакансиями выше рынка, да, забыл добавить).
Электронная почта требуется для того, чтобы в случае каких-то проблем можно было легко убрать авторизацию через ТГ и переделать на email
Не для этого это делается. Если бы дело было только в "удобстве пользователя", тогда это можно было бы отдельно завернуть как опцию, по-типу 2fa, а тут ПРИНУДИТЕЛЬНОЕ требование указать почту, без чего сервис не работает. В наше время + в стране, где персы почти никак не охраняются и постоянно утекают (номер 1 в мире по утечкам) это моветон как минимум, но я бы назвал это другими словами.
Офис — массовый, дешёвый с медианой +/‑ 100 000 руб, удалёнка — меньший, но дорогой сегмент (176К). И тут ключевая сшивка со всеми прошлыми главами: среди удалённых‑вакансий 59% живут вне hh против 14% у офисных. Дорогая удалёнка — это тот самый невидимый рынок. Задумайтесь.
Задумался, на мой взгляд эти цифры ничего не значат. Очевидно, любая нормальная компания присутствует на HH. Сейчас это главная площадка в РФ, как Авито для объявлений. Если компании нет на HH, но она есть где-то в чатах Тг, лично мне бы это показалось чем-то подозрительным, или как минимум не надежным. Тем более учитывая ваши выводы, что вакансии-невидимки предлагают более дорогие ставки (причем значительно, в 2 раза и выше). Кто эти компании? Скам и крипто-проекты? Ставки и казино? Ну тогда хоть понятно, почему их нет на HH. Ну пусть даже это нормальные обычные компании, но писать в Тг-объявлениях они могут что угодно, хоть x5 к средней ставке на HH, кто им что предъявит за это? В общем очень странные выводы, тем более учитывая первые строки этой статьи:
HH — не враг, он просто скромненький и рисует нам не те циферки в зарплатах, которые мы хотели бы в нём видеть.
.....
Вакансий вне hh огромный пласт: треть рынка просто не видна, если сидеть только на одной площадке. Поэтому не надо жаловаться, что ты не можешь найти работу листая и откликаясь лишь на ХХ посмотри в другие стороны, к примеру вакансии в ТГ каналах которые собираются на том же [был указан какой-то паблик].
Личное мнение, не более того. В целом за анализ спасибо, есть интересные данные.
Отрыл сайт гетмач (впервые слышу), на главной там сразу предлагают перейти в Тг. Есть также вакансии на самом сайте. Перешел на страницу всех вакансий, там всего ~800 вакансий на данный момент. Поиска нет. Эмм, нет поиска по вакансиям на сайте вакансий, ннда. Ладно, подумал я, перешел в бота Тг. Там сразу надо заполнить форму - профессиональный стек, желаемый уровень зп и тд. Ок, указал основное. На последнем шаге получаю список вакансий бот потребовал мою электронную почту. Без нее работа бота не идет дальше. Зачем? Зачем Телеграм-боту моя электронная почта, чтобы отобразить вакансии в Телеграм? Короче, я ничего не стал указывать. Если вам нужна привязка к человеку, вы и так видите его ID в Тг, ник и что еще открыто.
Сайт с вакансиями без поиска вакансий. Регистрация в Телеграмм-боте по электронной почте, ннда. И этот сайт вы тут указываете как конкурента HH и LinkedIn? Извините, но это выглядит, как-будто вы аффилированное лицо с этим сервисом. Ну или банальная реклама.
потратить полгода на английский выгоднее, чем полгода на очередной фреймворк
Пол года на изучение английского это почти ничего, говорю вам как человек, который несколько лет его изучал, а воз и ныне там ;)
Чтобы хорошо овладеть английским, его нужно практиковать, причем делать это много, всегда, по-сути заменив свой родной язык на английский. Только тогда он начнет закрепляться в голове основательно. За пол года это вряд ли возможно даже человеку с хорошей памятью и который больше ничем другим не занимается кроме английского.
За серию статей спасибо, большой и кропотливый труд проделали.
Возможно один из самых важных факторов, которые влияли на качество - снижение точности KV-кеширования. Вы ставили q8, но даже 8 бит на таких точных задачах, как программирование, это существенное падение качества. KV-кеш допустимо снижать для режима болталки, или чего-то еще такого общего, но не для точных задач (из личного опыта).
Спасибо за статью, очень доходчивое объяснение. В догонку, есть соседняя статья, в ней как раз обходятся недостатки BPE путем деления на морфемы, а не на рандомные статистически-частые повторения как в первом.
Помимо квантованных весов вы ещё квантуете KV-кеш до 4bit (q4_0), но в статье ни слова про это. Это добавочно экономит память, иногда очень прилично, но существенно сказывается на качестве генерации, особенно в точных задачах, таких как например кодинг или вызов инструментов.
Я тестировал несколько моделей поменьше (8-12b), там с KV квантизацией даже на 8bit (q8_0) уже существенно проседало качество генерации, про меньшую квантизацию говорить не приходится.
Делали ли вы такие сравнения?
За статью спасибо, давно хочется собрать локальный кластер помощнее для некоторых задач. Присматривался ещё к ксеонам + "много ОЗУ", но там совсем медленно и дорого будет по электричеству
Прошу прощение за некоторую дерзость, возможно. Я слушал этот материал в аудио, и мне показалось его можно прилично сократить без потери качества. Но это конечно исключительно моё мнение и предпочтения, не надо было их выпускать вслух
В России принят закон, вводящий отдельное регулирование для больших фундаментальных моделей ИИ — крупных универсальных моделей от 1 млрд параметров (порог формально низкий, под него попадает почти любая современная модель).
Закон вводит два статуса:
Национальная модель — допускает использование российских или зарубежных компонентов (включая open-source модели), если компания контролирует существенные характеристики и разворачивает модель в российском контуре.
Суверенная модель — требования строже: российское юрлицо должно контролировать весь жизненный цикл разработки «с нуля», обеспечивать полную техническую воспроизводимость (архитектура, код, данные, веса, обучение), хранить данные и генерировать ответы только в российских ЦОД, принадлежащих российским юрлицам. Также требуется подтверждение соответствия «духовно-нравственным ценностям».
Популярная сейчас архитектура «российский интерфейс + иностранный API (OpenAI, Claude и т.д.)» не соответствует ни одному из этих статусов, поскольку:
Ответ генерируется за пределами российского контура.
Пользовательские данные уходят за рубеж.
Иностранные облака (AWS, GCP, Azure и т.д.) не считаются российскими ЦОД, даже если физически расположены рядом.
Разработчик не контролирует и не может воспроизвести модель-«черный ящик».
Прямого запрета на использование иностранных ИИ закон не вводит, но даёт правительству право обязать отдельные сферы (госсистемы, финансы, инфраструктура) использовать только суверенные/национальные модели. Автор статьи прогнозирует, что со временем такие ограничения могут расшириться.
Разработчикам обычных прикладных ИИ-сервисов (без своей большой модели) стоит различать продуктовый уровень (что делает сервис) и модельный уровень (на чём он работает), и учитывать риск того, что в перспективе доступ к иностранным API для некоторых сегментов рынка может быть ограничен.
Главное ещё раз (кратко):
Закон регулирует не любые ИИ-сервисы, а именно «большие фундаментальные модели» (от 1 млрд параметров — формально почти любая модель).
Введены два статуса: национальная (мягче, допускает зарубежные open-source компоненты) и суверенная (жёстче, полный контроль и воспроизводимость цикла разработки в России).
Суверенная модель обязана проходить проверку на соответствие «традиционным духовно-нравственным ценностям».
Схема «российский фронтенд + иностранный API» не подходит под оба статуса из-за: генерации ответа за рубежом, утечки данных, иностранных облаков, отсутствия контроля над моделью.
Полного запрета иностранных ИИ нет, но правительство сможет обязать отдельные отрасли (госсектор, финансы, инфраструктура) использовать только суверенные/национальные модели.
Риск для обычных ИИ-сервисов на чужих API — потенциальное вытеснение из чувствительных сегментов рынка в будущем.
Потом, какие модели вы используете? Какая длина контекста была при забываниях и воскрешениях? Наконец, какие промпты? В тексте совсем нет конкретики, а это важные вопросы. Возможно вы используете сильно квантованные 7б модели, а в промптах не указываете, например, побежденных противников, вот они у вас и оживают через каждые несколько шагов
Спасибо за статью, хотелось бы больше деталей, но и так неплохо все расписали. Очередное подтверждение, что интересные решения часто появляются только при ограниченных ресурсах.
Берёте чистый VPS на Ubuntu или Debian (минимальный тариф подойдёт) и заходите по SSH. Дальше всё делает одна команда
И ни слова про то, что не нужно работать на сервере под root, что нужно хотя бы закрыть авторизацию по нему через ssh и тд тд тд, мне даже неловко писать про это, базовые вещи.
Вы зачем так людей подставляете?
Потом, проект, с ваших слов, с открытым исходным кодом, но установку (под root!) вы (ваша команда) уже не в первом посте предлагаете делать через бинарник. Что именно находится в вашем текущем бинарнике знаете только вы. Вы же предлагаете именно этот вариант установки ("установка в 1 клик"), а не прозрачную установку (через скрипты/исходники). Причём, до кучи, не предупреждаете пользователей о БАЗОВОЙ НАСТРОЙКЕ сервера. Ни создание нового пользователя, ни, ещё раз, "закрытия" root, смены порта хотя-бы (чтобы не стучались все подряд ежедневно), Fail2ban тот же, базовые правила файервола, да что угодно ещё - ни слова.
<и_так_сойдет.jpg>
К тому же заголовок статьи не раскрывает тему по существу, советы в духе "ищите какой-нибудь сервер сами" они бессмысленны.
Люди оплачивают подписку chatgpt совсем не для таких вопросов. Такие вопросы как раз только и в состоянии решать Алиса и тп. Недавно у родственников, ради интереса, решил потестировать Алису. На простой вопрос "какая динамика цен на недвижимость в городе N" она упорно зачитывала "новости" где-то за 2014 год. На повторные просьбы, уточнения, а также прямые команды "посмотри в интернете" она продолжала нести бред. Причём город N это один из самых крупных и популярных городов страны.
Ну и сравнивать и отождествлять подписку на chatgpt и подписку на "сервис", который режет картинки, это очень странно и как минимум не равнокалиберно.
Моё личное мнение (никому не навязываю, просто крайне неприятно видеть такое здесь). Эта статья банальный рекламный пост в духе Бизнес молодости: воткнул огурец в землю, а через несколько месяцев заработал миллионы.
Я почти уверен, что за такую банальную функцию никто не будет платить деньги, тем более в случае с аудиторией СНГ (никого не хочу обидеть, просто есть особенности рынка). Более того, я почти уверен, что даже западная аудитория не принесла бы много денег за это.
Максимум на что можно рассчитывать с такого рода ботами - какая-нибудь продажа прямой рекламы, или принудительная подписка на разные паблики (конвертация трафика).
Вы там писали, что быстро набрали аудиторию. Это из области фантастики, ну или нужно было прилично раскошелиться + потратить на это время, чудес не бывает.
Здесь уже была статья на эту тему,. В ней автор хорошо разложил по полочкам "успешный успех" такого рода БМ-фантазий проектов. У него тоже была тысячная аудитория и околонуля платных пользователей, которые до кучи отменяли подписки спустя короткое время.
отдельные энкодеры: они сначала переводят изображение или аудио в понятный модели вид и только потом передают дальше. Эти блоки добавляют задержку и расходуют память
Дополнительные слои для этой же задачи тоже добавляют задержку и расходуют память, но очевидно меньше
аудиоэнкодер убрали совсем. Звук при этом не превращается в текст — модель переводит его в такой же набор чисел, каким внутри себя описывает слова, и обрабатывает наравне с текстом.
Если кто не понял эту формулировку (как сначала я, несколько раз перечитал) это значит, что модель преобразует звук сразу в токены, в такие же токены, в какие преобразуется текст.
OrganicMaps (форк MapsMe). Но там к сожалению без пробок и других онлайн штук. Зато работают оффлайн + куча других плюшек, например пешие маршруты по пердям мира. Не замена Яндексу, к сожалению, но во многих случаях достаточно этих карт.
Авторизация через Тг + электронная почта это "никакая информация"? А на каком-нибудь этапе он и номер телефона спросит? И это не условный HH, который хоть как-то соблюдает закон о персональных данных (хоть утечки и происходят), это ноунэйм-бот в Телеграмме (с ноунэйм вакансиями выше рынка, да, забыл добавить).
Не для этого это делается. Если бы дело было только в "удобстве пользователя", тогда это можно было бы отдельно завернуть как опцию, по-типу 2fa, а тут ПРИНУДИТЕЛЬНОЕ требование указать почту, без чего сервис не работает. В наше время + в стране, где персы почти никак не охраняются и постоянно утекают (номер 1 в мире по утечкам) это моветон как минимум, но я бы назвал это другими словами.
Задумался, на мой взгляд эти цифры ничего не значат. Очевидно, любая нормальная компания присутствует на HH. Сейчас это главная площадка в РФ, как Авито для объявлений. Если компании нет на HH, но она есть где-то в чатах Тг, лично мне бы это показалось чем-то подозрительным, или как минимум не надежным. Тем более учитывая ваши выводы, что вакансии-невидимки предлагают более дорогие ставки (причем значительно, в 2 раза и выше). Кто эти компании? Скам и крипто-проекты? Ставки и казино? Ну тогда хоть понятно, почему их нет на HH. Ну пусть даже это нормальные обычные компании, но писать в Тг-объявлениях они могут что угодно, хоть x5 к средней ставке на HH, кто им что предъявит за это? В общем очень странные выводы, тем более учитывая первые строки этой статьи:
Личное мнение, не более того. В целом за анализ спасибо, есть интересные данные.
Отрыл сайт гетмач (впервые слышу), на главной там сразу предлагают перейти в Тг. Есть также вакансии на самом сайте. Перешел на страницу всех вакансий, там всего ~800 вакансий на данный момент. Поиска нет. Эмм, нет поиска по вакансиям на сайте вакансий, ннда. Ладно, подумал я, перешел в бота Тг. Там сразу надо заполнить форму - профессиональный стек, желаемый уровень зп и тд. Ок, указал основное. На последнем шаге
получаю список вакансийбот потребовал мою электронную почту. Без нее работа бота не идет дальше. Зачем? Зачем Телеграм-боту моя электронная почта, чтобы отобразить вакансии в Телеграм? Короче, я ничего не стал указывать. Если вам нужна привязка к человеку, вы и так видите его ID в Тг, ник и что еще открыто.Сайт с вакансиями без поиска вакансий. Регистрация в Телеграмм-боте по электронной почте, ннда. И этот сайт вы тут указываете как конкурента HH и LinkedIn? Извините, но это выглядит, как-будто вы аффилированное лицо с этим сервисом. Ну или банальная реклама.
Пол года на изучение английского это почти ничего, говорю вам как человек, который несколько лет его изучал, а воз и ныне там ;)
Чтобы хорошо овладеть английским, его нужно практиковать, причем делать это много, всегда, по-сути заменив свой родной язык на английский. Только тогда он начнет закрепляться в голове основательно. За пол года это вряд ли возможно даже человеку с хорошей памятью и который больше ничем другим не занимается кроме английского.
За серию статей спасибо, большой и кропотливый труд проделали.
Спасибо за обзор.
Возможно один из самых важных факторов, которые влияли на качество - снижение точности KV-кеширования. Вы ставили q8, но даже 8 бит на таких точных задачах, как программирование, это существенное падение качества. KV-кеш допустимо снижать для режима болталки, или чего-то еще такого общего, но не для точных задач (из личного опыта).
Спасибо за статью, очень доходчивое объяснение. В догонку, есть соседняя статья, в ней как раз обходятся недостатки BPE путем деления на морфемы, а не на рандомные статистически-частые повторения как в первом.
Что?
Очень сильно влияет на точность генерации, существенно проседает качество
Помимо квантованных весов вы ещё квантуете KV-кеш до 4bit (q4_0), но в статье ни слова про это. Это добавочно экономит память, иногда очень прилично, но существенно сказывается на качестве генерации, особенно в точных задачах, таких как например кодинг или вызов инструментов.
Я тестировал несколько моделей поменьше (8-12b), там с KV квантизацией даже на 8bit (q8_0) уже существенно проседало качество генерации, про меньшую квантизацию говорить не приходится.
Делали ли вы такие сравнения?
За статью спасибо, давно хочется собрать локальный кластер помощнее для некоторых задач. Присматривался ещё к ксеонам + "много ОЗУ", но там совсем медленно и дорого будет по электричеству
Это суммаризация, причём тут нейрослоп?
Прошу прощение за некоторую дерзость, возможно. Я слушал этот материал в аудио, и мне показалось его можно прилично сократить без потери качества. Но это конечно исключительно моё мнение и предпочтения, не надо было их выпускать вслух
Кому лень читать, выжимка:
Что за фильтры и для чего? Почему именно коммиты?
Простите, что такое ОБТ?
Потом, какие модели вы используете? Какая длина контекста была при забываниях и воскрешениях? Наконец, какие промпты? В тексте совсем нет конкретики, а это важные вопросы. Возможно вы используете сильно квантованные 7б модели, а в промптах не указываете, например, побежденных противников, вот они у вас и оживают через каждые несколько шагов
Спасибо за статью, хотелось бы больше деталей, но и так неплохо все расписали. Очередное подтверждение, что интересные решения часто появляются только при ограниченных ресурсах.
И ни слова про то, что не нужно работать на сервере под root, что нужно хотя бы закрыть авторизацию по нему через ssh и тд тд тд, мне даже неловко писать про это, базовые вещи.
Вы зачем так людей подставляете?
Потом, проект, с ваших слов, с открытым исходным кодом, но установку (под root!) вы (ваша команда) уже не в первом посте предлагаете делать через бинарник. Что именно находится в вашем текущем бинарнике знаете только вы. Вы же предлагаете именно этот вариант установки ("установка в 1 клик"), а не прозрачную установку (через скрипты/исходники). Причём, до кучи, не предупреждаете пользователей о БАЗОВОЙ НАСТРОЙКЕ сервера. Ни создание нового пользователя, ни, ещё раз, "закрытия" root, смены порта хотя-бы (чтобы не стучались все подряд ежедневно), Fail2ban тот же, базовые правила файервола, да что угодно ещё - ни слова.
<и_так_сойдет.jpg>
К тому же заголовок статьи не раскрывает тему по существу, советы в духе "ищите какой-нибудь сервер сами" они бессмысленны.
Лично мне это все кажется очень странным.
Поправьте если я в чем-то не прав.
Люди оплачивают подписку chatgpt совсем не для таких вопросов. Такие вопросы как раз только и в состоянии решать Алиса и тп. Недавно у родственников, ради интереса, решил потестировать Алису. На простой вопрос "какая динамика цен на недвижимость в городе N" она упорно зачитывала "новости" где-то за 2014 год. На повторные просьбы, уточнения, а также прямые команды "посмотри в интернете" она продолжала нести бред. Причём город N это один из самых крупных и популярных городов страны.
Ну и сравнивать и отождествлять подписку на chatgpt и подписку на "сервис", который режет картинки, это очень странно и как минимум не равнокалиберно.
Кремль в виде ASCII-графики напомнило )
Моё личное мнение (никому не навязываю, просто крайне неприятно видеть такое здесь). Эта статья банальный рекламный пост в духе Бизнес молодости: воткнул огурец в землю, а через несколько месяцев заработал миллионы.
Я почти уверен, что за такую банальную функцию никто не будет платить деньги, тем более в случае с аудиторией СНГ (никого не хочу обидеть, просто есть особенности рынка). Более того, я почти уверен, что даже западная аудитория не принесла бы много денег за это.
Максимум на что можно рассчитывать с такого рода ботами - какая-нибудь продажа прямой рекламы, или принудительная подписка на разные паблики (конвертация трафика).
Вы там писали, что быстро набрали аудиторию. Это из области фантастики, ну или нужно было прилично раскошелиться + потратить на это время, чудес не бывает.
Здесь уже была статья на эту тему,. В ней автор хорошо разложил по полочкам "успешный успех" такого рода
БМ-фантазийпроектов. У него тоже была тысячная аудитория и околонуля платных пользователей, которые до кучи отменяли подписки спустя короткое время.Все это моё личное мнение, никому не навязываю.
Дополнительные слои для этой же задачи тоже добавляют задержку и расходуют память, но очевидно меньше
Если кто не понял эту формулировку (как сначала я, несколько раз перечитал) это значит, что модель преобразует звук сразу в токены, в такие же токены, в какие преобразуется текст.
Но здесь лучше уточнить в карточке модели.
Что значит эта фраза?