Статья от лица разработчика, с рефералкой в тексте.. При этом опубликована с аккаунта компании, но не в корпоративном блоге Могу ошибаться, но звучит как нарушение правил..
Непосредственно разрабатывают модели действительно чаще на Python, но используемые инструменты/библиотеки в большинстве своем написаны на C++/Go/Rust, так что я бы рекомендовал глянуть в эту сторону.
В превью статьи написано "Как гарантировано защитить своего бота на ChatGPT от взлома его системной роли?", тут вы говорите, что "любая LLM с этим справится".
С учетом того, сколько есть вариаций промпт инъекций, я бы не делал таких громких заявлений, ни про гарантированность, ни про любую LLM..
Если бы были приведены результаты сканирования каким-либо инструментом, например, garak'ом или не было бы таких громких заявлений, вопросов бы не было или было меньше.
А пока возникают подозрения, что все не так хорошо и вопрос, а где же пруфы, как это проверено или как это можно проверить (ссылка на бота, например).
Предположу, что в данном случае модель просто может использовать автоматическую расшифровку видео, которая достаточно давно прикручена ко всем видео на YouTube.. А там уже аккуратно суммаризировать текст - задачка куда более простая..
Конечно же, забанят При этом, если кидать относительно много запросов (даже в рамках лимитов), забанят достаточно быстро и все ключи, которые использовались на одном адресе, разом, проверено)
Но вопрос решается, если использовать кучку прокси-серверов Да и Groq особо не требователен к почте, не просит номер телефона и так далее, так что насобирать ключи несложно, а себестоимость околонулевая
Но ни в коем случае так не делайте, это нарушает условия пользования и вообще некрасиво)
+, перечитал статью два раза, посмотрел на сайте производителя, везде 48 Тб.. Как пример того, что можно поставить, приведена Nvidia L40S на 48 Гб... То есть где-то лежит тысяча карт, при том что, судя по размерам там максимум 16 карт, если не 8.. Не говоря о том, что линии Pci-e и питание на это добро из ниоткуда должны появиться.. В целом, как всегда, ничего непонятно, но очень интересно..
UPD: Перечитал еще раз, там и с RAM что-то не складывается.. Бла бла, наборы данных до петабайта.. При том, что в одном таком юните 512 Гб и можно соединить до 5 штук.. Еще и Тб с Пб перепутали, класс..
Стало интересно, как выбирали инструменты и почему выбрали именно Seldon Core, а не KServe или BentoML? Еще было бы интересно узнать, смотрели ли в сторону более свежих оркестраторов? Например, Prefect, Dagster или Mage, некоторые из них чуть больше заточены под ML задачи, чем Airflow. Но тут в целом понятно, что скорее всего выбрали Airflow, потому что уже широко используете и как-то так сложилось.
Кто-то сохраняет, чтобы потом посмотреть, потому что с первого взгляда похоже на компиляцию полезных ссылок. Кто-то сохраняет, потому что увидел какой-то один интересный пункт.
Но на деле набор инструментов достаточно странный, ошибки в примерах кода, ошибки в ссылках, ошибки в командах для установки.
Большой упор на ускорение pandas, но почему-то не упомянули polars.
Упомянули fastparquet, который разрабатывала команда dask'a, но уже перестала мейнтейнить и перешла на pyarrow, да и по умолчанию в pandas'e для работы с .parquet используется как раз pyarrow.
Условно, я к тому, что если у нас нет таргета в виде высокой скорости обращения и тд, а нам достаточно условных 1-2 запросов в секунду, можно в лоб все забирать через селениум.
Может быть, если написать все асинхронно, то RPS будет значительно больше. Но на уровне 1.2 RPS действительно можно использовать тот же Selenium и вариации на него, тоже такая мысль возникла, пока читал.
Статья от лица разработчика, с рефералкой в тексте..
При этом опубликована с аккаунта компании, но не в корпоративном блоге
Могу ошибаться, но звучит как нарушение правил..
Непосредственно разрабатывают модели действительно чаще на Python, но используемые инструменты/библиотеки в большинстве своем написаны на C++/Go/Rust, так что я бы рекомендовал глянуть в эту сторону.
Как вариант, можно выкатить бота в паблик, при этом прописать базу, которую не жалко, и быстро получить кучу кейсов от народного ред-тиминга)
В превью статьи написано "Как гарантировано защитить своего бота на ChatGPT от взлома его системной роли?", тут вы говорите, что "любая LLM с этим справится".
С учетом того, сколько есть вариаций промпт инъекций, я бы не делал таких громких заявлений, ни про гарантированность, ни про любую LLM..
Если бы были приведены результаты сканирования каким-либо инструментом, например, garak'ом или не было бы таких громких заявлений, вопросов бы не было или было меньше.
А пока возникают подозрения, что все не так хорошо и вопрос, а где же пруфы, как это проверено или как это можно проверить (ссылка на бота, например).
Nvlink вполне себе жив, но на картах для рабочих станций/дата-центров
Странно, что не упомянули ASUS Zenbook Duo (2024), как по мне, наиболее интересная модель из свежих.
Предположу, что в данном случае модель просто может использовать автоматическую расшифровку видео, которая достаточно давно прикручена ко всем видео на YouTube..
А там уже аккуратно суммаризировать текст - задачка куда более простая..
Указано, что как минимум, лимиты по числу запросов будут выше, так что какой-то смысл в подписке все еще остается.
Советую глянуть LangChain, там реализовано много фич для работы с агентами.
Конечно же, забанят
При этом, если кидать относительно много запросов (даже в рамках лимитов), забанят достаточно быстро и все ключи, которые использовались на одном адресе, разом, проверено)
Но вопрос решается, если использовать кучку прокси-серверов
Да и Groq особо не требователен к почте, не просит номер телефона и так далее, так что насобирать ключи несложно, а себестоимость околонулевая
Но ни в коем случае так не делайте, это нарушает условия пользования и вообще некрасиво)
+, перечитал статью два раза, посмотрел на сайте производителя, везде 48 Тб..
Как пример того, что можно поставить, приведена Nvidia L40S на 48 Гб...
То есть где-то лежит тысяча карт, при том что, судя по размерам там максимум 16 карт, если не 8..
Не говоря о том, что линии Pci-e и питание на это добро из ниоткуда должны появиться..
В целом, как всегда, ничего непонятно, но очень интересно..
UPD: Перечитал еще раз, там и с RAM что-то не складывается..
Бла бла, наборы данных до петабайта..
При том, что в одном таком юните 512 Гб и можно соединить до 5 штук..
Еще и Тб с Пб перепутали, класс..
+, только подумал, что где-то я это уже видел, даже с таким же форматированием..
Да, сейчас достаточно много вариантов: Luigi, KubeFlow Pipelines, Dagster, Mage, Prefect, ClearML Pipelines..
Найти бы время это все потестить ещё, а то с одной стороны и Airflow тяжеловат, а с другой непонятно что тоже не хочется выбирать..
Кстати, привет с Talent Hub'a)
Стало интересно, как выбирали инструменты и почему выбрали именно Seldon Core, а не KServe или BentoML?
Еще было бы интересно узнать, смотрели ли в сторону более свежих оркестраторов? Например, Prefect, Dagster или Mage, некоторые из них чуть больше заточены под ML задачи, чем Airflow.
Но тут в целом понятно, что скорее всего выбрали Airflow, потому что уже широко используете и как-то так сложилось.
Все просто: если продавец из Китая, вероятно, карту использовали для майнинга, поэтому низкий прайс..
Полностью согласен :)
Действительно странно не фильтровать такое, видимо, уж больно хорошо мимикрирует под полезный контент.
Кто-то сохраняет, чтобы потом посмотреть, потому что с первого взгляда похоже на компиляцию полезных ссылок.
Кто-то сохраняет, потому что увидел какой-то один интересный пункт.
Но на деле набор инструментов достаточно странный, ошибки в примерах кода, ошибки в ссылках, ошибки в командах для установки.
Большой упор на ускорение pandas, но почему-то не упомянули polars.
Упомянули fastparquet, который разрабатывала команда dask'a, но уже перестала мейнтейнить и перешла на pyarrow, да и по умолчанию в pandas'e для работы с .parquet используется как раз pyarrow.
И дальше можно продолжать довольно долго..
Но ведь 1000*0.01% = 0.1 студента..
Условно, я к тому, что если у нас нет таргета в виде высокой скорости обращения и тд, а нам достаточно условных 1-2 запросов в секунду, можно в лоб все забирать через селениум.
Может быть, если написать все асинхронно, то RPS будет значительно больше.
Но на уровне 1.2 RPS действительно можно использовать тот же Selenium и вариации на него, тоже такая мысль возникла, пока читал.