Администрирование

Коммиттерам свободно распространяемой операционной системы NetBSD теперь запрещено использовать любой код, сгенерированный искусственным интеллектом.

«Если вы фиксируете код, который был написан не вами, дважды проверьте, что лицензия на этот код разрешает импорт в репозиторий исходных кодов NetBSD и разрешает свободное распространение», — говорится в обновленных правилах фиксации NetBSD.

«Свяжитесь с авторами кода, убедитесь, что они были единственным автором кода, и убедитесь, что они не копировали какой-либо другой код. Код, созданный с помощью большой языковой модели или аналогичной технологии, такой как GitHub /Microsoft’s Copilot, OpenAI’s ChatGPT или Facebook/Meta’s Code Llama считаются испорченным кодом и не должны использоваться без предварительного письменного одобрения».

Время покажет, как это отразится как на пользователях, так и на основной команде.

Русский перевод Руководства по аналитике бизнес-данных от IIBA

Три года назад в IIBA Kazakhstan Chapter мы пытались общими усилиями сделать перевод Guide to Business Data Analitics. Систематическая работы команды по переводу - дело довольно сложное и трудоемкое, кроме определенной квалификации переводчика нужны немалые усилия для каждого члена команды, чтобы процесс не заглох. BABOK Guide мы переводили несколько лет. Поэтому совместный процесс перевода Guide to BDA заглох)

Тем не менее я сделал собственный перевод Руководства, который может а) быть полезным для русскоязычных аналитиков которые испытывают сложности со свободным чтением по-английски; б) послужить дополнительным материалом для создания официального русского перевода, если какой-то из чаптеров сорганизуется для такого проекта.

Благодарю коллег, которые внесли свой вклад в перевод в начале проекта:
- Толганай Баетова
- Асель Байжуманова
- Шынар Есентаева
- Денис Славиковский
- Жанар

Ссылка на текст перевода Руководства опубликована здесь - https://t.me/thinkingbyletter/192

Рег.облако одним из первых российских облачных провайдеров предлагает новую версию Ubuntu — Noble Numbat. 

Версия  Ubuntu 24.04 LTS, она же Noble Numbat, — это: 

• 12 лет поддержки (против максимум пяти ранее);

• Ядро Linux 6.8 с улучшенной производительностью системных вызовов, доступом к файловой системе bcachefs и поддержкой вложенного KVM в ppc64el;

• Акцент на инструменты для разработки, включая обновления GCC 14, Python 3.12, PHP 8.3.3, Ruby 3.2.3, OpenJDK 21, Rust 1.76, Go 1.22, .NET 8.;

• Обновления важных серверных пакетов, таких как Nginx 1.24, Apache httpd 2.4.58, Samba 4.19, Exim 4.97, Chrony 4.5, HAProxy 2.8.5 и многих других. 

Полный перечень нововведений и изменений доступен по ссылке.

Также совсем скоро мы запустим серверное обновление — Docker (24.0.7).

Эксперт по ИБ Эрик Паркер решил проверить работу Windows XP в 2024 году без штатных систем защиты. Последнее обновление безопасности эта система получила 10 лет назад. Для теста в настройках системы были отключены Firewall и Defender и ПК был подключён в интернет.

Через несколько минут в системе началась подозрительная активность. Вредоносное ПО начало сканировать систему и проникать в неё, а через два часа зловреды существенно начали мешать работе ПК.

Оказалось, что в системе почти сразу появился поддельный файл svchost.exe, который запускал вредоносные скрипты. В ходе сканирования ПК с помощью Malwarebytes было обнаружено в общей сложности восемь вредоносных файлов, включая трояны, рекламное ПО и вредоносное ПО с бэкдором.

Виртуальные рабочие места — штука, полезная для бизнеса, ведь она помогает сэкономить деньги на физических рабочих местах для сотрудников без угроз для безопасности. При маленьких объемах их реально организовать самостоятельно, но как быть, если виртуальных мест нужно несколько тысяч?

Ответ на этот вопрос — в видео ниже. Там история о том, как организовать 3600 виртуальных машин для 6000 разработчиков на 200 проектах. Рассказывают ее Иван Старункин и Михаил Бараблин из «Лиги Цифровой Экономики», именно для этой компании мы решали такую задачу. Приятного и полезного просмотра!

Этот ролик — запись доклада на митапе OXYGEN в Санкт‑Петербурге. Подробно про мероприятие можно почитать вот здесь.

А у вас есть опыт организации виртуальных рабочих мест? Какие инструменты и методы для этого используете? Или вы — пользователь виртуальных рабочих мест? Расскажите об этом в комментариях!

И обязательно подписывайтесь на наш канал в Telegram, там мы не только постим новости про IT, но и рассказываем про облака, дата‑центры и кибербез.

Пользователи пожаловались на появление старых фото после обновления до iOS 17.5. Некоторые владельцы iPhone сообщают, что удалённые фотографии появляются в альбоме «Недавние». На ту же проблему жаловались и бета-тестеры.

Обычно iOS дает пользователям возможность восстановить удалённые фотографии в течение 30 дней, а потом они удаляются навсегда.

Однако пользователи пишут, что видят снимки, которые удалили «много лет назад». у одного из них фото 2016 года отображались как новое. Ещё один юзер написал, что «около 300» его старых фотографий, некоторые из которых были «компрометирующими», появились на iPad, хотя он удалил их в соответствии с рекомендациями Apple и продал устройство другу. Также описаны случаи, когда на смартфон возвращались фотографии, хотя он не синхронизировался и не использовал iCloud. 

Кроме того, один пользователь указал, что у него восстановились старые голосовые сообщения.

Apple добавляют в свои продукты невероятную технологию управления взглядом

Управление iOS взглядом становится реальностью

Новейшая функция Apple, Eye Tracking, позволяет управлять устройствами без помощи рук.

Первоначально предназначенная для помощи людям с ограниченными возможностями, эта технология может также найти применение в тех случаях, когда просто лень поднимать палец.

apВсе данные для работы Eye Tracking хранятся на устройстве. Дополнительное оборудование для работы функции не нужно. Функция будет работать во всех приложениях на iOS и iPadOS.

У себя в канале я опубликую ее обзор новой технологии и первые впечатления, заходите, там много полезного, куча разборов нейросетей и многое дргое.

#apple #iphone #технологии

МТС создал собственную метавселенную — МТС VERSE, об этом на конференции «МТС Платформа» заявил президент МТС Вячеслав Николаев.

По словам Николаева, мир постепенно переходит в мир Web3, который включает в себя децентрализацию, масштабное использование ИИ, новые форматы диджитал-взаимодействия и виртуальные миры, метавселенные.

«Поэтому мы создали МТС VERSE — это цифровой мир, в котором пользователь может получить новый опыт взаимодействия с сервисами экосистемы МТС. Это наше первое представление на территории метавселенных. Подобного продукта на российском рынке ещё не было», — заявил Николаев. Пользователей ждёт как знакомство и взаимодействие с продуктами МТС, так и множество игровых механик: участие в активностях, использование внутриигровой валюты, её обмен на реальный кэшбек и, конечно, соревнование с другими пользователями.

Попасть в МТС VERSE можно как с десктопа, так и со смартфона — пользователь исследует диджитал-вселенную в браузере, погружаясь в цифровую реальность. Игрок получает возможность пользоваться преимуществами сервисов МТС вне зависимости от своего оператора: с помощью аватаров можно зарабатывать игровую валюту (коины) и обменивать ее на реальные и виртуальные товары, услуги бренда, исследовать интерактивные локации и взаимодействовать с продуктами МТС, а также получить техническую видеоподдержку в Verse.

infra.conf 4 июня: обсудим с разработчиками кейсы создания и эксплуатации высоконагруженных систем

Команда Yandex Infrastructure 4 июня проведёт конференцию про создание инфраструктуры и эксплуатацию высоконагруженных систем. Встретимся в Москве и в онлайн‑эфире, чтобы поговорить про платформенную разработку, базы данных и облачные технологии, тестирование и безопасность, ML‑инфраструктуру и опенсорс‑решения.

Только практика от крупных компаний: Авито, Иннотех, Альфа‑Банк, Selectel, СберМаркет и SberDevices, Postgres Pro, Лаборатория Касперского и др.

Среди уже объявленных спикеров:

• Борис Литвиненко, Yandex Infrastructure: расскажет о том, как удобно жить на железе в 2К24 базовой инфраструктуре, о пути сетевого пакета и о специфике обслуживания этой части инфраструктуры. В финале вместе сделаем своё облако с DPDK и попытками преодолеть проблемы монолитной инфраструктуры.

• Дарья Николаенко, Тинькофф: в докладе «Потребитель и железка. Где связь?» расскажет про неочевидные и хитросплетённые зависимости масштабной инфраструктуры и их влияние на выполнение и постановку рабочих задач, а также поделится опытом визуализации и систематизации инфраструктурных компонентов.

• Виктор Корейша, Ozon Tech: расскажет о проектировании собственной S3 поверх Ceph, а также о проблемах, возникших при разработке, миграции и эксплуатации на реальной нагрузке. И, конечно, покажет пути решения и поделится результатами.

Участие бесплатно, следите за обновлениями программы и регистрируйтесь по ссылке.

21 мая проводим воркшоп «Приватные инсталляции Kubernetes»

Хотите узнать, как развернуть приватную инсталляцию Kubernetes в публичном облаке с помощью Terraform?

На практическом вебинаре поделимся тонкостями:
🔹 расскажем, как построить частное облако внутри публичного;
🔹 разберем клиентские кейсы;
🔹 покажем, как создать кластер Kubernetes с приватным API с помощью Terraform;

Задавайте вопросы через форму регистрации или в чате трансляции — ответим на них в конце вебинара. Авторам самых интересных подарим плюшевых Тирексов 🦖

Все зарегистрированные участники получат запись трансляции и примеры готовых манифестов Terraform.

Регистрируйтесь по ссылке →

Всем DevOps! Станислав Тибекин, CEO компании Nixys, публикует перевод огромного и полезного чек-листа по разработке облачного приложения. Первая часть посвящена бизнес-требованиям.

Вы узнаете, что нужно учесть при разработке приложения, чтобы обеспечить отказоустойчивость, масштабируемость и непрерывность бизнеса.

А ещё вы найдёте полезную информацию про:

• Базы данных;

• Хранилища данных;

• Инструменты;

• Мониторинг;

• Экологию.

Чтобы начать читать — кликайте сюда.

С января этого года автоматический определитель номера «Яндекса» (АОН) зафиксировал 530 млн звонков с неизвестных номеров, в том числе в мессенджерах. Больше половины из них — 302 млн (57%) — АОН определил как нежелательные и предупредил о них пользователей. Почти 25 млн звонков АОН автоматически заблокировал тем пользователям, кто подключил эту функцию.   

С начала года пользователи определителя номера «Яндекса» получили на 20% больше нежелательных звонков с незнакомых номеров, чем за тот же период прошлого года. Больше всего (на 19%) выросло количество звонков от мошенников. Предложений  банковских услуг стало на 7% больше, а услуг страхования — на 5%. При этом звонков с предложением разного рода небанковских финансовых услуг стало на 38% меньше, а услуг связи — на 29% меньше. 

Одна из популярных сейчас мошеннических схем, когда людям звонят от имени операторов сотовой связи и предлагают продлить договор, для чего просят назвать код из СМС. Другая схема — звонки в Viber или WhatsApp с номеров, похожих на телефоны известных компаний.

Автоматический определитель номера (АОН) доступен в приложении «Яндекс с Алисой». Система защищает пользователей от звонков с неизвестных номеров, чтобы они не тратили на них время. С помощью этой опции можно узнать, кто звонит, или заблокировать нежелательные звонки. АОН умеет блокировать звонки с рекламой финансовых услуг и нежелательные вызовы, в частности, от злоумышленников.

Google Firebase сдался и добавил в свои сервисы SQL базу данных (облачную PostgreSQL) в форме Firebase Data Connect.

Пока в виде preview сервис можно попробовать бесплатно. Потом собираются брать плату и за саму базу, и за API доступа к ней.

Вряд ли Google с такими политиками сможет конкурировать с Supabase.На данный момент это две основные площадки, с которыми фронтендер или мобильный разработчик может без излишних усилий сделать удобный облачный бэкенд, как без логики (просто CRUD доступ), так и с ней (Functions), и оставаясь в рамках стандартов (не сильно привязываясь к проприетарным решениям сервисов).

Возможности GPT-4o уже поражают, несколько способов использования нового ИИ-помощника:

• может создавать картинки с запоминанием персонажа, например, нагенерить качественный комикс ИИ вообще не составит труда;

• поможет в подготовке к собеседованию для устройства на работу — ИИ оценит ваш внешний вид и подтянёт по вопросам;

• умеет придумать колыбельную под определённого ребёнка;

• может стать репетитором по математике. Причём GPT-4o не решает все за человека, а именно обучает его;

• проводит рабочие созвоны в Zoom;

• помогает с изучением других языков с помощью описания предметов;

• переводит речь с двух разных языков в реальном времени;

• умеет говорить нескучно, включая фразы с живым и острым сарказмом;

• может быть полноценным поводырём для незрячих и подробно описывать окружающий их мир;

• две GPT-4o способны общаться друг с другом, подружиться и даже петь вместе дуэтом.

13 мая OpenAI представила новую языковую модель GPT-4o, которая теперь ляжет в основу ChatGPT. GPT-4o может воспринимать и генерировать звук, изображение и текст и будет доступна всем пользователям бесплатно.

Также OpenAI обновила интерфейс приложения ChatGPT, сделав его минималистичным. Теперь пользователь общается с большим чёрным кругом, который изменяет свои формы и размеры в зависимости от происходящих событий. Когда ИИ говорит, то круг меняется, визуально усиливая ощущение диалога и взаимодействия.

Представлено приложение с открытым исходным кодом YoutubeToMP3 на C#, которое позволяет пользователям Windows загружать видео с YouTube и сохранять его в виде файлов MP3.

Пользователи могут ввести URL-адрес YouTube, и после нажатия кнопки загрузки приложение использует YoutubeExplode для получения и загрузки видео. Индикатор выполнения обновляется в режиме реального времени, показывая ход загрузки. После загрузки файла приложение конвертирует аудиодорожку из видео в MP3 с помощью MediaToolkit. Пользователи выбирают место сохранения файла MP3 через SaveFileDialog. После завершения процесса появится уведомление о завершении.

Согласно пояснению автора, это приложение предоставляет удобный способ конвертировать аудиодорожку из видео YouTube в MP3 прямо с рабочего стола.

10 мая 2024 года Cloudflare представила второй публичный релиз открытого проекта Pingora v0.2.0. Это асинхронный многопоточный фреймворк на Rust, который помогает создавать прокси-сервисы HTTP. Проект используется для создания сервисов, обеспечивающих значительную часть трафика в Cloudflare (вместо применения Nginx). Исходный код Pingora опубликован на GitHub под лицензией Apache 2.0.

Pingora предоставляет библиотеки и API для создания сервисов поверх HTTP/1 и HTTP/2, TLS или просто TCP/UDP. В качестве прокси-сервера он поддерживает сквозное проксирование HTTP/1 и HTTP/2, gRPC и WebSocket. (Поддержка HTTP/3 — в планах). Pingora также включает в себя настраиваемые стратегии балансировки нагрузки и аварийного переключения. Чтобы соответствовать требованиям и безопасности он поддерживает как широко используемые библиотеки OpenSSL, так и BoringSSL, которые соответствуют требованиям FIPS (федеральных стандартов обработки информации США) и пост-квантового шифрования.

Изменения в новой версии:

• добавлена поддержка установки фильтров для дополнительных заголовков HTTP/2;

• добавлена возможность изменения размера буфера входящих пакетов для TCP;

• добавлена функция body_bytes_read();

• добавлен фильтр cache_not_modified_filter;

• добавлена возможность ведения лога TLS-ключей;

• добавлена callback-функция purge_response.

В рабочем режиме Pingora обеспечивает плавный перезапуск без простоев для самостоятельного обновления, не теряя ни одного входящего запроса.

Российский разработчик сделал инструмент, который определяет местонахождение любого человека в Телеграм

CTV — визуализация местоположения пользователей Telegram

🗄Исследователь создал инструмент Close-Circuit Telegram Vision (CCTV), позволяющий искать пользователей Telegram, у которых включена настройка «Люди рядом». CCTV показывает примерное физическое местоположение пользователей на карте, даже если они находятся совсем не рядом.

🗄Разработчик объяснил, что CCTV использует API Telegram, связанный с функцией Find People Nearby. «В качестве входных данных он принимает кастомные широту и долготу, поэтому можно вводить любые данные (не нужен даже GPS-спуфинг)», — сообщил Глинкин. Также он показал журналистам два других [1] [2] проекта с похожей функциональностью, но отметил, что его проект более точен.

🗄Пресс-служба Telegram дала следующий комментарий:

«Опциональная функция “Люди рядом” была создана специально для людей, которые хотят сообщить о своем местоположении другим. По умолчанию она всегда отключена. Координаты, которые отображает инструмент с GitHub, не являются местоположением пользователя — данные на сервере аппроксимируются до 800 метров и существуют только для пользователей, которые явно предпочли транслировать свое местоположение вовне»

Если интересуетесь этичным хакингом и инструментами OSINT, здесь я публикую и разбираю самые интересные инструменты разведки.

⚡️ PyWinAssistant — AI-инструмент для управления пользовательским интерфейсом

PyWinAssistant — это первый AI-фреймворк для Windows 10/11 с открытым исходным кодом для управления любыми пользовательскими интерфейсами win32api путем использования визуализации мышления (VoT) и пространственных рассуждений в LLM (без OCR / обнаружения объектов / сегментации — такой подход улучшает качество работы PyWinAssistant).

PyWinAssistant имеет встроенные опции чтобы помогать человеку пользоваться компьютером.

Он правильно понимает любые запросы на естественном языке и планирует выполнение правильных действий в ОС с учетом требований безопасности.

🖥 GitHub

🟡 Arxiv (связанное с этим исследование)

Если интересуетесь машинным обучением и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

#машинноеобучение #deeplearning

Вышла невероятная модель Gemma 2B с длиной контекста 10M, которая анализирует до 7 млн слов.

В нее можно закидывать огромные документы и модель всё проанализирует.

Производительность выше Gemini в 10 раз, а памяти нужно всего 32 ГБ.

Поддерживает Cuda.

▪Github: https://github.com/mustafaaljadery/gemma-2B-10M

▪HF: https://huggingface.co/mustafaaljadery/gemma-2B-10M

▪Technical Overview: https://medium.com/@akshgarg_36829/gemma-10m-technical-overview-900adc4fbeeb

Если интересуетесь машинным обучением и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

Новый метод Deblur-GS на основе Гауссовских сплатов для качественного восстановления размытой картинки 

Мощный метод Deblur-GS на основе Гауссовских сплатов для качественного восстановления размытой картинки.

Что же такое Гаусовские Сплаты, простыми словами:

Из видео извлекается облако точек, затем по облаку создается набор маленьких полупрозрачных гауссиан. Потом эти гауссианы оптимизируются доя тогог, чтобы после рендеринга с высокой точностью восстанавливать кадры.

Это не Nerual Radiance Field и здесь все рабоатет намного проще.

За счет простоты эта штука и обучается, и рендерится довольно быстро.

Deblur-GS обеспечивает превосходную производительность и качество рендеринга по сравнению с предыдущими методами, что подтверждается бенчмарками, как на синтетических, так и на реальных наборах данных.

Выглядит бомбезно.

▪Code: https://github.com/Chaphlagical/Deblur-GS

▪Paper: https://chaphlagical.icu/Deblur-GS/static/paper/Deblur_GS_author_version.pdf

▪Project: https://chaphlagical.icu/Deblur-GS/

Если интересуетесь машинным обучением и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

#машинноеобучение #deeplearning

Вышел дистрибутив Daphile 24.05 на базе Gentoo Linux и предназначенный для создания системы хранения и воспроизведения музыкальной коллекции, замещаемой на компьютере без экрана. Управление воспроизведением и коллекцией производится через специальный веб-интерфейс. Опубликована сборка проекта с обычным ядром Linux (329 МБ) и версия с компонентами для работы в режиме реального времени (319 МБ).

Дистрибутив может работать в режиме звукового сервера, сетевого хранилища и точки беспроводного доступа. Поддерживается воспроизведение с внутренних накопителей, c сетевых потоковых сервисов и c внешних USB-накопителей. Для обеспечения максимального качества звука и создания мультизональных аудиосистем поддерживается подключения компьютера с Daphile к аналоговым усилителям через ЦАП с интерфейсом USB.

В новой версии:

• обновлены LMS (Lyrion Music Server) 8.5.2, Perl 5.38, ядро Linux 6.6. Для сборки задействован GCC 13.2;

• обновлены плагины для интеграции с сервисами Spotty 4.10.1, TIDAL 1.4.6, Qobuz 3.5.0, Deezer 2.81.4 и YouTube 0.212;

• удалена поддержка Mysqueezebox.com;

• добавлен модуль Crypt::Blowfish, позволивший повысить производительность плагинов;

• добавлена возможность сохранения содержимого звуковых CD в формате WAV;

• библиотека с информацией об исполнителях и музыкальных композициях CDDB заменена на Gnudb;

• добавлена поддержка обращения к внешним сетевым накопителям через протоколы SMB3 и WebDAV.

Источник: OpenNET.

📌Artificial Analysis собрали топ 100 LLM в одном месте

Компания Artificial Analysis разработала рейтинговую систему, оценивающую стоимость, производительность и качество более 100 LLM, чтобы обеспечить удобный выбор модели, соответствующей индивидуальным потребностям.

Параметры для оценивания LLM:

🟡Качество: комплексный индекс, рассчитанный на основе метрик, таких как MMLU, MT-Bench, оценки HumanEval, а также рейтинг Chatbot Arena;

🟡Цена: метрики, учитывающие цену на вход/выход на один токен, а также среднюю цену для сравнения провайдеров хостинга. Стоимость представляет собой взвешенную смесь цен на входные и выходные токены в соотношении 3:1;

🟡Окно контекста: максимальное количество комбинированных входных и выходных токенов;

🟡Скорость: токены/с, получаемые во время генерации моделью токенов. Median, P5, P25, P75 и P95;

🟡Задержка: время до первого полученного токена, измеренное в секундах, после отправки запроса через API. Median, P5, P25, P75 и P95.

Если хотите изучать машинное обучение, разбираться в LLM и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

#llm

IBM выпустили самую совершенную модель для генерации кода

IBM выпустили Granite Code Models: семейство моделей Open Foundation для интеллектуального анализа и генерации кода

Все модели Granite Code выпущены под лицензией Apache 2.0. 

Модели Granite превосходят модели с открытым исходным кодом по всем параметрам. На рисунке показано, как Granite-8B-CodeBase превосходит Mistral-7B, LLama-3-8B и другие модели с открытым исходным кодом в трех задачах кодинга. Полные оценки можно найти здесь.

Модели отлично справляются с задачами генерации кода, исправления багов объяснения кода, генерации документации к кода.

- Размер моделей варьируется от 3B до 34B параметров

- Обученных на 3-4 тыс. токенах, полученных из 116 языков программирования

▪Github: https://github.com/ibm-granite/granite-code-models

▪Paper: https://arxiv.org/abs/2405.04324

▪HF: https://huggingface.co/collections/ibm-granite/granite-code-models-6624c5cec322e4c148c8b330

Если интересуетесь темой генерации кода и LLM, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

#llm #codegeneration

В очередной раз убедились, что сила Хабра — в сообществе. Сторонние разработчики не только попробовали на практике наш YandexGPT API, но и даже создали для него SDK, который теперь доступен всем в опенсорсе с хорошей документацией.

Обо всём этом они рассказали в своей статье на Хабре. Рекомендую почитать.

Крутой инструмент для просмотра журналов в режиме реального времени.

Транслируйте любое содержимое в веб-интерфейс с автоматически сгенерированными фильтрами. 

Вы можете взять бинарник logdy, направить вывод логов в него, и вы получите на выходе  веб-интерфейс, для удобной работы и фильтрации логов. 

$ brew install logdy

#backend #golang.

▪Github: https://github.com/logdyhq/logdy-core

▪Demo: https://demo.logdy.dev/

▪Инструмент: https://logdy.dev/

#go #golang

Всем, кто любит Go и пишет на нем, еще больше интересного про Golang у меня в канале, там много полезного для Go разработчиков.

🌟 TrustLLM мощный инструмент для оценки ответов LLM

TrustLLM — инструмент на Python для комплексного исследования ответов от LLM. 

TrustLLM рассматривает 6 аспектов ответов: правдивость, безопасность, этичность, соблюдение конфиденциальности и другие.

В этом документе подробно объясняется, как использовать инструмент для  оценки эффективности собственных моделей.

pip install trustllm

▪GitHub

▪Arxiv

▪Docs

▪Project

Если интересуетесь темой Chatgpt и LLM, здесь я публикую разбор свежих LLM моделей, статей и гайдов, кладешь полезной информации.

Теги: #машинноеобучение #datascience #llm

Джерри Безенкон представил дистрибутив Linux Lite 7.0 Release Candidate 1 (RC1). Сборка рассчитана для работы на устаревшем оборудовании и ПК с минимальными системными требованиями по процессору 1 ГГц, 768 МБ ОЗУ и 8 ГБ места для хранения данных.

Дистрибутив Linux Lite 7.0 RC1 основан на ядре Linux 6.8 и Ubuntu 24.04 LTS. В сборку также входят Chrome 124.0, Thunderbird: 115.10.1, LibreOffice: 7.6.6.3, VLC 3.0.20, Gimp 2.10.36.

Ожидается, что финальная версия Linux Lite 7.0 под кодовым именем Galena выйдет в релиз 1 июня 2024 года.

Выпуск Linux Lite 6.0 состоялся в июне 2022 года.

16 мая в 11:00 МСК приглашаем на вебинар «Spark-Greenplum Connector: философия взаимодействия».

На вебинаре мы разберем best practices по работе с распределенно-параллельными системами обмена данных. На примере нашей разработки Spark-Greenplum Connector расскажем, как создать собственное расширение для обмена данными между Apache Spark и внешними системами. И как правильно использовать специальный набор интерфейсов, которые коннектор должен реализовать для взаимодействия с ядром Spark.

🧑🏻‍🏫Спикер вебинара:

Алексей Пономаревский, ведущий администратор баз данных в ITSumma

В программе:

🔻 Что подтолкнуло нас к созданию своего собственного коннектора Spark к СУБД Greenplum.
🔻 С какими вызовами мы столкнулись при написании коннектора и как их решили.
🔻 Цифры и результаты: что у нас получилось в итоге.
🔻 Дальнейшие планы и перспективы разработки.

Вебинар будет интересен администраторам баз данных, DataOps-инженерам и всем специалистам, работающим с построением ETL-процессов, хранением и обработкой больших объемов данных.

👉🏻Регистрация на вебинар доступна по ссылке зашитой в это предложение👈🏻

Подразделение Amazon Web Services (AWS) инвестирует $9 млрд в облачную инфраструктуру Сингапура.

AWS планирует тратить ежегодно $2,25 млрд в течение четырёх лет на расширение инфраструктуры облачных вычислений в Сингапуре. Этот инвестиционный проект нацелен на удовлетворение растущего спроса потребителей на облачные сервисы и ускорение внедрения систем на базе ИИ.

По оценкам Amazon, финансовые вложения компании позволят создать в Сингапуре около 12,3 тыс. рабочих мест с полной занятостью.

«Эти инвестиции вызовут волновой эффект на всей территории Сингапура за счёт ускорения экономического роста и внедрения облачных технологий», — пояснил СМИ региональный менеджер AWS Присцилла Чун.

Ранее глава токийского офиса AWS Тадао Нагасаки заявил, что Amazon инвестирует 2 трлн иен ($13,5 млрд) в облачную инфраструктуру Японии в течение пяти лет.

Готов HTML и EPUB книги об учебной операционной системе xv6.

Яндекс.Диск:

• Книга об xv6 на русском языке в формате PDF

• Книга об xv6 на русском языке в формате EPUB

• Книга об xv6 на русском языке в формате HTML

Google.Drive: https://drive.google.com/drive/folders/1Rt7hcHysWAilDn64uf-RpLACuJ39YKaR

Вопросы и ответы с собеседований большая подборка

Большая, подборка вопросов и ответов с собеседований по ML, Data Science,Ai, статистике, теории вероятностей python, SQL. 

ML

▪100 вопросов c собесов по машинному обучению 2024

▪Сборник ответов с собесов по машинному обучению от FAANG, Snapchat, LinkedIn. 

▪Facebook. Вопросы по машинному обучению 2024 год

▪Google  руководство по прохождению собеса в 2024 году

▪ Подготовка к собеседованию по ML: ответы на основные вопросы 

▪ 14 типичных вопросов с собеседования по ML

▪ Вопросы для собеседования на позицию ML-инженера

▪ Решения вступительных испытаний в ШАД

▪ Решения вступительных испытаний в ШАД архив

▪AI Interviews at Apple, OpenAI, Bloomberg & JP Morgan – What to Expect

▪Apple Machine Learning Engineer (MLE) Interview Guide

▪Junior ML-инженер | Выпуск 1 | Собеседование

▪Успешное собеседование в Яндекс  

▪Как я проходил собеседования на Machine Learning Engineer

NLP

▪100 вопросов и ответов для интервью по NLP

▪Топ-50 вопросов собеседований NLP 

▪ Вопросы по NLP 2024 года

▪ Еще 100 NLP вопросов

DS

▪Материалы для подготовки к интервью data science

▪ Вопросы/ответы DS

▪100 вопросов для подготовки к собесу Data Science

▪Временные ряды. Топ 50 вопросов

Python

▪100 вопросов для подготовки к собесу Python

▪ 50 вопросов по PyTorch

▪45 Вопросов с собеседований Pandas

▪400 самых популярных вопросов-ответов для Python-разработчика

▪100 вопросов видео

▪LeetCode Pandas

AI

▪30 вопросов промпт инжинирингу

SQL

▪Задачи с собеседований SQL

Полный список с разбором можно найти тут.

Основатель Twitter Джек Дорси больше не входит в совет директоров децентрализованной соцсети Bluesky. Компания поблагодарила Дорси за работу и заявила, что ищет нового члена правления.

Ранее пользователь X спросил Дорси, находится ли он в совете директоров компании, и тот ответил «нет». До этого он отписался от всех аккаунтов на X, кроме трёх, при этом назвав платформу Илона Маска «технологией свободы». 

На данный момент в совете директоров Bluesky остались два члена: генеральный директор Джей Гребер и изобретатель Jabber/XMPP Джереми Миллер. 

Первоначально Дорси поддержал Bluesky в 2019 году как проект по разработке стандарта социальных сетей с открытым исходным кодом. Позже он вошёл в совет директоров компании, когда она отделилась от Twitter в 2022 году. Однако Дорси не принимал активного участия в работе компании. В марте, когда Нилай Патель из The Verge спросила Гребера об уровне участия Дорси в Bluesky, она сказала, что «иногда получает некоторую обратную связь». За несколько месяцев до этого сам Дорси закрыл свой аккаунт в Bluesky.

Google анонсировала несколько обновлений для своего цифрового книжного магазина Google Play Books, включая более трёхсот бесплатных научно-популярных электронных книг для детей, совместимых с функцией «Чтение и прослушивание». Дети могут использовать эту функцию, чтобы «читать вслух всю электронную книгу, пока страницы переворачиваются автоматически».

💻 90 дней DevOps — обновлённый сборник

Цель данного цикла статей — быстрый обзор и прохождение основных понятий DevOps.

Вот некоторые из покрываемых тем: 

 — Использование Terraform

 — Сетевое взаимодействие Docker и безопасность

 — Установка minikube

 — Автоматизация сети с помощью Python

 — Работа с Jenkins

 — Визуализация данных в Grafana

 — Обзор ArgoCD

 — State и Ingress в Kubernetes

 — Ansible - контроллер автоматизации (Tower), AWX, Vault

 — Docker Compose

📎 Цикл статей

Если интересуетесь темой Devops, здесь я публикую разбор свежих devops инструментов, статей и гайдов, кладешь полезной информации.

#devops

Разработчик под ником Theo помог разобраться Саше Грей с командной строкой на Bash при работе с бэкапами iPhone в терминале на Macbook. После этого события Грей написала, что благодарна такой помощи.

Sony начала требовать в некоторых регионах для создания/подтверждения учётной записи в PSN регистрационные документы пользователей для проверки их возраста и личных данных.

Apple выпустила рекламный ролик iPhone 15, в котором показан процесс поиска друзей через опцию «Локатор».

Видео вышло на YouTube в честь дня «Звёздных войн», который отмечается 4 мая.

В ролике Apple пользователь в оригинальном фанатском костюме мандалорца с помощью iPhone 15 идёт на встречу к своим друзьям на мероприятие, ища и встречая других мандалорцев на улице, в общественном транспорта и в переполненном конференц-центре.

Дайджест материалов Магнус

Самой короткой рабочей неделе в году — самый короткий материал! Делимся подборкой статей за последние три месяца.

Что может быть важнее данных? То, как они хранятся, используются и воспроизводятся. Эти и другие возможности есть в инструменте ClearML: рассказываем о работе с ним.

Высококачественные данные — это «топливо» для моделей глубокого обучения. Рассказали в этом материале, с помощью чего можно улучшить качество данных.

Предсказывать цены могут не только крупные ритейлеры, но и розничные офлайн-магазины. Как? Рассказали здесь.

Как тимлиду ML-команды выстроить качественные продуктивные отношения с коллегами? Узнали у senior-разработчика, советы собрали тут.

Как учиться, чтобы время и усилия были слиты не зря? Подготовили 10 советов для тех, кто хочет получить от курсов всё.

Получили интересное мнение из первых рук: Роман Резников, senior-разработчик и DL-engineer, рассказал про промт-инжиниринг в работе и личной жизни.

Starlink не смогла решить вопрос с работой своих приёмников вне разрешённых геозон. Так, они продолжают работать в странах Южной Африки.

В прошлом месяце Starlink предупредила африканских пользователей о том, что у них есть время до 30 апреля для перемещения приёмников в разрешённые геозоны. 

В начале мая 73% роуминговых клиентов Starlink в Южной Африке сообщили, что их устройства всё ещё работают за пределами Мозамбика, Замбии, Малави, Руанды, Кении, Нигерии и Бенина — стран, где разрешено их использование.

Услуга глобального роуминга стоимостью $200 в месяц позволяет пользователям получать доступ к Интернету из любого места, где может подключиться спутник Starlink. Однако многие клиенты злоупотребляют ею, ввозя приёмники в страны, где компания не предлагает постоянных услуг.

Компания пока официально не комментировала ситуацию.

🔥 Если вы хотите погрузиться в  компьютерное зрение, вот ваш шанс с новым бесплатным курсом от hf.

Крутые спецы из сообщества huggingface объединились, чтобы создать курс, разработанный сообществом для всех желающих.

🖥️ Что в курсе:

🔹 Основы компьютерного зрения

🔹 Сверточные нейронные сети

🔹 Трансформеры

Генеративные Модели 

🔹 Обработка видео

🔹 3D , отображение сцены и реконструкции

🔹 Этика и CV

и многое другое...

📚 Курс

В своем канале я собрал 120 бесплатных курсов в различных областях машинного обучения и data science, присоединяйтесь.

#machinelearning #artificialintelligence #ai #datascience #машинноеоубчение #python