Обновить

Моя лента

Тип публикации
Порог рейтинга
Уровень сложности
Предупреждение
Войдите или зарегистрируйтесь, чтобы настроить фильтры
Пост

Spark SQL Scripting. Новые возможности для инженеров данных

Коллеги в новой статье «Spark SQL Scripting» представили добротный туториал с практическим разбором возможностей Spark SQL Scripting для инженеров данных.

Spark SQL Scripting, появившийся в 4-й версии, представляет собой процедурное расширение классического Spark SQL. Теперь разработчики могут писать полноценные многошаговые сценарии непосредственно на уровне SQL-артефактов, внедряя в них управляющую логику.

Spark SQL Scripting – это не просто синтаксический сахар, а эволюционный шаг в сторону сближения классического функционала аналитических СУБД (таких как Oracle PL/SQL, MS SQL Server T-SQL) с мощью распределенных вычислений Apache Spark. Использование Scripting позволяет инженерам данных собирать пайплайны обработки на «чистом SQL», не прибегая к сторонним компонентам и языкам разработки, тем самым сокращая кодовую базу и снижая барьер входа для дата-аналитиков.

Как это работает в типовых сценариях применения (пакетные DDL/DML-последовательности обработки, подготовка и расчет витрин данных, проверки качества данных, Runbook-операции), читайте по ссылке. Бонус для дочитавших статью до конца – свод практических рекомендаций и архитектурных паттернов при работе со Spark SQL Scripting.

Теги:
+1
Комментарии0
Новость

Anthropic проиграла апелляцию Пентагону: суд отказал в блокировке, компания не сможет получать контракты Минобороны

Время на прочтение2 мин
Охват и читатели4.4K

Федеральный апелляционный суд округа Колумбия 8 апреля 2026 года отклонил запрос компании Anthropic, разработчика ИИ-модели Claude, о временной блокировке решения Пентагона, внесшего её в чёрный список как угрозу национальной безопасности и цепочке поставок, сообщает CNBC.

Читать далее
Статья

Укрощаем зоопарк, или Тестируем с помощью собственных API-mocks

Время на прочтение7 мин
Охват и читатели5.7K

Как тестировать систему, если половина её компонентов — это «чёрные ящики» с уникальными протоколами, а стандартные API-mocks не справляются? С точки зрения готовых решений — тупик… 

Меня зовут Дмитрий, я AQA-инженер в ИнфоТеКС. Мы с командой столкнулись с этой проблемой и создали собственные API-mocks, которые не просто отвечают шаблонными сообщениями, а ведут себя как настоящие компоненты системы. В этой статье — наш путь от идеи до работающего решения, которое можно адаптировать под ваши задачи.

Читать далее
Статья

Kotlin для новичков: всё о функциях за 15 минут

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели5.9K

Продолжаем серию «Kotlin для новичков»!

В прошлых статьях мы настроили IDE, разобрались с переменными и типами данных, научились управлять потоком программы через условия и циклы. Пришло время сделать следующий шаг — освоить функции.

В этом туториале вы узнаете:

▪️ Как объявлять функции и чем это отличается от Java.
▪️ Что такое именованные аргументы и значения по умолчанию (и почему это круто).
▪️ Как работает стек вызовов и области видимости.
▪️ Главные best practices, которые используют в разработке.

Читать далее
Статья

Я разучился получать удовольствие от программирования из-за LLM. Его вернул шкаф

Уровень сложностиПростой
Время на прочтение10 мин
Охват и читатели7.3K

LLM сделали меня сильно эффективнее, расширили диапазон моих услуг, но вместе с этим почти убили ту часть разработки, ради которой я вообще когда‑то в нее пришел.

А потом мне привезли шкаф. И он неожиданно все расставил по местам.

Читать далее
Статья

Ваш собес уже в базе

Время на прочтение6 мин
Охват и читатели4.7K

Привет, Habr.

Обычно найм представляют довольно просто: есть вакансия, есть кандидат, есть несколько этапов собеседования, после которых человек либо получает оффер, либо отказ. Такая картина хорошо смотрится в HR-отчётах и презентациях, но в реальности всё устроено заметно сложнее.

Если чуть дольше повариться в рынке, становится видно, что вокруг собеседований уже давно существует отдельная инфраструктура. Речь про слитые вопросы, базы по компаниям, закрытые чаты, документы и каналы, где собирают и передают друг другу реальные этапы найма. Причём это уже давно не история про редкие “утечки” или единичные случаи. Для части рынка это вполне рабочий инструмент подготовки.

Сразу уточню важный момент. Эта статья не про мораль, не про публичные разоблачения и не про попытку назначить кого-то злодеем.

Мне интереснее разобрать само явление: почему рынок слитых собеседований вообще появился, как он работает и почему стандартные процессы найма сами неплохо помогают ему жить.

Потому что проблема тут не только в кандидатах, которые хотят пройти собес по короткому пути. Проблема ещё и в том, что многие компании годами проводят одни и те же интервью почти в одном и том же виде, а значит рано или поздно этот процесс начинает жить своей отдельной жизнью.

Читать далее
Статья

Паттерны конкурентности в Go. Подробный разбор. Часть 3. Pub/Sub

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели4K

Пример паттерна Pub/Sub на Go с подробным описанием кода. Пример подходит для знакомства с паттерном в процессе обучения, собеседования. В статье есть ссылка на полноценную библиотеку, созданную на основе данного примера.

Читать далее
Новость

uWAF как услуга: UserGate и Nubes запускают облачный сервис для защиты веб‑приложений

Время на прочтение3 мин
Охват и читатели4.2K

UserGate, ведущий российский разработчик решений в области информационной безопасности и архитектор сетевого доверия, и компания Nubes, провайдер безопасных облачных сервисов для бизнеса, объявили о начале предоставления услуги Nubes Cloud WAF на базе межсетевого экрана для защиты веб‑приложений UserGate WAF (uWAF).

Читать далее
Новость

Вебинар «ALD Pro 3.2 — новый уровень управления ИТ-инфраструктурой» 15 апреля в 11:00

Время на прочтение1 мин
Охват и читатели3.2K

«Группа Астра», ведущий российский разработчик инфраструктурного ПО, выпустила новую версию службы каталога ALD Pro 3.2 c долгосрочной поддержкой (LTS). 

Приглашаем на бесплатный вебинар, 15 апреля в 11:00, где покажем, какие изменения вошли в ALD Pro 3.2 и что они дают на практике — для администраторов, служб ИБ и команд, которые сопровождают крупную доменную среду.

В программе:

🔹Что меняется в ALD Pro 3.2 LTS и какие задачи релиз закрывает в эксплуатации;

🔹Как развиваются механизмы безопасности, групповых политик и PKI;

🔹Какие улучшения особенно важны для крупных инфраструктур.

Эксперты в прямом эфире покажут ключевые обновления новой версии, а также ответят на ваши вопросы.

Зарегистрироваться

Читать далее
Новость

Операторы спутникового ТВ восстановили вещание в Сибири после аварии спутника

Время на прочтение2 мин
Охват и читатели8.1K

Операторы спутникового телевидения «НТВ‑Плюс» и «Триколор» восстановили вещание для абонентов на Урале и в Сибири после аварии спутника «Экспресс‑АТ1».Абонентам

Спутник «Экспресс‑АТ1» принадлежит госпредприятию «Космическая связь». «Экспресс‑АТ1» находится на позиции 56 градусов восточной долготы. Ранее спутник использовали операторы «НТВ‑Плюс», «Национальная спутниковая компания» с брендом «Триколор» и «Русский мир».

Госпредприятие «Космическая связь» переориентировало спутник «Экспресс‑АТ2» с позиции 140 градусов на 56 градусов восточной долготы. Это лишило его возможности вещания на Дальний Восток. Абонентам в этом регионе пообещали найти альтернативу в кратчайшие сроки.

Читать далее
Статья

Полтора года без ручного кода: почему инструкции ИИ‑агенту не заменяют инженерную дисциплину

Уровень сложностиСредний
Время на прочтение19 мин
Охват и читатели8.1K

ИИ‑агенты вроде Claude Code и Cursor умеют писать код. Но одного файла с инструкциями им хватает ровно до первых сложных задач. Дальше агент молча трогает семь модулей вместо одного, уверенно додумывает чужой API и третий раз подряд наступает на одни и те же грабли. На тридцатом проекте становится ясно, что нужен полноценный инженерный стандарт, а не набор личных правил. В индустрии такого стандарта до сих пор не было, поэтому пришлось написать его самому. Так появились SENAR (открытый стандарт инженерного процесса для разработки с ИИ‑агентами) и фреймворк TAUSIK к нему. Первая статья из шести рассказывает, из какой конкретно боли они выросли.

Читать далее
Новость

“Производительность ×10–100, эксплойты за часы вместо недель”: что говорят ИБ-специалисты об отмене Claude Mythos

Время на прочтение2 мин
Охват и читатели5.4K

Anthropic не стала публично выпускать свою новую ИИ-модель Claude Mythos, которая способна автономно находить, анализировать и эксплуатировать уязвимости в софте в промышленных масштабах. В блоге компании сообщается, что Mythos – это “поворотный момент”. Модель настолько мощна, что даже неспециалисты в области кибербезопасности смогут использовать её для поиска и эксплуатации сложных уязвимостей. За время тестирования Claude Mythos Preview обнаружила тысячи критических дыр в безопасности, включая zero-day-уязвимости, для которых нет готовых исправлений. Эксперты по кибербезопасности, опрошенные Business Insider, признают: за объявлением Anthropic стоит не только маркетинг.

Читать далее
Пост

Регистрация на True Tech Hack 2026 — онлайн-хакатон, где нужно разработать одно из ИИ-решений, — открыта до 10:00 (мск) 10 апреля. Общий призовой фонд соревнования составит 1,5 млн рублей.

Какие задачи будут на хакатоне:

  1. GPTHub: единое окно для всех ИИ-задач 

    Нужно создать универсальное веб-приложение на базе OpenWebUI, которое объединяет текст, голос, изображения и работу с файлами в одном чате, автоматически выбирая нужную модель под задачу и используя долгосрочную память.

  2. LocalScript: локальная агентская система для генерации Lua-кода 

    Требуется разработать автономную агентскую систему на локальной (легкой) LLM, которая генерирует и валидирует Lua-код без отправки данных во внешние сервисы.

  3. WikiLive: живые таблицы в тексте 

    Необходимо создать модуль живой вики-системы, где текст и таблицы становятся единым инструментом для совместной работы и управления знаниями.

Расписание:

10 апреля, 10:00 — окончание регистрации.

10 апреля, 12:00 — публикация условий задач.

10 апреля, 17:00 — онлайн-открытие и сессия с ответами на вопросы.

11 апреля — отдельный чекпоинт по каждой задаче:
GPTHub: 12:00–14:00
LocalScript: 14:00–16:00
WikiLive: 16:00–18:00

13 апреля — отдельный чекпоинт по каждой задаче:
WikiLive: 13:30–15:00
GPTHub: 15:00–16:30
LocalScript: 16:00–18:00

15 апреля, 10:00 — окончание загрузки решений.

18 апреля, 18:00 — публикация списка финалистов.

24 апреля — офлайн-финал в Москве.

Подробные условия смотрите на сайте проекта.

Теги:
+3
Комментарии0

Ближайшие события

Статья

Как я строил Smart Search для анализа вакансий: семантика, 152-ФЗ и борьба за экономию токенов

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели4.5K

Привет, Хабр! Меня зовут Денис, я продолжаю рассказывать о своём проекте. Эта статья — не очередной обзор фич. Это инженерный пост‑мортем: как я спроектировал умный поиск вакансий, где упёрся в 152-ФЗ, как считал экономику каждого прогона и какие ошибки успел наделать в продакшене.

Если вы делаете LLM/ML‑фичи для B2C/B2B‑продукта в РФ, многие решения покажутся знакомыми, а некоторые — спорными. Буду рад обсуждению в комментариях.

Читать далее
Новость

Google Meet теперь предлагает перевод речи в приложениях для Android и iOS

Время на прочтение1 мин
Охват и читатели4.3K

Приложения Google Meet для iOS и Android получили функции перевода речи в режиме реального времени. Месяц назад эта функция на базе Gemini дебютировала в веб-версии сервиса.

Читать далее
Статья

Мы выпустили игру в ранний доступ и всё пошло не так

Время на прочтение5 мин
Охват и читатели6.4K

Ritualist — это isometric roguelike в стилистике low poly. В ранний доступ мы вышли 5 марта, а до этого участвовали в Steam Next Fest с демкой (об этом хочется выложить отдельную статью, там отдельный пласт проблем и неоправданных ожиданий). Команда за время разработки сильно менялась: сначала нас было много, потом люди уходили, и сейчас в проекте осталось пять человек. Сама игра была в разработке больше 2 лет, но плотно ей заниматься начали всего полгода назад: как раз когда команда сократилась до этого ядра.Почему так вышло? Потому что до этого мы толком не знали, как управлять продуктом, не умели договариваться и делали ставку не на те вещи. Рассказываем по порядку: что было до раннего доступа, что случилось после и с чем мы боремся сейчас.

Читать далее
Статья

Цифровая зрелость: третий этаж, который строят без фундамента

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели6.3K

TL;DR

ИТ-гигиена — чтобы не упасть. ИБ-гигиена — чтобы не потерять. Цифровая зрелость — чтобы расти. Три уровня одной пирамиды, которые большинство компаний строят в обратном порядке или вообще по отдельности.

В статье: чем цифровая зрелость отличается от ИТ и ИБ зрелости, как устроена шкала от 0 до 4 и где на ней реально находится средний бизнес в России, шесть доменов оценки, шесть ловушек в которые попадают почти все — и шесть шагов чтобы начать без консалтинга и лишних трат.

Полезно CDTO, CTO, CIO и всем, кто отвечает за цифровизацию в компании от 50 до 500 человек.

Читать далее
Статья

Масштабируем OpenClaw: Docker, Kubernetes и отказоустойчивость

Уровень сложностиСредний
Время на прочтение12 мин
Охват и читатели6.5K

Запущенный на сервере OpenClaw решает большинство задач, которые пользователи ставят перед агентами. Для личного использования, параллельных запусков и несложной автоматизации его возможностей хватит с запасом. Одного VPS перестает хватать, когда приходят они: пиковые нагрузки.

В продакшене пиковые нагрузки у OpenClaw появляются раньше, чем можно ожидать. И когда это случается, варианта остается два: подбросить в печь больше вычислительных мощностей или пересмотреть архитектуру. Если второй вариант вам ближе, то эта статья для вас. Сегодня мы разберем контейнеризацию в Docker, отказоустойчивый деплой через Kubernetes, а также управление stateful-хранилищем, без которого стабильный запуск нескольких инстансов невозможен.

Все на борт!
Статья

AI КОМП-АС — разбор фреймворка. О: Откуда мы выходим?

Уровень сложностиСложный
Время на прочтение6 мин
Охват и читатели5.3K

Продолжаем разбирать по буквам AI КОМП‑АС, навигационный фреймворк внедрения технологий искусственного интеллекта в бизнес — в данной статье ответим на очевидные, но при этом часто игнорируемые вопросы: О: Откуда мы выходим? Зачем организации понимать, где она сейчас, чтобы прийти туда, куда она хочет? Как это сделать?

Полное описание фрейморка можно найти здесь.

Читать далее
Новость

Just AI открыла публичный доступ к Agent Platform Cloud

Время на прочтение3 мин
Охват и читатели5K

Just AI Agent Platform Cloud — облачная платформа для создания AI-агентов и мультиагентных систем. Теперь любая компания может автоматизировать бизнес-процессы без долгой разработки, необходимости строить собственную инфраструктуру и найма целой команды.

Рассказываем, что внутри и для кого это полезно.

Читать далее