Как стать автором
Обновить
8
0
elkipalki @elkipalki

Пользователь

Отправить сообщение

Искусство ETL. Пишем собственный движок SQL на Spark [часть 2 из 5]

Уровень сложностиСложный
Время на прочтение13 мин
Количество просмотров1.9K

image


В данной серии статей я подробно расскажу о том, как написать на Java собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных.

Краткое содержание предыдущей серии:
Вступление
Постановка задачи
Проектирование языка. Операторы жизненного цикла наборов данных
Проектирование системы типов


Предупреждение о рейтинге «M for Mature»

Уровень сложности данной серии статей — высокий. Базовые понятия по ходу текста вообще не объясняются, да и продвинутые далеко не все. Поэтому, если вы не разработчик, уже знакомый с терминологией из области бигдаты и жаргоном из дата инжиниринга, данные статьи будут сложно читаться, и ещё хуже пониматься. Я предупредил.

Читать дальше →

«Дыры» стартапов: самые распространенные проблемы молодых компаний, которые мешают их развитию

Время на прочтение7 мин
Количество просмотров57K
Каждый месяц Фонд развития интернет-инициатив проводит мероприятия для предпринимателей под названием «Бизнес-секреты». На этих встречах лидеры стартап-индустрии делятся со слушателями секретами увеличения прибыли проекта и дают советы по его продвижению. Такие мероприятия для их участников не только полезны, но и бесплатны – достаточно только зарегистрироваться и прийти на встречу в наш мультимедийный конференц-зал Сити Холл в БЦ Silver City.

В октябре на одном из таких мероприятий Артем Азевич, руководитель трекинга ФРИИ, рассказал о «дырах» стартапов или «узких местах», которые необходимо заделывать, чтобы в разы улучшить их бизнес-показатели. Данный материал на основе выступления, дополненный кейсами проектов, рассказывает об этапах развития IT-стартапа на ранней стадии и о самых распространенных проблемах предпринимателей, которые не дают им начать зарабатывать. Почему это происходит?
Читать дальше →

Новая редакция закона о ПД: нужно ли нам бояться?

Время на прочтение7 мин
Количество просмотров19K
В конце июля Президент подписал законопроект о внесении поправок в федеральный закон «О персональных данных». Закон этот был опубликован в "Российской газете" 27 июля, и тогда же вступил в силу. Вдобавок, ему придана еще и «обратная сила»: действие его распроостраняется и на те правоотношения, которые возникли с 1 июля. Принятию предшествовала бурная дискуссия: несколько специалистов в области информационной безопасности обратились к Президенту с открытым письмом, в котором призвали его закон ни в коем случае не подписывать. По мнению подписантов письма, предлагаемые поправки не соответствуют конвенции Совета Европы «О защите физических лиц при автоматизированной обработке персональных данных», хотя целью проекта было именно выполнение ее требований.

Та схема определения мер по защите персональных данных, которая принята сейчас, в корне противоречит конвенционной. По конвенции лицо, которое обрабатывает информацию, может само определять, с помощью каких средств можно их защищать. А вот отечественный закон сам устанавливает такие требования, предусматривая ответственность за их неисполнение. Причем, по мнению авторов письма, требования эти представляют собой «методы и способы защиты государственной тайны 20-летней давности». Сам текст законопроекта изначально имел компромиссный характер, давая оператору персональных данных большую свободу действий при выборе средств защиты. Но в процессе принятия текст его был изменен. Ну что ж, давайте посмотрим, что за поправки.
Читать дальше →

Обзор свежих материалов, июнь 2011

Время на прочтение11 мин
Количество просмотров1.2K
Этот материал продолжает серию ежемесячных обзоров свежих статей по теме интерфейсов, новых инструментов и коллекций паттернов, интересных кейсов и исторических рассказов. Из лент нескольких сотен тематических подписок отбирается примерно 5% стоящих публикаций, которыми интересно поделиться. Предыдущие материалы: апрель 2010-май 2011.


Читать дальше →

Информация

В рейтинге
Не участвует
Откуда
Ижевск, Удмуртия, Россия
Дата рождения
Зарегистрирован
Активность