Недавно мы рассказали о способах, с помощью которых сэкономили более миллиона долларов на годовом обслуживании AWS. Хотя мы подробно рассказывали о различных проблемах и решениях, всё равно самым популярным вопросом был: «Я знаю, что слишком много трачу на AWS, но как в реальности разбить эти траты на понятные части?»

На первый взгляд, проблема кажется довольно простой.

Вы можете легко разбить свои расходы AWS по месяцам и закончить на этом. Десять тысяч долларов на EC2, одна тысяча на S3, пятьсот долларов на сетевой трафик и т.д. Но здесь отсутствует кое-что важное — на сочетание каких именно продуктов и групп разработки приходится львиная доля расходов.

И учтите, что у вас могут меняться сотни инстансов и миллионы контейнеров. Вскоре то, что поначалу казалось простой аналитической проблемой, становится невообразимо сложным.

В этом продолжении статьи мы хотели бы поделиться информацией о наборе инструментов, который сами используем. Надеемся, что сумеем предложить несколько идей, как анализировать свои затраты AWS независимо от того, работает у вас парочка инстансов или десятки тысяч.

Давно меня посетила идея организовать маленькое сетевое хранилище дома. Для чего? В первую очередь для фото, и еще нескольких файлов которые не хотелось бы потерять. Ну раз уж пошла такая пляска то и организация человеческой медиатеки.

Смотрел я на модели именитых брендов, такие как дели Synology и QNAP, даже чуть не взял QNAP TS-469 Pro, но жаба таки сделала свое дело.

Начал я бороздить просторы интернета в поисках публикаций с вариантами постройки хранилищ своими ручками, это и интересно и мне тогда показалось что дешевле

Можно ли построить систему отопления собственного жилища без газовой трубы так, чтобы это было комфортно, не утомительно и даже увлекательно? И что может получиться, если приправить всё это информационными технологиями?


Давайте вместе в этом разберемся.

Сериал HBO «Кремниевая долина» выпустил настоящее приложение ИИ, которое распознаёт хотдоги и не-хотдоги, как приложение в четвёртом эпизоде четвёртогого сезона (приложение сейчас доступно для Android, а также для iOS!)

Чтобы добиться этого, мы разработали специальную нейронную архитектуру, которая работает непосредственно на вашем телефоне, и обучили её с помощью TensorFlow, Keras и Nvidia GPU.

Очень долго хотел написать статью, но не хватало времени. Нигде (в том числе на Хабре) не нашёл такой простой альтернативы munin, как описанная в этой статье.

29 Июля вышел React 15.3, и первым пунктом в release-notes значилось добавление поддержки React.PureComponent, который заменяет своего предшественника pure-render-mixin. В этой статье обсудим, почему же этот компонент так важен и где его использовать.

В первой статье мы рассмотрели механизм индексирования PostgreSQL, во второй — интерфейс методов доступа, и теперь готовы к разговору о конкретных типах индексов. Начнем с хеш-индекса.

Hash

Устройство

Общая теория

Многие современные языки программирования включают хеш-таблицы в качестве базового типа данных. Внешне это выглядит, как обычный массив, но в качестве индекса используется не целое число, а любой тип данных (например, строка). Хеш-индекс в PostgreSQL устроен похожим образом. Как это работает?

Как правило, типы данных имеют очень большие диапазоны допустимых значений: сколько различных строк можно теоретически представить в столбце типа text? В то же время, сколько разных значений реально хранится в текстовом столбце какой-нибудь таблицы? Обычно не так много.

Идея хеширования состоит в том, чтобы значению любого типа данных сопоставить некоторое небольшое число (от 0 до N−1, всего N значений). Такое сопоставление называют хеш-функцией. Полученное число можно использовать как индекс обычного массива, куда и складывать ссылки на строки таблицы (TID). Элементы такого массива называют корзинами хеш-таблицы — в одной корзине могут лежать несколько TID-ов, если одно и то же проиндексированное значение встречается в разных строках.

Хеш-функция тем лучше, чем равномернее она распределяет исходные значения по корзинам. Но даже хорошая функция будет иногда давать одинаковый результат для разных входных значений — это называется коллизией. Так что в одной корзине могут оказаться TID-ы, соответствующие разным ключам, и поэтому полученные из индекса TID-ы необходимо перепроверять.

Месяц назад компания Docker на конференции DockerCon 2017 официально представила свой новый Open Source-проект — Moby. Если это просто ещё один дополнительный проект, нужный кому-то, кто работает с Docker… то почему, как заметили внимательные пользователи, основной репозиторий компании в GitHub — docker/docker — стал пересылать на moby/moby?



Забегая вперёд и заранее отвечая на вопросы разработчиков, использующих Docker как простой способ запуска приложений в контейнерах: Moby — проект не для вас. Несмотря на его появление и происходящие внутри перестановки, «внешне» (для пользователей Docker как готового продукта) ничего не изменится. А для тех, кто настроен более глубоко разобраться в этих перестановках (весьма значимых!) и, возможно, даже воспользоваться ими для решения своих задач… начну с краткого экскурса в новейшую историю развития Docker.

В прошлой части статьи о разработке PowerBank для ноутбука мы остановились на изготовленном макете, измеренном КПД и пониманием того, что делать дальше. А дальше нужно было оживлять железку. Поэтому представляю вашему вниманию часть вторую: ПО макета.

Привет Geektimes! Данная статья является продолжением предыдущей части, про опыт установки 100-ваттной солнечной батареи на балконе. В первоначальном варианте к батарее был подключен DC-DC преобразователь, от которого можно заряжать различные домашние устройства. Следующим шагом было решено добавить возможность накопления энергии для использования в вечернее и ночное время.


Что получилось, подробности под катом.

Привет Geektimes. Данная статья является продолжением предыдущей части, про туристическое зарядное устройство "Anker Solar 21Вт". Идея использования солнечной батареи для зарядки разных гаджетов мне показалась весьма перспективной, но конечно, 21Вт в качестве универсальной зарядки мало — хочется иметь возможность заряда не только в солнечную погоду, а для этого нужен запас по мощности. Поэтому были куплены полноценные солнечные панели и начаты эксперименты с ними.


Что из этого получилось, подробности под катом.

Внимание! В рецепте с отбеливателем обнаружилась опасность коррозии металла! Не рекомендуется в стандартном применении!

Обзор экспериментов год спустя:
DIY порошок для посудомойки: как не растворить посуду и не повторить моих ошибок. Год экспериментов

В прошлой публикации мы создавали дешевый порошок для посудомойки из желудей и спичек кальцинированной соды и стирального порошка. В этой я расскажу о том, как можно его улучшить с помощью кислородного отбеливателя и где можно купить компоненты для более продвинутой версии. Будем делать упор на эффективности мойки, но даже при этом цена не выйдет за 100 рублей/килограмм. А еще будет рецепт ополаскивателя с себестоимостью в районе 1 рубля за литр. Как справедливо заметил amarao, занятие не для всех и многим проще использовать готовые таблетки. Но в подобных экспериментах с бытовой химией есть что-то от детства, первых опытов по смешиванию соды с уксусом и газировки с мятными конфетами. Так что ощутимая экономия здесь все-таки вторична. Будем развлекаться) Если кому-то лень читать весь текст — в конце поста будут подробные рецепты с рекомендациями.

Update
Новый вариант порошка и более подробный разбор во второй части: DIY порошок для посудомойки: разбираем промышленные средства и улучшаем рецепт

Сейчас расскажу, как из соды и стирального порошка сделать порошок для посудомоечной машины. Такой же по составу, только дешевле на порядок.

Есть очень много областей нашей жизни, где наше представление формирует исключительно маркетинговый буллшит. Увы, большинство людей даже не пытаются задумываться о том, что лежит в основе всего этого. Очень часто рыночная ситуация приводит к тому, что себестоимость продукта составляет 0.5% от его цены. Остальное маркетинг, наценки, логистика, упаковка и тому подобное. Почти все в курсе про концепцию продажи чернил для принтера по цене слез гималайских девственниц и настойчивые рекомендации производителей использовать только оригинальные расходные материалы. Например, совсем недавно меня озарило, что 1.5 грамма сухого вещества во флаконе удобрений для растений не могут стоить 200-250 рублей. А ведь именно такое количество может уместиться в относительно стабильном состоянии в виде раствора. Я сразу представил себе гектары полей и грузовики, которые везут тонны порошка. В результате перешел на расфасовки по 1 кг Буйских комплексных сухих удобрений. Можно ванну раствора приготовить.

Сегодня будем создавать ультра-дешевый порошок для посудомойки. Уменьшение реальной зарплаты и удорожание импортной бытовой химии заставило перерыть учебники, просмотреть кучу материалов с форумов химиков и попытаться найти способы экономии на расходниках. Очень уж ощутимо стал стоить порошок. Результаты вдумчивого исследования и экспериментов сильно удивили. Для промышленного применения чаще всего химиками-технологами создаются индивидуальные рецептуры в зависимости от качества воды и задач. Почему бы нам не попробовать разобраться во всем этом?

TLDR:

70% прокаленной соды и 30% стирального порошка вместо моющего средства.
Если очень лень возиться с содой, то просто порошок Биолан или его аналоги. Сода удешевляет.
Пищевая соль «Экстра» вместо соли.

Всем привет! Хочу поделиться своим переводом статьи React is Slow, React is Fast: Optimizing React Apps in Practice автора François Zaninotto. Надеюсь, это кому-то будет полезным.

Краткое содержание:

1. Измерение производительности React
2. Почему ты обновился?
3. Оптимизация через разбиение на компоненты
4. shouldComponentUpdate
5. Recompose
6. Redux
7. Reselect
8. Остерегайтесь объектных литералов в JSX
9. Заключение

React может быть медленным. Я хочу сказать, что любое React приложение среднего размера может оказаться медленным. Но прежде, чем искать ему замену, вы должны знать, что и любое среднее приложение на Angular или Ember может также оказаться медленным.

Хорошая новость в том, что если вы действительно заботитесь о производительности, то сделать React приложение очень быстрым довольно легко. Об этом — далее в статье.

 
Hacksplaining представляет каталогизированный и наглядный онлайн-туториал по основным веб-уязвимостям. По каждой уязвимости представлено подробное описание, насколько часто встречается, как сложно ее эксплуатировать и уровень ее критичности. К каждой уязвимости приложено подробное описание, вектор эксплуатации, уязвимый код и рекомендации по устранению и защите. В качестве примера в статье приведен разбор одного из заданий по взлому виртуального онлайн-банкинга с помощью эксплуатации sql-инъекции.

Английские шахтёры бурят каменный уголь, 1924 год. Фото: PA

Пятница 21 апреля 2017 года стала историческим днём для электроэнергетики Великобритании. Впервые со времён Промышленной революции 19 века эта индустриальная страна избавилась от угля как источника электроэнергии. Если вы знакомы с историей Великобританией, то можете понять эпохальность этого события. Уголь здесь добывали ещё до вторжения римлян, то есть в Бронзовом веке — на это указывают топоры, найденные в отложениях угля. Правда, в древности уголь нужен был для других целей — для обжига (получение кирпичей, железа), а не для выработки электричества. В промышленных целях уголь будут использовать и в будущем, но не для электрогенерации.

В 2003 году в Евросоюзе возник большой проект Desertec, представлявший тогдашнее видение о переводе Европы на рельсы возобновляемой энергетики. Основой “зеленой энергетики” ЕС должны были стать тепловые электростанции с концентрацией солнечной энергии, расположенные в пустыне Сахара, способные запасать энергию как минимум на вечерний пик потребления, когда обычная фотовольтаика уже не работает. Особенностью проекта должны были стать мощнейшие линии электропередач (ЛЭП) на десятки гигаватт, с дальностью от 2 до 5 тысяч км.


СЭС подобного рода должны были стать основной европейской возобновляемой энергетики.

Проект просуществовал около 10 лет, и затем был заброшен концернами-основателями, так как действительность Европейской зеленой энергетики оказалась совершенно другой и более прозаичной — китайская фотовольтаика и наземная ветрогенерация, размещаемая в самой Европе, а идея тянуть энергетические магистрали через Ливию и Сирию — слишком оптимистичной.


Планировавшиеся в рамках desertec ЛЭП: три основные направления с мощностью по 3х10 гигаватт (на картинке одна из более слабых версий с 3х5) и несколько подводных кабелей.

Однако, мощные ЛЭП возникли в проекте desertec не случайно (забавно, кстати, что площадь земли под ЛЭП в проекте получалась больше площади земли под СЭС) — это одна из ключевых технологий, которая может позволить ВИЭ-генерации вырасти до подавляющей доли, и наоборот: при отсутствии технологии передачи энергии на большие расстояния ВИЭ, вполне возможно, обречены на не более чем на долю в 30-40% в энергетике Европы.

Проект не содержит Ардуино


Этот проект изначально должен был выглядеть иначе — монументальное сооружение, состоящее из тумбы с канистрами и насосами, водружённого на неё аквариума и помидорного оазиса поверх него. В райских кущах помидорного оазиса планировался водопад, а в аквариуме — рыбные формы жизни, главное требование к которым — умение поедать незапланированных жителей аквариума и держать в чистоте стёкла; основные кандидаты — сомики и гурами. Как вы уже могли догадаться, мой девиз — «лень — двигатель прогресса» (и чего только не сделаешь, чтобы аквариум не чистить и помидоры не поливать).

Население Земли постоянно растет, соответственно, увеличивается потребность в продуктах питания. Об этом говорят уже много лет, причем некоторые ученые считают, что в скором времени планета не сможет прокормить всех людей. Другие специалисты утверждают, что никакой проблемы с едой для людей нет, нужно лишь разработать новые способы культивирования растений, чтобы получать больше биомассы в единицу времени. Причем растения нужны не только людям, но и животным, которых выращивает человек для своих нужд, особенно — для крупного рогатого скота.

Один из наиболее перспективных способов достижения желаемого — создание вертикальных ферм. Многоэтажные стеллажи или даже здания с растениями на каждом ярусе делают возможным получение зеленого продукта в больших количествах даже в черте города. Здесь на помощь приходят и высокие технологии. Например, сельскохозяйственная компания FodderWorks разработала полностью автономную систему, которая способна работать без участия людей, работая гораздо более эффективно, чем фермер-человек.

Верхний бьеф (резервуар) одной из действующих ГАЭС

Северный Рейн-Вестфалия — крупный промышленный регион Германии. Здесь расположены фабрики, заводы, угольные и железорудные шахты. Что касается угольных шахт, то они постепенно закрываются, администрация региона планирует вывести из эксплуатации последнюю шахту в 2018 году. Причина — устаревшая инфраструктура, невысокие цены на электроэнергию (что в ряде случаев делает добычу угля в качестве топлива для тепловых электростанций невыгодным делом), желание улучшить состояние окружающей среды.

Одна из шахт, которые собираются закрыть — Проспер-Ханиель. Правда, объект не будет законсервирован полностью. Эту шахту превратят в гидроаккумулирующую электростанцию. В своей работе электростанции такого типа используют комплекс генераторов и насосов либо обратимые гидроэлектроагрегаты. Они могут работать как в качестве генераторов, так и в качестве насосов. Ночью воду перекачивают в резервуар, находящийся относительно высоко. Утром и вечером, во время пикового потребления энергии такая электростанция сбрасывает полученную воду из верхнего резервуара в нижний, генерируя энергию.