Лет пять назад online IDE были такими себе игрушками, вызывающими дикий восторг у гиков и любителей всего нового. Да, что тут говорить, вероятнее всего, сами создатели таких сервисов не до конца понимали, куда же заведут их стремления и проделанная работа. Все начиналось с банального онлайн блокнота с парой-тройкой менюшек и компилятора для пары-тройки языков. Вообще, довольно-таки интересно наблюдать развитие этого рынка. Так, в 2011 был опубликован обзор облачных IDE, среди которых есть и герои нынешней статьи. Два года спустя появилась еще одна статья со сравнением двух сильнейших игроков рынка — Codenvy и Cloud9. Что ж, на дворе 2015 год, а, следовательно, время для очередного обзора.

Здравствуйте.

В данной статье мы в домашних условиях произведем установку на платформу EC2 AWS (Amazon Web Services) Apache Kafka, Apache Spark, Zookeeper, Spark-shell и научимся всем этим пользоваться.

Когда в детстве мы хотим стать, скажем, врачом или следователем, то едва ли знаем специфику профессии. Похожие ситуации случаются и со взрослыми: представления о работе мечты на поверку имеют мало общего с реальностью. Но как выяснить наверняка, где скрыты подводные камни? Один из способов – поговорить с практиком начистоту! Мы предложили Андрею Трубицыну, который сотрудничает с EPAM в качестве Solution Architect из Java Competency Center, развенчать распространенные мифы о работе архитектора.

Когда я занимался изучением производительности алгоритмов, мне попалось вот это видео с мок-интервью Google. Оно не только дает представление, как проходят собеседования в крупных технологических корпорациях, но и позволяет понять, как решаются алгоритмические задачи, причем максимально эффективно.

Эта статья — своеобразное сопровождение к видео. В ней я даю комментарии ко всем показанным решениям плюс собственную версию решения на JavaScript. Также обсуждаются нюансы каждого алгоритма.

Мы продолжаем наш цикл материалов про диалекты и акценты английского языка. И на этот раз поговорим об Австралии.

В лингвистическом контексте развитие английского языка в Австралии привлекает внимание. Ведь первыми поселенцами на материке, не считая аборигенов, были ссыльные каторжники, которых осудили в Британии за серьезные преступления. И естественно, что абсолютное большинство из них знало язык весьма посредственно. Многие не умели писать, а разговаривали с дикими акцентами или множественными грамматическими ошибками.

Так что условия для развития языка очень и очень странными. Что из этого получилось — давайте узнаем.

… Дело было за городом. В заднем фонаре автомобиля сломался патрон для лампочки, а с такой неисправностью ездить запрещено. Надо склеить, а потом дополнительно для прочности закрепить ещё чем-нибудь. Автору оригинала этой статьи предложили гелевый суперклей, к которому он не привык, потому принёс обычный, недорогой, текучий. Ремонт прошёл успешно, но тюбик, как всегда, приклеился к пальцам. Отклеивая его, автор случайно на него нажал, и капля клея попала ему в угол глаза…

В начале этого года группа инженеров из Нидерландов представила новый способ хранения данных. Он объединил методы магнитной и оптической записи и обладает большей производительностью, чем классические жёсткие диски.

За почти 60 лет освоения космоса проектов полета к Марсу и другим планетам было много и разной степени проработанности. Но проект SpaceX «Starship» (Звездолет) выделяется среди них по следующим причинам:

1. Полностью частная инициатива и финансирование, по крайней мере пока.
2. Несмотря на предыдущий пункт, высокая степень готовности. Одна из ключевых технологий (многоразовая жидкостная ступень) уже освоена, ведется строительство прототипа, прошел испытание двигатель.
3. Амбициозность. Не просто слетать на Марс, а начать строить постоянную колонию. И корабль в перспективе может возить за сотню человек. И не только на Марс.
4. Отсутствие ядерных, плазменных и гиперпространственных двигателей. Только ЖРД только хардкор.

Почему «Звездолет» сможет обходиться одними ЖРД, как обычно, под катом.

У второго пациента с ВИЧ-1 наблюдается стойкая ремиссия после прекращения лечения. Об этом говорится в докладе ученых из Университетского колледжа и Имперского колледжа Лондона.

Описанная в научном журнале Nature история болезни увидела свет 10 лет спустя после первого подобного клинического случая, известного как «берлинский пациент». В публикации участвовали коллеги из Кембриджского и Оксфордского университетов.

В обоих случаях пациенту пересадили стволовые клетки от доноров с мутацией гена CCR5, невосприимчивого к ВИЧ.



В новом исследовании пациент находится в стадии ремиссии 18 месяцев после прекращения антиретровирусной терапии (АРТ).

Насколько сложна тема машинного обучения? Если Вы неплохо математически подкованы, но объем знаний о машинном обучении стремится к нулю, как далеко Вы сможете зайти в серьезном конкурсе на платформе Kaggle?

На Хабре несметное количество статей про удаленную работу. Истории из жизни, демонстрации успехов/неудач в этом нелегком деле. Но несмотря на это, постоянно продолжаю натыкаться на то, что люди путают удаленную работу с фрилансом. Читая очередную статью по этой теме, я понял, что ждать больше нельзя, в интернете кто-то не прав и надо срочно максимально просто изложить свой опыт по данному вопросу, чтобы впоследствии фраза «удаленная работа» не порождала у людей в голове ассоциацию «фриланс».

При использовании библиотеки pandas для анализа маленьких наборов данных, размер которых не превышает 100 мегабайт, производительность редко становится проблемой. Но когда речь идёт об исследовании наборов данных, размеры которых могут достигать нескольких гигабайт, проблемы с производительностью могут приводить к значительному увеличению длительности анализа данных и даже могут становиться причиной невозможности проведения анализа из-за нехватки памяти.

В то время как инструменты наподобие Spark могут эффективно обрабатывать большие наборы данных (от сотен гигабайт до нескольких терабайт), для того чтобы полноценно пользоваться их возможностями обычно нужно достаточно мощное и дорогое аппаратное обеспечение. И, в сравнении с pandas, они не отличаются богатыми наборами средств для качественного проведения очистки, исследования и анализа данных. Для наборов данных средних размеров лучше всего попытаться более эффективно использовать pandas, а не переходить на другие инструменты.



В материале, перевод которого мы публикуем сегодня, мы поговорим об особенностях работы с памятью при использовании pandas, и о том, как, просто подбирая подходящие типы данных, хранящихся в столбцах табличных структур данных DataFrame, снизить потребление памяти почти на 90%.

Neural Ordinary Differential Equations

Значительная доля процессов описывается дифференциальными уравнениями, это могут быть эволюция физической системы во времени, медицинское состояние пациента, фундаментальные характеристики фондового рынка и т.д. Данные о таких процессах последовательны и непрерывны по своей природе, в том смысле, что наблюдения — это просто проявления какого-то непрерывно изменяющегося состояния.

Есть также и другой тип последовательных данных, это дискретные данные, например, данные NLP задач. Состояния в таких данных меняется дискретно: от одного символа или слова к другому.

Сейчас оба типа таких последовательных данных обычно обрабатываются рекуррентными сетями, несмотря на то, что они отличны по своей природе, и похоже, требуют различных подходов.

На последней NIPS-конференции была представлена одна очень интересная статья, которая может помочь решить эту проблему. Авторы предлагают подход, который они назвали Нейронные Обыкновенные Дифференциальные Уравнения (Neural ODE).

Здесь я постарался воспроизвести и кратко изложить результаты этой статьи, чтобы сделать знакомство с ее идеей чуть более простым. Мне кажется, что эта новая архитектура вполне может найти место в стандартном инструментарии дата-сайентиста наряду со сверточными и рекуррентными сетями.

Где-то в альтернативной вселенной, согласно MWI, я стал гениальным физиком. Но в этой вселенной просто подробно слежу за профессиональными публикациями в области физики, зарабатывая себе на хлеб развозкой пиццы базами данных. Как следствие чуть более глубоких знаний, я не могу смотреть никаких научно-популярных передач. Это как железом по стеклу — тут oversimplification, тут просто неверно, тут есть тонкости…

Я решил сформировать список наиболее часто встречающихся неправд и полуправд. Итак, самое частое это…

Большой взрыв

Его изображают примерно так:

По словам Александры Суйч Басс, искусственный интеллект распространяется за пределы технологического сектора, что повлечет серьезные последствия для компаний, работников и потребителей.

Детекторы лжи не очень широко используются в бизнесе, но китайская страховая компания Ping An считает, что сможет выявить обман. Компания позволяет клиентам подавать заявки на кредиты через свое приложение. Потенциальные заемщики отвечают на вопросы о своих доходах и планах погашения с помощью видеотрансляции, которая отслеживает около 50 крошечных выражений лица, с целью определить искренность их решений. Программа, работает на базе искусственного интеллекта (AI) и помогает точно определить клиентов, с которыми следует продолжить работу.

AI заменит большинство обязательных проверок состояний банковских счетов заемщиков. Johnson & Johnson, фирма по производству потребительских товаров, и Accenture, консалтинговая компания, используют AI для сортировки резюме и выбора лучших кандидатов. AI помогает Caesars, группе компании из сферы казино и отелей, угадывать вероятные расходы клиентов и предлагать персонализированные рекламные акции для их привлечения. Bloomberg, медиахолдинг и финансово-информационная компаний, использует AI для сканирования отчетов о доходах компаний и автоматического создания новостных статей. Vodafone, оператор мобильной связи, может предсказать проблемы со связью и устройствами пользователей до того момента, как они возникнут. Компании из каждой экономической отрасли используют AI для мониторинга угроз кибербезопасности и других рисков, таких как эмоциональное выгорание сотрудников.

Часть I
Часть II

В данной статье рассматривается метод оценок диапазона принимаемых значений и связь этого метода с задачами, содержащими модуль.

---

При решении некоторых задач необходимо рассматривать диапазон, в пределах которого может находиться искомая величина.

Рассмотрим метод оценок при решении неравенств.
Дать оценку сверху означает определить максимальное значение, которое может принимать искомая величина.

Предположим, что цена за одну единицу товара может колебаться в пределах от 5 до 10 RUB. Для двух единиц товара оценка сверху составляет 10+10=20 RUB, оценка снизу 5+5=10 RUB.

Рассмотрим задачу из задачника профильной направленности М.И. Башмакова
37. Известны оценки для переменных $$ и $$

Дайте оценки сверху для следующих выражений:
1. $$
2. $$

5. $$
6. $$

8. $$
9. $$

В этой статье мы обсудим разные Git-команды, которые могут оказаться полезными для разработчика или специалиста по Big Data. Вы узнаете, как проверять, удалять и приводить код в порядок. А еще рассмотрим способы выхода из Vim и экономию времени с помощью псевдонимов Bash и конфигурации редактора Git.

Наши глаза и их способность видеть – сложнейший биологический механизм. Чтобы сформировать его, природе понадобились миллионы лет эволюции. Но что делать, если этот уникальный механизм вдруг даёт сбой? Человечество шагнуло в эпоху IT-технологий меньше полувека назад – мгновение по меркам природы – но уже научилось восстанавливать, а иногда и заменять живые элементы на кибернетические.



В этом смог убедиться каждый участник интерактивной лекции «Как вернуть зрение? Бионические зрительные протезы и виртуальная реальность», прошедшей в стенах МГТУ им. Баумана 20 февраля. Мероприятие провели эксперты научно-производственной лаборатории «Сенсор-тех» – московского разработчика технологий для людей с нарушениями слуха и зрения.

Врачи рассказали об уже имеющемся опыте применения бионических протезов сетчатки глаза, которыми в настоящее время обладают двое россиян. Современные технологии позволили полностью слепым людям частично вернуть способность видеть окружающий мир. И хотя современные «механические глаза» очень ограничены, в будущем качество искусственного зрения будет расти и в какой-то момент сможет целиком восстановить утраченные зрительные функции, уверены организаторы мероприятия.

Учёные из University of California, Los Angeles сумели превратить iPSC во взрослые Т-клетки, вызревающие в нашем тимусе и патрулирующие организм, чтобы уничтожать рак и иные заболевания.

Работа, опубликованная в Cell Stem Cell, проводилась под руководством Гэи Крукс, M.D., профессора патологии и лабораторной медицины и педиатрии. Доктор Крукс является со-директором Элай и Эдит Броуд Центра Регенеративной Медицины и Центра Изучения Стволовых Клеток в UCLA.

Народная мудрость гласит, что учиться никогда не поздно. А в такой стремительно развивающейся отрасли, как ИТ, это просто жизненно необходимо. У большинства из нас учёба ассоциируется с лекциями в институте или с курсами повышения квалификации, где всегда нужно личное присутствие слушателя. Конечно, есть ещё и системы дистанционного обучения, но они тоже требуют постоянного сидения за компьютером.

А как быть если у вас между делами выдалось свободное время, и вы хотите узнать что-то новое? Здесь вас выручат подкасты. Их можно слушать всегда и везде, дома, на работе, в дороге и даже управляя автомобилем. Вы можете получать свежую информацию там, где вам удобно, главное, иметь под рукой смартфон или планшет, настроенный на нужный канал.

В этой статье мы собрали для вас внушительную и весьма интересную подборку англоязычных подкастов по ИТ-тематике, в которой постарались охватить все сферы деятельности, начиная от программирования и заканчивая машинным обучением, веб-дизайном и искусственным интеллектом.

Наша подборка русскоязычных подкастов: https://habr.com/ru/company/mailru/blog/437428/