Pull to refresh
13
Karma
0
Rating

Парсеры, обработка текста. Просто о сложном. CFG, BNF, LL(k), LR(k), PEG и другие страшные слова

Python *Algorithms *
Sandbox
Наверное, каждому программисту приходилось сталкиваться с задачами вида «прочитать что-то в формате А и произвести с ним некие манипуляции». Будь то json, логи nginx, cfg, sql, yaml, csv или что-то еще. Хорошо, когда можно воспользоваться библиотекой, однако, по разным причинам, это удается не всегда. Тогда и встает вопрос создания собственного парсера для заданного формата. И это, как говорят англичане, часто оказывается PITA (болью в ...). В этой статье я постараюсь облегчить эту боль. Кому интересно, добро пожаловать.
Читать дальше →
Total votes 43: ↑42 and ↓1 +41
Views 34K
Comments 24

Изменение коммитов в Git

Git *
Это пост для тех, кто начинает работу с Git. Все, что здесь написано по частям можно найти в многочисленных простынях о Git на Хабре. Но я подумал, что неплохо было бы иметь отдельный предельно понятный топик, который бы гуглился по запросу «git изменение коммитов».
Читать дальше →
Total votes 94: ↑80 and ↓14 +66
Views 245K
Comments 21

Руководство по SQL: Как лучше писать запросы (Часть 2)

SQL *
Recovery mode
Translation
Tutorial
Продолжение статьи Руководство по SQL: Как лучше писать запросы (Часть 1)

От запроса к планам выполнения


Зная, что антипаттерны не статичны и эволюционируют по мере того, как вы растете как разработчик SQL, и тот факт, что есть много, что нужно учитывать, когда вы задумываетесь об альтернативах, также означает, что избежать антипаттернов и переписывания запросов может быть довольно сложной задачей. Любая помощь может пригодиться, и именно поэтому более структурированный подход к оптимизации запроса с помощью некоторых инструментов может быть наиболее эффективным.

Следует также отметить, что некоторые из антипаттернов, упомянутых в последнем разделе, коренятся в проблемах производительности, таких, как операторы AND, OR и NOT и их отсутствие при использовании индексов. Размышление о производительности требует не только более структурированного, но и более глубокого подхода.

Однако этот структурированный и углубленный подход будет в основном основан на плане запроса, который, как вы помните, является результатом запроса, впервые проанализированного в «дерево синтаксического анализа» или «дерево разбора» («parse tree»), и точно определяет, какой алгоритм используется для каждой операции и как координируется их выполнение.
Читать дальше →
Total votes 23: ↑19 and ↓4 +15
Views 34K
Comments 5

22 сайта для программиста, которые помогут заговорить на английском

Programming *Lifehacks for geeks Learning languages
Хабр, привет!

Сделал подборку из 22-х сайтов для изучения английского языка.
Подборка поможет изучить английский легко, без зубрежки и учебников.

Приступим!

Учить лексику


Плагины, мобильные приложения и сайты, которые помогут перевести и запомнить незнакомые термины с русского на английский и обратно.

ЛеоПереводчик

С этим плагином удобно переписываться с коллегами. Он автоматически переводит непонятные слова и выражения. Незаменимый инструмент, когда нет времени на доскональные переводы и нужен срочный ответ.
Читать дальше →
Total votes 45: ↑39 and ↓6 +33
Views 100K
Comments 15

Использование Identity Server 4 в Net Core 3.0

.NET *
Tutorial

Введение


На одном из моих поддерживаемых проектов недавно встала задача проанализировать возможность миграции с .NET фреймворка 4.5 на .Net Core по случаю необходимости рефакторинга и разгребания большого количества накопившегося технического долга. Выбор пал на целевую платформу .NET Core 3.0, так как, судя по утверждению разработчиков от Microsoft, с появлением релиза версии 3.0, необходимые шаги при миграции legacy кода уменьшатся в несколько раз. Особенно нас в нем привлекли планы выхода EntityFramework 6.3 для .Net Core т.е. большую часть кода, основанную на EF 6.2, можно будет оставить «как есть» в мигрированном проекте на net core.


С уровнем данных, вроде, стало понятно, однако, еще одной большой частью по переносу кода остался уровень безопасности, который, к сожалению, после беглых выводов аудита придется почти полностью выкинуть и переписать с нуля. Благо, на проекте уже использовалась часть ASP NET Identity, в виде хранения пользователей и других приделанных сбоку «велосипедов».


Тут возникает логичный вопрос: если в security часть придется вносить много изменений, почему бы сразу же не внедрить подходы, рекомендуемые в виде промышленных стандартов, а именно: подвести приложение под использование Open Id connect и OAuth посредством фреймворка IdentityServer4.

Читать дальше →
Total votes 21: ↑20 and ↓1 +19
Views 67K
Comments 5

Советские мечты о будущем

Madrobots corporate blog Science fiction


Помните очаровательного котика, которые чихал в заставке советского мультфильма? Мы помним, и нашли его — вместе с ворохом другой рисованной фантастики. В детстве она пугала и обескураживала, поскольку поднимала серьезные, взрослые темы. Настала пора пересмотреть старые мультфильмы, чтобы узнать, о каком будущем мечтали в той стране.
Total votes 138: ↑136 and ↓2 +134
Views 88K
Comments 144

Non fiction. Что почитать?

Reading room
Хочу поделиться с вами несколькими из прочитанных за последние годы книг в жанре non fiction. Однако при составлении списка возникла неожиданная проблема отбора. Книги, что называется, для широкого круга, которые читаются влет даже совершенно неподготовленным читателем и могут конкурировать с художественными в смысле захватывающего повествования. Книги для более вдумчивого чтения, для понимания которых потребуется слегка напрячь мозг, и учебники (сборники лекций), для студентов и тех, кто хочет более серьезно разобраться в каких-то вопросах. В данном списке представлена именно первая часть — книги для максимально широкого круга читателей (хотя это, конечно, весьма субъективно). Я намеренно отказался от мысли давать книгам собственное описание и оставил оригинальные аннотации даже в тех случаях, когда они не устраивали меня самого, чтобы никак не влиять на процесс отбора для дальнейшего чтения. Как обычно, если вы хотите добавить что-то к этому списку — добро пожаловать в комментарии.

Как музыка стала свободной 1. Как музыка стала свободной [Конец индустрии звукозаписи, технологический переворот и «нулевой пациент» пиратства]
Автор. Стивен Уитт

"Как музыка стала свободной" представляет из себя захватывающую историю, в которой переплелись между собой одержимость, жадность, музыка, преступность и деньги. История эта рассказывается через визионеров и преступников, магнатов и подростков, создающих новую цифровую реальность. Это история о величайшем пирате в истории, самом влиятельном руководителе в музыкальном бизнесе, революционном изобретении и нелегальном сайте, который по своим размерам превосходил iTunes Music Store в четыре раза.
Читать дальше →
Total votes 17: ↑15 and ↓2 +13
Views 6.1K
Comments 2

Что почитать и посмотреть из свежей фантастики: Марс, киборги и восставший AI

VK corporate blog Reading room Science fiction


За окном весенняя пятница, и очень хочется отвлечься от кодинга, тестирования и прочих рабочих дел. Мы собрали для вас подборку понравившихся фантастических книг и фильмов, которые вышли примерно за последний год.
Читать дальше →
Total votes 71: ↑68 and ↓3 +65
Views 52K
Comments 217

Поиграем в книжки — что такое геймбуки и какие из них стоит попробовать

Skyeng corporate blog Reading room Games and game consoles Learning languages


Учить английский по играм и книгам — приятно и довольно эффективно. А если игра и книга объединены в одно мобильное приложение — еще и удобно. Так сложилось, что на протяжении последнего года я неспешно знакомился с жанром мобильных «геймбуков»; по итогам ознакомления готов признать, что это интересная, самобытная и не слишком известная широкой публике ветвь не то игр, не то литературы. В этой экспериментальной для Skyeng статье я тряхну «игрожуровой» стариной, сделав обзор наиболее интересных представителей жанра и их издателей.

Читать дальше →
Total votes 55: ↑55 and ↓0 +55
Views 23K
Comments 37

Использование DiagnosticSource в .NET Core: практика

Ozon Tech corporate blog .NET *C# *

В предыдущей статье я рассказал про механизм DiagnosticSource и на простом примере показал, как с его помощью можно перехватывать запросы в базу данных через классы SqlConnection и SqlCommand и измерять время их выполнения.


В настоящее время DiagnosticSource уже используется в AspNetCore, EntityFrameworkCore, HttpClient и SqlClient — каждый из них отправляет собственные события, которые могут быть перехвачены и обработаны.


В этой статье я хочу рассмотреть несколько примеров того, как можно на практике использовать DiagnosticSource в приложениях ASP.NET Core.


  • CorrelationID и пробрасывание заголовков между сервисами
  • Сбор метрик и трассировок
  • Логирование

Кроме того, в этой статье я решил собрать список событий, которые доступны для обработки и могут быть использованы в ваших приложениях, а также рассказать о некоторых подводных камнях, с которыми вы можете столкнуться, если решите использовать механизм DiagnosticSource в своём проекте.

Читать дальше →
Total votes 25: ↑25 and ↓0 +25
Views 9.7K
Comments 11

Семантическая разметка: LaTeX, DocBook или ???

Open source *Semantics *XML *LaTeX *XSLT *
Писал комментарий к статье и понял, что надо выносить в отдельный пост.
Как многие отмечают там в комментариях статья отстой, человек не разбирается и смешал всё в кучу, попробую поделиться своими выводами от использования разных разметок.
Читать дальше →
Total votes 15: ↑13 and ↓2 +11
Views 17K
Comments 55

Логика мышления. Часть 11. Динамические нейронные сети. Ассоциативность

Robotics Biotechnologies Artificial Intelligence


Этот цикл статей описывает волновую модель мозга, серьезно отличающуюся от традиционных моделей. Настоятельно рекомендую тем, кто только присоединился, начинать чтение с первой части.

Наиболее просты для понимания и моделирования нейронные сети, в которых информация последовательно распространяется от слоя к слою. Подав сигнал на вход, можно так же последовательно рассчитать состояние каждого из слоев. Эти состояния можно трактовать как набор описаний входного сигнала. Пока не изменится входной сигнал, останется неизменным и его описание.

Более сложная ситуация возникает, если ввести в нейронную сеть обратные связи. Чтобы рассчитать состояние такой сети, уже недостаточно одного прохода. Как только мы изменим состояние сети в соответствии с входным сигналом, обратные связи изменят входную картину, что потребует нового пересчета состояния всей сети, и так далее.

Идеология рекуррентной сети зависит от того, как соотносится задержка обратной связи и интервал смены образов. Если задержка много меньше интервала смены, то нас, скорее всего, интересуют только конечные равновесные состояния, и промежуточные итерации стоит воспринимать, как исключительно расчетную процедуру. Если же они сопоставимы, то на первый план выходит именно динамика сети.
Читать дальше →
Total votes 37: ↑34 and ↓3 +31
Views 23K
Comments 6

Oriense. Разработка устройств помощи слепым и слабовидящим

Oriense corporate blog Website development *Image processing *
История проекта уходит корнями в далекий 2006 год.
Тогда в питерский НИИ обратился активный член общества слепых с предложением создания устройства помощи слепым и слабовидящим.
Один из основателей нынешнего Oriense тогда заведовал отделом, который занимался в том числе зрением роботов и разрабатывал свою стереокамеру. На ней устройство и решили базировать: носимый компьютер обрабатывает информацию от двух камер и двух УЗ-сонаров и выдает подсказки в наушники с помощью голосового синтезатора.


Читать дальше →
Total votes 51: ↑48 and ↓3 +45
Views 15K
Comments 20

Библиотека для регистрации и отлова нажатий 'горячих' комбинация клавиш

.NET *
Под комбинацией клавиш понимается любое количество одновременно нажатых клавиш, нажатых в любом порядке, которое может позволить ваша клавиатура. Для конечного пользователя, однако, не стоит превышать количество более пяти в одной комбинации, т.к. игровые клавиатуры есть не у всех.

Пример использования

HotKeysManager manager = new HotKeysManager();
manager.AddHotKey(new HotKeyCombination(() => { MessageBox.Show("Привет, Хабр!"); }) { Keys.LControlKey, Keys.H });

Другой вариант добавления, где в качестве комбинации берутся текущие нажатые клавиши, удобно в случае когда пользователь назначает комбинацию сам. В демке есть пример подобной записи комбинаций.
manager.AddHotKey(new HotKeyCombination(HookManager.CurrentDownedKeys.ToArray(), () => { MessageBox.Show("Привет, Хабр!"); }));


Теперь при нажатии комбинации LeftCtrl+H (или H+LeftControl), мы увидим приветственное сообщение.
Читать дальше →
Total votes 23: ↑22 and ↓1 +21
Views 5.7K
Comments 4

Прогнозирование валютных колебаний статистическими методами

Programming *
С чего все начиналось

Осваивая новое направление в программировании (программирование под платформу MetaTrader), мне пришла идея попробовать свои силы в чем-то большем. Например, найти какой-то нестандартный способ прогнозирования движения цен на валютные пары.

Изначально, предпринимались попытки реализовать либу со всеми статистическими показателями, но на полпути я обнаружил, что таковые уже существуют:
Проанализировав их содержимое, я понял одну простую вещь…
Читать дальше →
Total votes 24: ↑12 and ↓12 0
Views 15K
Comments 32

Information

Rating
Does not participate
Registered
Activity