Pull to refresh
  • by relevance
  • by date
  • by rating

Encoding

Lumber room
После того, как я отказалась от использования Microsoft Windows XP в пользу Mac OS X, у меня осталась едиственная просьба к дяде Биллу: сделайте в своей ОС дефолтом кодировку UTF-8, как во всех остальных системах, и претензий у меня к вам больше не останется! Ибо ничто не дает лучше понять людям друг друга в сети, как единство кодировки.

PS: Плюсом для всех будут конечно мелочи по тегированию песен, и, например, кодировок на ftp-серверах. В остальном вин меня не очень интересует.
Total votes 14: ↑12 and ↓2 +10
Views 380
Comments 42

Gmail ломает кодировки

Lumber room
В последнее время резко участились случаи, когда почта gmail ломает кодировки отсылаемых писем. Лично у меня было несколько ситуаций: первый раз я заметила, когда мне пожаловались, что на mail.ru было невозможно прочитать мое письмо, второй раз заметила, когда на рабочей почте в домене druzhba.ru получила письмо со сломанной кодировкой, тоже отправленной с gmail, но третий раз меня вовсе убил — с gmail на gmail письмо пришло в убитой кодировке.
Вид писем примерно такой:
$B'#'V'b'e (B $B'c'q (B $B'a'b'Z'S'V (B $B'd (B… $B'\'Q'\ (B $B'S'c'a'`'^'_'Z'd (B $B'n (B/ $B'e'R'Z'd'n (B/ $B'S'Y']'`'^'Q'd'n (B $B'a'Q'b'`']'n (B $B'S (B $B'S'`'b'U'V (B?
Total votes 8: ↑7 and ↓1 +6
Views 2.1K
Comments 16

Luit: «переводчик» между приложением и UTF-8 терминалом

Lumber room
После получения параметров доступа по ssh к новому серверу для размещения сайта местной LUG я привычными движениями запустил эмулятор терминала в своей Ubuntu и подключился к удаленной системе. Небольшим удивлением было для меня стало то, что удаленное окружение было в KOI8-R и, естественно, все русские символы на моей стороне отображались сами знаете как. :)
Читать дальше →
Total votes 14: ↑11 and ↓3 +8
Views 822
Comments 3

Silverlight и кодировки

Silverlight

Silverlight довольно удобен тем, что предоставляет почти «полноценный» .net в клиентских приложениях. Если бы не это «почти», то всё было бы замечательно. Недавно мне понадобилась необходимость использовать одну .net-библиотеку. Я начал с того, что переставил настройки проекта на silverlight и добавил её к основному проекту. Приложение откомпилировалось и я уже обрадовался, что вот так легко можно использовать уже имеющиеся наработки, но радоваться было рано...

Читать дальше →
Total votes 31: ↑18 and ↓13 +5
Views 1.8K
Comments 38

Кодировки

C++ *

Всем рано или поздно приходится работать с различными кодировками. Заметив в коде своей команды различные, порой странные, подходы к решению этих проблем, пришлось провести разъяснительную беседу. Ниже поделюсь своим видением правильной работы с не-ASCII символами в коде. Буду рад конструктивной критике.

Читать дальше
Total votes 76: ↑73 and ↓3 +70
Views 54K
Comments 61

Определение кодировки текста в PHP — обзор существующих решений плюс еще один велосипед

PHP *
Столкнулся с задачей — автоопределение кодировки страницы/текста/чего угодно. Задача не нова, и велосипедов понапридумано уже много. В статье небольшой обзор найденного в сети — плюс предложение своего, как мне кажется, достойного решения.

1. Почему не mb_detect_encoding() ?


Если кратко — он не работает.
Подробнее - под катом
Total votes 115: ↑104 and ↓11 +93
Views 99K
Comments 82

Определение кодировки текста в PHP, часть 2 — биграммы

PHP *
В прошлой статье был реализован алгоритм автоматического определения кодировки текста на основе частот распределения символов. В комментариях отметили: если использовать биграммы (триграммы), результат будет более точный. Тогда я отмахнулся, мол, и на одиночных символах неплохой результат получается. Но сейчас подумал, что неплохо было бы добавить надежности и точности в алгоритм, тем более использование биграмм вместо одиночных символов сильно кушать не просит.

Под катом — пример реализации алгоритма на биграммах, исходники и результаты его работы.
Читать дальше →
Total votes 62: ↑61 and ↓1 +60
Views 7.6K
Comments 30

Юникод для чайников

Python *
logo
Сам я не очень люблю заголовки вроде «Покемоны в собственном соку для чайников\кастрюль\сковородок», но это кажется именно тот случай — говорить будем о базовых вещах, работа с которыми довольно часто приводить к купе набитых шишек и уйме потерянного времени вокруг вопроса — «Почему же оно не работает?». Если вы до сих пор боитесь и\или не понимаете Юникода — прошу под кат.

Читать дальше →
Total votes 121: ↑115 and ↓6 +109
Views 302K
Comments 53

Amazon Elastic Transcoder

EPAM corporate blog Amazon Web Services *
Tutorial
Привет! image

Amazon Web Services предоставили своим пользователям новый сервис обработки видео Elastic Transcoder. Как вы понимаете, основной смысл — транскодирование видео.

Сервис представляет собой некий дата пайплайн. Мы даём ему информацию откуда брать видео, куда и в каком формате класть и всё. Я уже попробовал и хочу вам показать-рассказать что и как.
Читать дальше →
Total votes 12: ↑12 and ↓0 +12
Views 5.4K
Comments 10

Изменение кодировки git репозитория

Git *
Sandbox
Привет. В силу специфики, на работе используется Linux с KOI8-R, все коммиты в git репозиторий осуществлялись в локальной кодировке. Через некоторое время было принято решение перекодировать репозиторий в UTF-8. В этой статье я хочу обсудить технологию изменения кодировки существующего git репозитория, а заодно и исправления некоторых ошибок допущенных в определенных коммитах.
Читать дальше →
Total votes 13: ↑12 and ↓1 +11
Views 6.3K
Comments 3

По следам конференции AzureCon — главные анонсы

Microsoft corporate blog Microsoft Azure
Только прошла конференция AzureCon, а мы спешим рассказать о том, что там анонсировали. Там, где использование может быть не очень понятным с первого раза, были добавлены примечания, а также добавлены ссылки там, где уже есть что почитать подробнее и как начать использовать.

Помимо этого, XaocCPS написал отличный обзор других новинок, связанных с большими данными и аналитикой.



Под катом:
* Самые мощные виртуальные машины с GPU в публичном облаке
* Зарезервированные инстансы
* Платформа для IoT-решений
* Cortana Analytics Suite

И многое другое. И, как обычно, много про Open Source.
Читать дальше →
Total votes 20: ↑15 and ↓5 +10
Views 6K
Comments 1

Разбираемся в Go: пакет encoding

Go *
Translation

Перевод одной из статей Бена Джонсона из серии "Go Walkthrough" по более углублённому изучению стандартной библиотеки Go в контексте реальных задач.


Пока что мы рассмотрели работу с потоками и слайсами байт, но мало какие программы просто гоняют байты туда сюда. Сами по себе байты много смысла не несут, а вот когда мы кодируем структуры данных с помощью этих байт, тогда мы можем создавать действительно полезные приложения.


Этот пост является одним из серии статей по более углублённому разбору стандартной библиотеки. Несмотря на то, что стандартная документация предоставляет массу полезной информации, в контексте реальных задач может быть непросто разобраться, что и когда использовать. Эта серия статей направлена на то, чтобы показать использование пакетов стандартной библиотеки в контексте реальных приложений. Если у вас есть вопросы или комментарии, вы всегда можете написать мне в Твиттер — @benbjohnson.

Читать дальше →
Total votes 19: ↑17 and ↓2 +15
Views 13K
Comments 1

Откуда в Java всплывают проблемы с кодировками и возможная причина падения марсианского зонда

Java *
Планета Марс уже не первый год населена роботами. То тут, то там появляются беспилотные электрокары и летающие дроны, а в программах, написанных на Java, с завидной регулярностью всплывают проблемы с кодировками.

Хочу поделиться своими мыслями о том, почему это происходит.
Читать дальше →
Total votes 71: ↑48 and ↓23 +25
Views 49K
Comments 53

Powershell и кирилица в консольных приложениях (updated)

System administration *PowerShell *DevOps *
Tutorial
В процессе разработки очень часто возникает необходимость запустить из powershell скрипта консольное приложение. Что может быть проще?

#test.ps1
& $PSScriptRoot\ConsoleApp.exe


Читать дальше →
Total votes 24: ↑18 and ↓6 +12
Views 89K
Comments 37

Общие впечатления от NAB Show 2015 в Лас-Вегасе

Working with video *Video equipment Multicopters
Добрейшего дня.

С месяц назад общались с одним из потенциальных партнёров по Скайпу, и он предложил встретиться на NAB Show в Лас-Вегасе. Мол, наверняка там будете, может пересечёмся? Этот же вопрос чуть ранее задал другой клиент — хотел встретиться и обсудить свой новый проект. Про эту выставку мы были наслышаны, кто-то из наших подписчиков там выставлялся даже, но пока поводов поехать не было. И вот, повод появился.

NAB — это американская National Association of Broadcasters, которая объединяет компании, так или иначе связанные с медиа-вещанием. Раз в год она организует trade show, т.е. выставку достижений науки и техники в своей сфере. Цель мероприятия — свести в одном месте всех, кто предлагает продукты для создания и предоставления медиа-контента и тех, кому они будут интересны. Это самая крупная выставка подобной тематики в мире.



Заметка ниже — личные впечатления от мероприятия, мнение о том, кому будет интересно его посетить, и немного фото с мест.
Читать дальше →
Total votes 6: ↑6 and ↓0 +6
Views 3.1K
Comments 0

Even more secret Telegrams

Information Security *Instant Messaging *Python *Algorithms *Development of communication systems *

We used to think of Telegram as a reliable and secure transmission medium for messages of any sort. But under the hood it has a rather common combination of a- and symmetric encryptions. Where’s fun in that? And why would anyone trust their private messages to a third-party anyway?
Spy vs Spy by Antonio Prohías
TL;DR — inventing a private covert channel through users blacklisting each other.

Read more →
Total votes 12: ↑8 and ↓4 +4
Views 4K
Comments 0

Where Do Mojibakes Come From? Essentials of Encodings

Alconost corporate blog Programming *Development of mobile applications *Game development *Language localisation *
Translation


This article explores the basic concepts behind character encoding and then takes a dive deeper into the technical details of encoding systems.


If you have just a basic knowledge of character encoding and want to better understand the essentials, the differences between encoding systems, why we sometimes end up with nonsense text, and the principles behind different encoding system architecture, then read on.


Getting to understand character encoding in detail requires some extensive reading and a good chunk of time. I’ve tried to save you some of that effort by bringing it all together in one place while providing what I believe to be a pretty thorough background of the topic.


I’m going to go over how single-byte encodings (ASCII, Windows-1251 etc.) work, the history of how Unicode came to be, the Unicode-based encodings UTF-8, UTF-16 and how they differ, the specific features, compatibility, and lack thereof among various encodings, character encoding principles, and a practical guide to how characters are encoded and decoded.

Read more →
Rating 0
Views 339
Comments 0

Разукрашиваем вывод в консоли: теория и практика

Маклауд corporate blog Python *Programming *Perfect code *Popular science


Консоль привлекает многих своей минималистичностью и эстетикой, но даже в ней иногда хочется выделить определённый фрагмент, чтобы показать его роль или значимость. Например, отметить зелёным текстом сообщение об успешном выполнении операции или обозначить длинный текст ошибки курсивом. О том, как это делать, а также о реализации на питоне — читайте далее.

Читать дальше →
Total votes 42: ↑41 and ↓1 +40
Views 15K
Comments 20