Проблема с кодировкой в Sprockets 3 при работе с HTML файлами

Я не так давно обновил один из проектов до Rails 4.2 и заметил интересный эффект: кодировка обработанных html файлов в ассетах меняется на ISO-8859-1.

Данная проблема актуальна для Sprockets 3.0.0 и 3.0.1.

Проблема нашлась в EncodingUtils#detect_html:

#...
module Sprockets
  # Internal: HTTP transport encoding and charset detecting related functions.
  # Mixed into Environment.
  module EncodingUtils
    extend self
 
    #...
 
    # Public: Detect charset from HTML document. Defaults to ISO-8859-1.
    #
    # str - String.
    #
    # Returns a encoded String.
    def detect_html(str)
      str = detect_unicode_bom(str)
 
      # Attempt Charlock detection
      if str.encoding == Encoding::BINARY
        charlock_detect(str)
      end
 
      # Fallback to ISO-8859-1
      if str.encoding == Encoding::BINARY
        str.force_encoding(Encoding::ISO_8859_1)
      end
 
      str
    end
    CHARSET_DETECT[:html] = method(:detect_html)
  end
end

При загрузке файла Sprockets пытается определить стандарт юникода, почистить строку от BOM и вернуть в нужной кодировке. В случае с html, если не удалось определить кодировку на этом этапе, то пытаемся дать это сделать charlock_holmes (если он установлен), иначе принудительно конвертируем в ISO-8859-1.

Проблема в том, что BOM не является обязательным для UTF-8 и поэтому практически все редакторы сохраняют файлы в UTF-8 без BOM. А это значит, что метод `detect_unicode_bom` по большому счету является бесполезным и html файлы в ассетах всегда будут преобразованы в ISO-8859-1.

Решить проблему можно следующими способами:

1. Переопределить Mime Type для text/html в инициализаторе:

Rails.application.assets.register_mime_type('text/html', extensions: '.html', charset: :default)

2. Установить charlock_holmes.

3. Обновиться до версии 3.0.2, где поведение по умолчанию изменено с ISO-8859-1 на Encoding.default_external (pull request)