Comments / Profile of dec0der-dc / Habr

Дмитрий @dec0der-dc

Математик, программист

ProfileArticles1PostsNewsComments15

Как незаметно запускать виртуальный Linux на QEMU

dec0der-dc Aug 23 2022 at 11:42

Спасибо!

Look

Как незаметно запускать виртуальный Linux на QEMU

dec0der-dc Aug 23 2022 at 11:39

Ключи не могли устареть. Это была свежая установка с только что скачанного инсталлера.

А на тему извлечения систем, нужно создать свой пакет с помощью PKGBUILD, примерно так:

_realname=example
pkgbase=mingw-w64-x86_64-${_realname}
pkgname="${MINGW_PACKAGE_PREFIX}-${_realname}"
pkgver=0.0.1
pkgrel=1
arch=('x86_64')
pkgdesc="Multi-complete-set keyless selflearning decrypter (mingw-w64)"
depends=("${MINGW_PACKAGE_PREFIX}-adwaita-icon-theme"
         "${MINGW_PACKAGE_PREFIX}-gsettings-desktop-schemas"
         "${MINGW_PACKAGE_PREFIX}-gtkmm3"
         "${MINGW_PACKAGE_PREFIX}-intel-tbb"
         "${MINGW_PACKAGE_PREFIX}-sqlite3"
         "${MINGW_PACKAGE_PREFIX}-gcc-libs"
         )
makedepends=("${MINGW_PACKAGE_PREFIX}-gcc"
             "${MINGW_PACKAGE_PREFIX}-cmake"
             "${MINGW_PACKAGE_PREFIX}-pkg-config")
license=("MIT")
source=("${_realname}.tar.xz")
md5sums_placeholder

#prepare() {
#}

build() {
  [[ -d build-${MINGW_CHOST} ]] && rm -rf build-${MINGW_CHOST}
  mkdir -p build-${MINGW_CHOST} && cd build-${MINGW_CHOST}
  ${MINGW_PREFIX}/bin/cmake .. -DCMAKE_BUILD_TYPE=Release -DCMAKE_GENERATOR="Unix Makefiles" -DCMAKE_INSTALL_PREFIX="${pkgdir}"${MINGW_PREFIX}
  make -j4
}

package() {
  cd "${srcdir}/build-${MINGW_CHOST}"
  DESTDIR="${pkgdir}${MINGW_PREFIX}"
  make install
}

А потом выполнить примерно такой скрипт для его установки в отдельную, специально для него подготовленную систему:

# Создаём внешнюю систему.
pacman -Sy
pacman -Syu --root "/e/projects/example

# Устанавливает новую версию пакета с необходимыми зависимостями в систему msys2.
CURRENT_DIR=${PWD}
_new_root="/e/projects/example"
pacman -Sy
#install_package
pacman --root ${_new_root} --cachedir /var/cache/pacman/pkg --dbpath /var/lib/pacman --config /etc/pacman.conf -Sy
pacman --root ${_new_root} --cachedir /var/cache/pacman/pkg --dbpath /var/lib/pacman --config /etc/pacman.conf -S  mingw-w64-x86_64-example

# Создаём *.bat запускаторы для винды.
rm -f ${_new_root}/run_example.bat
echo "cd mingw64\bin" >> ${_new_root}/run_example.bat
echo "start example.exe" >> ${_new_root}/run_example.bat
echo " " >> ${_new_root}/run_example.bat

cd ${CURRENT_DIR}"

Получается система, минимально необходимая для собранного проекта с удобными .bat запускаторами для винды. Весит это всё равно довольно много, но меньше на msys2 сделать сложно. Только руками резать библиотеки, в которых на 100% уверен, что они не нужны.

Look

Простая хэш-таблица для GPU

dec0der-dc Aug 23 2022 at 09:13

Как-то так для добавления и поиска (переписывал под свою задачу, поэтому не ядра, а device, чтобы добавлением и поиском занимались конкретные вычисляющие ядра):

#pragma once

#include <cstdint>
#include <cuda.h>
#include <limits>

template<typename Value>
struct cuda_ht
{
    uint32_t* keys;
    Value*    values;
};

template<typename Value>
struct cuda_ht_find_result
{
    Value value;
    bool  exists;
};

const uint32_t gc_cuda_ht_capacity        = 64 * 1024 * 1024; // Любая таблица состоит из 67108864 элементов и в случае Value = float занимает 512 MB.
const uint32_t gc_cuda_ht_number_of_items = gc_cuda_ht_capacity / 2;
const uint32_t gc_cuda_ht_empty_key       = std::numeric_limits<uint32_t>::max();
// Пороговое значение значения (gc_cuda_ht_empty_value) std::numeric_limits<Float>::max()

__device__ uint32_t
hash(uint32_t k);

// Вставка элемента.
template<typename Value>
__device__ void
cuda_ht_insert(cuda_ht<Value>* hashtable, uint32_t key, Value value)
{
    uint32_t slot = hash(key);

    while (true) {
        uint32_t previous_key = atomicCAS(&hashtable->keys[slot], gc_cuda_ht_empty_key, key);
        if (previous_key == gc_cuda_ht_empty_key || previous_key == key) {
            hashtable->values[slot] = value;
            return;
        }
        slot = (slot + 1) & (gc_cuda_ht_capacity - 1);
    }
}

// Поиск элемента.
template<typename Value>
__device__ cuda_ht_find_result<Value>
           cuda_ht_find(cuda_ht<Value>* hashtable, uint32_t key)
{
    cuda_ht_find_result<Value> result;
    uint32_t                   slot = hash(key);

    while (true) {
        if (hashtable->keys[slot] == key) {
            result.value  = hashtable->values[slot];
            result.exists = true;
            return result;
        }
        if (hashtable->keys[slot] == gc_cuda_ht_empty_key) {
            result.value  = std::numeric_limits<Value>::max();
            result.exists = false;
            return result;
        }
        slot = (slot + 1) & (gc_cuda_ht_capacity - 1);
    }
}

Если что-то не укладывается в некую принципиальную концепцию, заранее извиняюсь. Времени читать статью не было. Читал только код на гитхабе. А комментирую здесь, чтобы по русски.

Look

Как незаметно запускать виртуальный Linux на QEMU

dec0der-dc Aug 23 2022 at 07:49

А судя по всему нигде. Я сам очень люблю этот проект. У меня давно развёрнута система на его базе с раздутым тулчейном, из которой я при помощи pacman'а извлекаю достаточные для конкретных продуктов подсистемы. И вот как-то раз я решил развернуть новую. Каково же было моё удивление, когда система после установки отказалась обновляться, ругаясь на ключи. Систему я все таки развернул, отключив проверку ключей, но вот антивирус ругался на неё изрядно. Вы можете проделать тот же эксперимент.

Look

Как незаметно запускать виртуальный Linux на QEMU

dec0der-dc Aug 23 2022 at 07:27

Извините за то, что ответил разом на все комментарии месяца через два после появления вопросов. К сожалению, так сложились обстоятельства.

Look

Как незаметно запускать виртуальный Linux на QEMU

dec0der-dc Aug 23 2022 at 07:26

Докер требует VT-x и установки. Данное решение работает (очень не быстро, но это и не нужно было) без обоих этих условий. А устанавливать ещё и запрещено было.

Look

Как незаметно запускать виртуальный Linux на QEMU

dec0der-dc Aug 23 2022 at 07:22

Тут скорее вкусовщина. Я хотел сделать максимум работы тыкая кнопочки в удобном графическом интерфейсе на линуксе под kvm. От этого конечно огрёб необходимость удаления лишних пакетов. Но опять-таки это само по себе было интересным опытом.

Look

Как незаметно запускать виртуальный Linux на QEMU

dec0der-dc Aug 23 2022 at 07:18

Virtual Box нужно устанавливать. Это противоречит базовой концепции.

Look

Как незаметно запускать виртуальный Linux на QEMU

dec0der-dc Aug 23 2022 at 07:16

Очень странно сформулированный вопрос. Тем более, что не по теме. Но если предположить, что вопрос задаёт человек, желающий найти работу в области IT, и прикидывает как и чем ему придётся заниматься, то это очень сильно зависит от того, куда Вы попадёте. Мне повезло, и я никогда не был программистом, выполняющим конкретное задание в стиле за N часов тебе нужно написать K функций согласно ТЗ. Но в любом случае, на старте карьеры всё зависит от образования и места работы. Плюс одно и то же действие разные люди делают за разное время. Так что свой вопрос Вы можете задать себе из будущего.

Look

Как незаметно запускать виртуальный Linux на QEMU

dec0der-dc Aug 23 2022 at 07:07

И да. Нет сети.

Look

Как незаметно запускать виртуальный Linux на QEMU

dec0der-dc Aug 23 2022 at 07:07

Весь вопрос в том, чтобы ничего не устанавливать. А конкретная задача была не особо требовательна к ресурсам и выполнялась и так. Если бы нужно было что-то серьёзное вычислять, то да. Я не утверждаю, что решение годится для повсеместного использования.

А вот про dd я кое чего не понял. bs=1M, это судя по всему для ускорения. А вот sync зачем? Я так понимаю, что перед началом следующей операции (в данном случае это удаление), предыдущие должны быть завершены полностью. Или тут есть нюансы? В тестах всё работало, но возможно разные файловые системы могут вести себя по разному.

Look

Как незаметно запускать виртуальный Linux на QEMU

dec0der-dc Aug 23 2022 at 06:58

Не в сложившихся реалиях. Если бы было, как нужно, был бы только линукс.

Look

Как незаметно запускать виртуальный Linux на QEMU

dec0der-dc Aug 23 2022 at 06:55

Никак. Код был скопипащен с линуксового теста. В статье всё исправлено.

Look

Как незаметно запускать виртуальный Linux на QEMU

dec0der-dc Aug 23 2022 at 06:51

Сейчас у msys2 очень большие проблемы. Они судя по всему не справляются с проверкой базы пакетов. Поэтому они вообще перестали их подписывать. Ставьте на свой страх и риск. Дак вот страх и риск действительно есть. В пакетах встречаются вирусы.

Look

Простая хэш-таблица для GPU

dec0der-dc Aug 22 2022 at 14:45

Я посмотрел по коду и не понял откуда такое жёсткое ограничение на тип значения. Если взять, например float и брать в качестве пустого значения std::numeric_limits<Value>::max() (что возможно с ключом --expt-relaxed-constexpr), то всё будет работать так же. Должно работать и для double (но я не проверял). Точно будет работать, если хранить не в массиве пар, а в двух массивах (для ключей и для значений). Может возникнуть вопрос, как по возвращаемому значению понимать валидно ли оно, ведь операция сравнения для чисел с плавающей точкой вообще говоря не валидна. Но так делать и не надо, если возвращать результаты в отдельный массив структур <Value value, bool exists>.

Ну и да. размер любой таблицы в 1 ГБ это передоз для GPU! Для теста может и нормально, но в реальных условиях где всю остальную задачу размещать, если GPU не топовая. А такая реализация только и хороша тем, что работает на чём угодно. Я к тому, что хотелось бы увидеть результаты тестов, например для 256 МБ. А ведь в этом случае рехеширований будет ЗАМЕТНО больше.

Look

Information

Specialization