100% согласен. Метрики - супер важная штука. Но если ты не просто их посчитал для галочки, а реально понимаешь, как та или иная циферка поможет тебе принять решение / что она отображает в бизнесе / как с помощью этого ты подтвердишь свою гипотезу. И очень сложно это донести до начинающих ребят.
Без проблем — критика всегда полезна. Зато все аккумулировано в одном месте и поиски многих русскоязычных новичков теперь займут в разы меньше времени) Вижу это одной из главных задач подобных постов)
Спасибо! В данном случае там на этой базе завязан проект, так что остановимся на бинарниках, а вот уже в следующие разы, если будет потребность хранения именно такого рода данных отдельно, будем смотреть в сторону HDF5. Теперь люди смогут зайти на эту страницу и прочитать вообще все основные варианты: и pickle, и HDF5, и tobytes. Можно сводную заметку сделать по этому поводу))
Как написал чуть выше, да, с точки зрения других языков это непрактично. Но в конкретном проекте это было допустимо. Вариант же с хранением вне базы не очень подходил, т.к. просто объем информации очень велик и это не особо удобно (опять же, в данном конкретном случае).
Ну так тоже можно далеко зайти — по сути, все является набором байтов) Метод tobytes() — один из вариантов. Но почему бы и нет? Разве вариант через pickle таит какие-то серьезные недостатки?
Что касается блобов — а как бы Вы организовали хранение структур именно в том виде, как они должны быть сохранены? Например, тензор высокой размерности? Причем без потери формы. Кстати говоря, а frombuffer() разве не плоский массив возвращает?
Что касается других языков — полностью согласен. В данном случае просто такая ситуация не рассматривалась (в конкретном проекте).
Естественно, решение человеком не всегда эффективно или даже реально. Для этого и разрабатывают алгоритмы и программы. Однако, "изучить границы" или "оценить результат" легко там, где идея исходной задачи довольно проста. То есть придумать алгоритм, как классифицировать котиков — нетривиальная вещь, а вот оценить довольно просто. Но если Ваша исходная задача — приблизить сильно осциллирующую функцию, например, которая отвечает какому-то физическому процессу, который мы не можем просто так смоделировать на практике, то оценить качество и применимость модели уже куда сложней. И тут без теоретических изысканий никуда. Да, это нужно не везде. Но где-то нужно :)
Помимо практической части вопроса есть еще теоретическая. И без неё особо далеко не уйдёшь, кто бы что ни говорил. И вот теория-то и отстаёт от практики лет на 50 примерно. Любая нейронная сеть — аппроксимация какой-то неизвестной нам функции. Так вот где гарантия, что конкретная нейронная сеть может решить нашу задачу? С какой точностью? Как подобрать архитектуру? Сейчас это все делается "на глазок", никаких особых методов не разработано. И если при классификации изображений мы можем посмотреть — похоже на правду или нет и посчитать процент ошибок, то при решении уравнений так сделать мы не сможем. Поэтому следующий рывок ИИ начнётся после серьёзных научных разработок, имхо. Вечно решать прикладные задачки "на опыте" невозможно.
Спасибо за замечания, все учту. Что касается М-Метода, там больше упор хотелось сделать на реализацию :) По теории там особо писать нечего, если только дублировать Симплекс-Метод.
С такой подачей получится практически целый глубинный курс по оптимизации :) Хотя, если бы всегда его начитывали так подробно, было бы намного эффективней, имхо. Люди понимали бы природу того или иного метода. Как раз то, о чем я писал — следующий шажок: не просто алгоритм используем, а каждое действие осознаем. Но не глубоко, т.к. концепция оптимизационных задач нам не до конца понятна. То, о чем Вы говорите — супер. Это реально принесло бы пользу людям. Займусь этим :)
Как раз в P.S. у меня есть ссылка на эту книгу. Она неплохая, но там есть пару минусов, на мой взгляд. Хотя, возможно, это зависит от редакции — в разные годы наполнение там было разным.
Это статья направлена на понимание теоретической части вопроса. Например, почему выбор новой базисной переменной происходит именно так, как он происходит. Будет еще одна (а может и не одна) статья по этому поводу, и там будут примеры и практика. А здесь формат другой — подробный разбор теории, с нюансами.
До этого не встречал такую методичку. Сейчас посмотрел, действительно, объяснено достаточно понятно. Только вот при поиске информации про линейное программирование в интернете, скорее всего на эту методчку не наткнешься. Я не наткнулся, по крайней мере. Хабр в этом плане ранжирутеся получше :) Некоторые вещи я мог написать не очень понятно: это, фактически, один из первых таких опытов. Но некоторые полезные моменты из статьи вынести все-таки можно, а именно на такие мелочи в академических книжках внимание и не обращают. Но за методику спасибо, добавлю ее потом в советы по литературе.
Что касается необходимости в реализации, есть два основных мотива, как мне кажется. Первый — элементарно разобраться, как все это устроено. Пытливых умов всегда достаточно, к счастью. И лучший способ это сделать — прочувствовать каждый шаг алгоритма, а лучше ручной реализации ничего для этого не придумаешь. И второй мотив — в учебных целях. Такая задача решается в рамках курса Исследование операций, его читают на многих специальностях. И неискушенному исследователю может быть достаточно сложно это сделать — реально доступной для понимания литературы и статей мало. Поэтому несколько статей по этому поводу — моя попытка облегчить кому-то жизнь :)
100% согласен. Метрики - супер важная штука. Но если ты не просто их посчитал для галочки, а реально понимаешь, как та или иная циферка поможет тебе принять решение / что она отображает в бизнесе / как с помощью этого ты подтвердишь свою гипотезу. И очень сложно это донести до начинающих ребят.
Стильно модно молодежно)
Без проблем — критика всегда полезна. Зато все аккумулировано в одном месте и поиски многих русскоязычных новичков теперь займут в разы меньше времени) Вижу это одной из главных задач подобных постов)
Спасибо! В данном случае там на этой базе завязан проект, так что остановимся на бинарниках, а вот уже в следующие разы, если будет потребность хранения именно такого рода данных отдельно, будем смотреть в сторону HDF5. Теперь люди смогут зайти на эту страницу и прочитать вообще все основные варианты: и pickle, и HDF5, и tobytes. Можно сводную заметку сделать по этому поводу))
Что касается блобов — а как бы Вы организовали хранение структур именно в том виде, как они должны быть сохранены? Например, тензор высокой размерности? Причем без потери формы. Кстати говоря, а frombuffer() разве не плоский массив возвращает?
Что касается других языков — полностью согласен. В данном случае просто такая ситуация не рассматривалась (в конкретном проекте).
:D
Естественно, решение человеком не всегда эффективно или даже реально. Для этого и разрабатывают алгоритмы и программы. Однако, "изучить границы" или "оценить результат" легко там, где идея исходной задачи довольно проста. То есть придумать алгоритм, как классифицировать котиков — нетривиальная вещь, а вот оценить довольно просто. Но если Ваша исходная задача — приблизить сильно осциллирующую функцию, например, которая отвечает какому-то физическому процессу, который мы не можем просто так смоделировать на практике, то оценить качество и применимость модели уже куда сложней. И тут без теоретических изысканий никуда. Да, это нужно не везде. Но где-то нужно :)
Помимо практической части вопроса есть еще теоретическая. И без неё особо далеко не уйдёшь, кто бы что ни говорил. И вот теория-то и отстаёт от практики лет на 50 примерно. Любая нейронная сеть — аппроксимация какой-то неизвестной нам функции. Так вот где гарантия, что конкретная нейронная сеть может решить нашу задачу? С какой точностью? Как подобрать архитектуру? Сейчас это все делается "на глазок", никаких особых методов не разработано. И если при классификации изображений мы можем посмотреть — похоже на правду или нет и посчитать процент ошибок, то при решении уравнений так сделать мы не сможем. Поэтому следующий рывок ИИ начнётся после серьёзных научных разработок, имхо. Вечно решать прикладные задачки "на опыте" невозможно.
Спасибо за замечания, все учту. Что касается М-Метода, там больше упор хотелось сделать на реализацию :) По теории там особо писать нечего, если только дублировать Симплекс-Метод.
У каждого, наверно, есть похожие воспоминания и ощущения… :)
Спасибо! Все учту :)
С такой подачей получится практически целый глубинный курс по оптимизации :) Хотя, если бы всегда его начитывали так подробно, было бы намного эффективней, имхо. Люди понимали бы природу того или иного метода. Как раз то, о чем я писал — следующий шажок: не просто алгоритм используем, а каждое действие осознаем. Но не глубоко, т.к. концепция оптимизационных задач нам не до конца понятна. То, о чем Вы говорите — супер. Это реально принесло бы пользу людям. Займусь этим :)
Учту пожелания в следующих статьях :) Раз такой запрос возник — значит людям это интересно.
Как раз в P.S. у меня есть ссылка на эту книгу. Она неплохая, но там есть пару минусов, на мой взгляд. Хотя, возможно, это зависит от редакции — в разные годы наполнение там было разным.
Это статья направлена на понимание теоретической части вопроса. Например, почему выбор новой базисной переменной происходит именно так, как он происходит. Будет еще одна (а может и не одна) статья по этому поводу, и там будут примеры и практика. А здесь формат другой — подробный разбор теории, с нюансами.