TradingView представила кольцо для криптотрейдеров —...

Мигает - это для эстетов. Главное вибрирует!

Пользователи РФ сообщили о проблемах с подключением к игровой платформы Roblox

Пользователи сообщили о проблемах подключения к реальной жизни.

Почему Олег Бартунов не верит Минобразования и советует программистам не уезжать? И что означает лозунг «Слоник наш»?

01.04.2015

Собес — это несмешной цирк

Собес в Яндекс, февраль этого года. Если отвести глаза от экрана, то собеседующий говорит "Не надо пытаться нас обмануть, используя LLM/Google" . При этом сам не знает ЯП, на котором решались алгоритмические задачки, а вакансия была на разраба на этом ЯП.

Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов. Часть 2

Не) Похоже только тем что в некоторой степени тоже пороговые (на самом деле однобитные) элементы и обучение стохастическое. Там вход приводится к бинарной (битовой) форме, а решение ищется в виде дизъюнктивной нормальной формы от входа. В процессе обучения используется автомат Ценлина - по сути счетчик с порогом срабатывания. Ссылка на архиворг https://arxiv.org/pdf/1804.01508 . Преимущества по сравнению с персептронами - типа интерпертируемость (т.к. ДНФ от входов - сомнительно при большом кол-ве входов и литералов), очень быстрый инференс и простота для аппартной реализации, т.к. при инференсе используется только простые битовые операции.

Эту тему пиарят какие-то чуваки из Норверии и вроде на FPGA и ASIC чего-то пытаются делать. И даже книжку пишут https://tsetlinmachine.org/. Интересно, кароче, хотя бы не булщит про LLM

Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов. Часть 2

Машина Цетлина интереснее

Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов. Часть 2

Но главного вы так и не поняли, это новый алгоритм, без вычисления градиента, поэтому даже если он пока чуть хуже (хотя это и не так сейчас, разве что CNN и WRN - вот где оверхед нейронов - чуток лучше) - он не требует вычисления производных

да понимаю я, сам игрался монте-карлами и прочими эмитациями отжига) это здорово что кто-не не в мэйнстриме пытается что-то делать. Для любителей нестандартного есть еще машина Цетлина.

Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов. Часть 2

Их смело можно рассматривать как 1 к 1000

Ну учитывая что ф-ия активации пороговая, в этом есть логика. Для MLP сложные функции активации типа синуса или вейвлета могут давать сопоставимый с Relu или сигмойдой результат при меньшем кол-ве нейронов (или ваще недостижимый) для некоторых задач.

Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов. Часть 2

Для меня что 30к что 10к звучит устрашающе, если речь об учебно-спортивной выборке типа NMIST)

Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов. Часть 2

Ой всё! Go - это такой С со сборщиком мусора. MPL из ссылки на Github - это второе что я сделал на Го после Хэлло волрда. Запустить это проще простого: качаем Го, распаковываем в папочку, прописываем в $PATH и в папке с проектом делаем go run .

Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов. Часть 2

Да я не спорю, карта могла так лечь, что выдало более 98%. Меня больше стриггерили 30к нейронов) Хотя после 95% каждый следующий процент дается кратным увеличением числа нейронов. 95% запросто получаем и с одним скрытым слоем из 32 нейронов за несколько эпох.

Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов. Часть 2

https://github.com/dimonz80/go_neuro запилил на гошечке. правда без моментума но тоже обучается норм

Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов. Часть 2

30к нейронов - хороший для MNIST? Вот щас прям самодельный MLP

784 x 48: Relu
48 x 128: Relu
128 x 10: Linear

бэкпропом (SGD + импульс) обучился до 98,14% на тестовой (10к) выборке (на обучающей 60к - 100%) за 350 эпох и 280 сек в один поток на CPU

Великий крах качества программного обеспечения: как мы нормализовали катастрофу

(rand5() - 1) + 5 * (rand5() - 1).

про центральную предельную теорему там выше уже писали)

Великий крах качества программного обеспечения: как мы нормализовали катастрофу

Неа, неравномерненько)

def rand5() = Random.nextInt(5) + 1

@tailrec def rand7(): Int = {
  val n = (rand5() - 1) * (rand5() - 1)
  if (n > 13) rand7() else n % 7 + 1
}

  val iters = 100000
  Range(0, iters)
    .map(_ => rand7())
    .groupBy(identity)
    .map { case (n, l) => n -> l.size }
    .toList
    .sortBy(_._1).foreach {
      case (num, freq) => println(s"$num  freq: ${freq * 1.0 / iters}")
  }

1  freq: 0.37639
2  freq: 0.12641
3  freq: 0.12314
4  freq: 0.08475
5  freq: 0.12431
6  freq: 0.08249
7  freq: 0.08251

Великий крах качества программного обеспечения: как мы нормализовали катастрофу

rand7() = rand5() / 5 * 7

Категории типов. Часть 4. Монады

"Я вот тоже Брокгауза и Ефрона читал. Два тома прочел. Читаешь, читаешь - слова легкие: Мечислав, Богоуслав и убей бог не помню какой-кто. Книжку закроешь - все вылетело.Помню только - Мандриан! Какой Мандриан? - нет там никакого Мандриана. Там с левой стороны - два Бронецких: один - брат Адриан, другой - Мариан, а у меня - Мандриан!" (c)

Категории типов. Часть 4. Монады

Ехал IO через ZIO

Видит IO: в ZIO map

Компания Atlassian уволила 150 сотрудников, используя заранее записанное видео

до наступления абзаца с customer support services  в Atlassian осталось 5 ... 4... 3...