Борис Тышкевич@btyshkevich
.
Информация
- В рейтинге
- Не участвует
- Откуда
- Москва и Московская обл., Россия
- Зарегистрирован
- Активность
Специализация
Архитектор баз данных
SQL
Высоконагруженные системы
Базы данных
Git
Python
Проектирование архитектуры приложений
Apache Kafka
ClickHouse
Нигде не упомянут Clickhouse. Вот вам процессор шаблонов на SQL:
делает замены @xxx@ переменных, убирает комментарии и переводы строк.
Написано много лет назад, руками, без ChatGPT
про бабуинов исследований не помню. Но судя по статье в википедии они весьма и весьма дружелюбные - https://ru.wikipedia.org/wiki/Бабуин
В сравнении с другими социальными животными разумеется. Сравните их с волками, львами, лошадьми. Сравнение с комунной хипи принимается тоже. Да у последних есть определенные проблемы с организацией и совместной деятельностью. Но это уже другой уровень проблем в других условиях. Городские утки тоже себя ведут не так как дикие.
Сам по себе апарат принуждения не может существовать, за ним должна стоять какая-то религия или идеология. А вот она уже и определяет это самое "дружелюбие". Не стоит переоценивать понятие "дружелюбия", вкладывая в него какие-то христианские понятия. Это просто характеристика. Бывает больше, бывает меньше. Китайцы вон уже почти 2 ярда отстроили без всякого "ни убий".
Я вкладываю в дружелюбие способность взаимодействовать с незнакомцами к общей выгоде (торговать например), а не убивать их при встрече. Представьте себе большой стадион заполненный шимпазе. Они же поубивают друг друга. А люди таки нет (ну почти).
Очень даже понятно.
Эксперимент идет уже сотни тысяч лет, из которых довльно прилично изучены последние 10000. И все говорит о том, что мы становимся все более дружелюбнее. Дружелюбность измеряется легко - количеством людей в социальной структуре. Шимпанзе - это десятки, 60 - уже много. Бонобо - больше. Древние охотники собиратели - 250-300. Ранние царства - сотни тысяч. Римская империя - единицы миллионов. Европейские империи перед 1-й мировой - десятки миллионов. Католическая церковь и современные крупные страны - сотни миллионов до миллиарда. Китай, Индия и "коллективный запад" почти по два миллиарда.
Еще можно прикинуть вероятность встать утром, не умерев за ночь от вражеского налета. У шимпанзе и охотников собирателей было так себе, у нормального жителя европейского города - приближается к 100%. Ситуация в Киеве подкачала, но это локальный выброс, так бывало всегда, никто не обещал ровной дороги к прогрессу.
Вобщем примеров и экспериментов на эту тему очень много. Ссылка на книгу Хенрика со всем этим хозяйством ищите в соседнем комменте.
Сравнение нечестное. В повелителе мух были дети из расных классов дурной английской школе, воспетой в фильме "стена", со всем ее буллингом и прочими ужасами, которые её сближают с армией и тюрьмой.
В случае ребят из Тонго, довольно очевидно, что это были друзья. Причем близкие (с кем бы вы отправились на такое приключение как ночевка на яхте в 10 км от берега?). Возможно выживальщики. Несомненно умеющие выживать, или имеющие детский опыт жизни в деревне, с навыком охоты, сбора дождевой воды, плетения циновок.
И самое главное с отстроенной иерархией - два старших с разными ролями, младшие без претензий. Конечно у них все будет хорошо, как у здорового боевого племени, которое завоюет все в округе.
Но история и вправду хороша и оптимистична. И все мысли правильные про "одомашнивание". Есть даже ощущение, что ребята копировали текст большими кусками из книги Хенрича - The Secret of Our Success, https://secretofoursuccess.fas.harvard.edu/
Если эта тема вам интереса, то вот мой вариант как это надо делать - https://github.com/bvt123/SCH
Я оторвал кусок от реального проекта и выложил в opensource. И даже что-то описал. Но пока идет тяжело. Если интересно - читайте и задавайте вопросы, может быть это меня простимулирует дописать статью для хабра. А то пока есть ощущение, что это все никому не нужно.
with прекрасен, его надо использовать и даже больше чем у вас в коде. Я про другое. Тот трюк про который вы упомянули (и не описали). Называется подзапрос. with, а более правильнее CTE - это понятие синтаксиса SQL, а не сути того что вы делаете.
Что касается схемы - нет, она нерабочая. Так делать нельзя. Нельзя в рамках kafka loop в общем случае делать такие джойны. Если хотите так сделать - указывайте настройки Kafka Engine, где вы исскуственно ограничиваете размер блока и расширяете временной интервал, так чтобы у вас все работало.
Но я бы так не делал никогда. Вы закладываете мину замедленного действия. Рано или поздно у заказчика увеличится поток данных или просто кафка остановится на сутки, и вы огребете поток, который не сможете отработать должным образом.
Не обратил. Да, так можно. В весьма ограниченных рамках, при низкой интенсивности потока данных.
И очень странно сформулировано (почему with, а не подзапрос?). Очень странно что нет примера на SQL, а приведен неправильный код, который по сути не работает. Вы бы дописали в статью финальную версию.
Вот ваш джойн. Тут правая таблица, которая полезет в память это metrics_uniq, которая большая. Блок вставки - это metrics_dirty, она маленькая, но это уже неважно. Такой join не должен работать в рамках kafka loop processing
Вы запускали это под нагрузкой? У меня никогда не получалось делать тяжелые join в рамках MV, инициированные Kafka Engine. В конечном счете шли ошибки и все останавливалось. Пришлось сделать внешний планировщик, который запускал insert select
мне непонятно что обозначает фраза "бросовая древесина". Кто её бросил? Куда? Так не бывает. Дерево в 21-м веке - это предмет особой ценности. Это вам не пластиковая бутылка. В нормальных странах любое дерево в промышленных объемах стоит дорого. Всегда есть вариант сделать из него что-то полезное (да хоть бы и OSB плиту). Жечь дерево на заводе - такое-же сумашествие как и сжигание сырой нефти.
В московских парках "благоустроители" крадут спиленные деревья и вывозят их "на мусорные свалки". Хотя есть серьезное подозрение, что на завод по производству OSB. Посмотрите цены на нее. А вы говорите дрова. Дрова остались в 19-м веке.
И ещё в Конго. Пока ещё. Сожгут весь лес, уничтожат почву, а потом устроят войнушку, потому как есть нечего.
Можно и реликтовый лес рубить для этих целей. Но не нужно. С тополем ивой и прочими мусорными деревьями это не так очевидно, тем не менее по факту на месте где раньше рос лес (допустим в Амазонке) теперь выращивают быстрорастущие деревья на топливо для ракет и самолетов. Вы точно считаете, что это хороший путь?
Мне как-то ближе ядерная энергетика, особенно в её новых воплощениях - ЗАЯЦ и термояд.
Ещё кое-как с допущениями можно говорить про установки типа описанной выше в жестких пустынях. Но использовать все ещё живые территории, где могут расти деревья и травы для топлива??? А жить где? А еда откуда?
Мало того, что сжигая дрова вы никак не улучшаете углеродный баланс, хуже другое. Дрова - это срубленные деревья и уничтоженный лес. Биодизель из травянистых культур - это разрушение плодородных почв, которые и так стремительно деградируют.
Проблема деградации леса, почв и пресной воды вобще-то более серьезная, чем накопление CO2 за счет сжигания ископаемого топлива.
СПФС даже в России работает со скрипом. Из ВТБ в Тинькофф доллары не переводит.
Я бы конечно поспорил про ощущения разработчика за его говнокод. Перед собой ли ему стыдно, или перед теми кто этот код рано или поздно увидит. Мы же знаем про все тайное, которое становится явным... Но доказывать и спорить не буду. Потому как тут начинается жесткая психолингвистика. Наверное мы все мало что скажем правильного.
Однак как замечали многие критики Хенрика - тема перевода понятий guilt and shame непростая и очень зависит от культуры. И в nonWEIRD культурах оно другое. Про что собственно и речь. Это важно, а не конкретные примеры.
Я не знаю откуда вы берете эти "насилия". Хотелось бы каких-то ссылок, подтверждений позиции, а не просто изложений своего личного мнения. Я вот иду просто в википедию - https://ru.wikipedia.org/wiki/Стыд и читаю ровно тоже самое :
ну и там далее по тексту со ссылками на какие-то источники. Сам ни разу не психолог, далеко не копал, но если есть что-то иное - буду рад прочитать.
Это очень важная концепция. Хенрик как раз и занимается исследованием возникновения разума. Разум возник не одномоментно, а эволюционно за 2М лет. Ваш пример с "духом грозы" подробно разбирается в отдельной главе. С наблюдениями за отношением к мелким богам в современные племенах.
Не нужно путать всяких "леших и домовых" (да хоть бы и Апполона) с "всемогущим богом". Люди прошли большой путь, прежде чем смогли оформить в культуре концепцию всемогущего и всевидящего бога. Почитайте иллиаду - ощутите разницу тех богов и бога христиан.
Все так. Но мне непонятен ваш наезд. Ученый занимается поиском ответа на вопрос "каким образом эти понятия внедряются и устанавливаются". Какие к нему притензии? Это же и есть цель науки - разобраться в процессах и найти закономерности.
Не думаете ли вы, что понимая, как происходят подобные изменения мы получим возможность влиять на них в нужном направлении (что несколько утопично), или хотя бы не делать грубых и самонадеянных ошибок в рамках таких влияний, если уж они происходят?
Что считать плохим и хорошим - определяет религия. Вот сейчас считается что людей обижать плохо, что у них есть права с рождения. А раньше можно было по закону пытать и убивать "типо преступников, ну и прочих недолюдей", и общественное мнение считало это правильным. Как так случилось, что все вдруг поменялось? Неужели вам не интересно разобраться?
Нужно различать значения слова "вина" - https://ru.wikipedia.org/wiki/Вина_(значения)
Разумеется, мы тут говорим не о щипковом инструменте, и не об уголовном праве. Нас интересует "отрицательно окрашенное чувство" в психологии.
Да, "позор" - это про общественное мнение. Так же как и стыд - "стыдно перед людьми" (а когда не видно, то и не стыдно). Кому-то стыдно ходить с непокрытой головой, а кому-то и полностью голым нормально.
Хенрик приводит в книге хороший пример - идейный вегетарианец (ну или скажем иудей) где-то вдалеке от своего дома/общины/знакомых, там где его никто не знает, сидит на празднике за накрытым столом. Почему он не ест свинину? А если вдруг поддастся уговорам и съест кусочек, то какое это будет чуство? Это и есть вина. Не стыд. Никто ему ничего не скажет и не осудит (скорее наоборот), но внутри будет нехорошо. Потому что человек предает что-то внутренее в себе самом, какую-то свою личную веру.
По словам Хенрика эта культурная новация (мутация) возникла не так давно. Можно обсуждать кто принес - католики, протестанты или кто-то ещё (да те-же иудеи), но гипотеза сильная. "Более важно что у меня внутри, а не мнение людей" (потому как есть всевидящий бог, спасение после смерти, торжество великой идеи, итп).
Но большинство людей на планете живут не так. Для них важнее общество. Чаще родовое общество (семья/племя/клан), а не коллеги или соседи. И их порывы сдерживает стыд. Ну и та вина, которая в правовом смысле.
И это конечно не означает, что скажем аварец никогда не испытывает вины (в психологичском плане). Важно, что является более значимым, и влияющим на его поведение.
Ура, есть критика по существу. За это комментатору спасибо, да и вам тоже. Принимать возражения или нет - каждый решит сам.
Единственное, что я хочу возразить по поводу критики исследования значимости понятий стыд/вина через распределение поисковых запросов на разных яхыках. Комментатор утверждает, что это невозможно в связи с трудностями перевода.
Начал бы со злободневного - https://meduza.io/feature/2022/02/08/ya-dayu-tebe-dva-dnya-chtoby-ty-sovershila-suitsid-urozhenka-dagestana-sbezhavshaya-ot-semi-v-moskvu-rasskazala-o-popytke-uvezti-ee-nazad
После этого иду в словарь аварского (язык неплохо исследован, куча статей в киберленинке) - http://avar.me/ Затем в гугл:
гIайиб аварский - 568
намуслы аварский - 7420
Понимает ли этот человек слово "вина" в том смысле, который вкладывает в него человек с христианскими корнями? Наверное нет. Но вопрос не в этом. Какое значение в его жизни имеют эти два понятия? Переживает ли он от осоздания своей вины за какие-то действия (или бездействия), так-же как он переживает из за "позора" (это и есть стыд) свалившегося на его семью (не на него лично!).
Про это книга. Что вы хотите объяснить этому аварцу? Как? Он другой человек. Он никогда не поймет, что в мире есть вещи более важные чем интересы его семьи и рода. Но дети его дочери скорее всего будут другие. Удачи ей.
(Смотрю теперь другими глазами на молодых кавказцев, особенно девушек, работающих в московских кафешках. Фундаментальный процесс разворачивается на наших глазах.)
Очень не люблю когда люди в комментах начинают не по делу обзываться фашистами (соц. дарвинизм - это ведь почти оно?). Марков в своей рецензии (ссылка в начале статьи - рекомендую) верно предположил, что такое обвинение несомненно выдвинут.
Но нет. Нет ни в книге, ни в моей статье никакого соц. дарвинизма, и уничижения других народов. Это вам показалось. Есть здоровый интерес ученого понять как работают механизмы эволюции. То, что теория вызывает споры - это хорошо. Новации - они такие.
100 лет назад соц. дарвинисты (я их тоже не люблю) оперировали биологическими особенностями (ДНК по современному). Сейчас мы ведем речь о культуре и психике. Психику они воспринимали по Фрейду. А слово культура не могли применить в том смысле, который мы сейчас в него вкладываем. Как вам понятие "культура волчьей стаи"? Готовы ли вы рассуждать в таких категориях?
Определение эволюции из английской википедии меня вполне устраивает:
Evolution is change in the heritable characteristics of biological populations over successive generations.
- изменение наследственных характеристик биологических популяций в последовательных поколениях.
Тут нет никаких моральных оценок (и не должно быть). Законы эволюции похожи на закон всемирного тяготения - они просто действуют, нравится ли вам это или нет.
Да, так все думали и думают. В статье, я на эту тему нарисовал картинку "психика" <-> "культура".
Новация Хенрика, принесшего из биологии идеи эволюции, что измения взаимные - жизнь меняет психику, а люди с измененной психикой меняют окружающую их среду. Точно так-же идет биологическая эволюция - животные и растения меняют экосистему, а потом адаптируются к ней. Эта идея лучше развернута в первой книге Хенрика про эволюцию гоминид.
Вы правильно отметили про скорость. Однако важно с чем сравнивать. Биологическая эволюция идет существенно медленее. Изменения психики проходят за столетия. Но конечно не за годы, как хотелось бы многом. Об этом и речь.
Upd: В комментах разгорелась дискуссия про "факторы", прежде всего про довольно известные, такие как порох, сталь, колонии и рабство. Очень жаль, что позицию Херника по существу никто не стал обсуждать - факторы это или следствия? Действительно ли именно новая система брачных связей запустила процесс перехода? Почему процесс растянулся так надолго? Изменилась ли психика?
В одном из ответов я приложил схему из резюмирующей главы книги, описывающую переход от варварства к небывалому экономическому росту - https://habr.com/ru/post/646857/comments/#comment_24001517