Не думаю чтобы это представляло собой совсем уж неразрешимую проблему. Есть node.js. Прикрутить к нему нечто, имитирующее работу библиотеки dom, задача хоть и большая, но думаю вполне решаемая. Впрочем с джаваскриптом я сталкивался лишь однажды. Да и то не с dom, а с небольшим арифметическим примером, который надо было выполнить. Что легко делалось с помощью node.js
Не понял, чем с точки зрения сервера браузер отличается от какого-то левого скрипта ??? Если скрипт отправляет разумные заголовки, имитирующие браузер, выполняет тестовые задания на джаваскрипте, и т.п, отличить его от браузера невозможно. А ресурсов он занимает несравненно меньше чем тот же хром. Насчет того что все бесплатные прокси давно уже в бане - не знаю. Надо смотреть. Однако на первый взгляд сомнительно. Ибо бесплатные прокси много где используются. И их бан может резко ограничить трафик на сайт. Однако ещё раз, надо смотреть. Ну и с производительностью - 100 тысяч, это смешно. Мой парсер сайта избиркома парсил 300 тысяч часа за три. На обычном ноутбуке, даже не сильно навороченном.
P.S. Если хотите, могу поискать тот свой код на java. Правда писалось это в 18-м году под президентские выборы, причем писалось второпях и довольно грязно. Но работало отлично.
Привет ребят. Постараюсь немного помочь, я сам когда-то решал подобную задачу. Хотя и не для объявлений, а для скачивания данных с сайта избиркома, ради статистического исследования результатов выборов. Проблема была в том, что УИКов(участковых избирательных комиссий) в России чуть меньше 100 тысяч, и на каждую из них уходит по меньшей мере 3 http-запроса. Вот и посчитайте, сколько всё это будет работать, если каждый запрос занимает 2 секунды (и это ещё хорошо !). А сайт пускает только два запроса с одного ip-адреса.
Во-первых я пошел немного другим путём, чем вы. Не стал покупать прокси. Дело в том, что в сети полно сайтов, публикующих списки свободных прокси. У них есть API, разумеется платный. Но есть и html-странички. Разумеется защищенные, распарсить их надо ещё суметь. Зато это даёт ТЫСЯЧИ и ДЕСЯТКИ ТЫСЯЧ прокси. На халяву. Против ваших 150 за деньги.
Во-вторых не понял, зачем вам сервера ??? Всё прекрасно работает на локальной машине. Наверно вы начинали с php, и оно замылило вам глаза. Я начинал с экспериментов на питоне, а боевой код писал на java. Весь сайт избиркома в итоге качался в базу данных sqlite за 3 часа. Можно было бы и быстрее, но начинал слегка подтормаживать ноутбук.
В третьих по организации кода. Код ОБЯЗАТЕЛЬНО (!!!) должен быть модульным. С выделенным модулем парсинга. Который получает выкачанный html и выдирает из него нужную информацию, которую куда-то в свою очередь отправляет (в базу данных например). Дело в том что ад любого парсера - это изменения в верстке. И должна быть заранее предусмотрена возможность достаточно безболезненно эту проблему решать, затрагивая как можно меньше кода. Кроме того должна быть предусмотрена возможность раздельной работы на разных компьютерах, со слиянием полученных баз данных в одну. У меня это тоже было предусмотрено, хотя и не использовалось. Этим решается проблема масштабирования.
Вот примерно так. Надеюсь был вам полезен. Ну и наконец можете почитать пару моих живых статей (в формате ipynb) на эту тему https://github.com/Karabass-Barabass/FreeProxy/tree/master . Они несколько не окончены и в конце там какое-то количество мусора. Но читать это не мешает. Хотел опубликовать на хабре, да не решился. Ибо тема довольно скользкая.
Ребят, никого не хочу огорчать, но цианистый водород это вобщем-то ни о чём. Так же как и метан на Марсе. Да, безусловно очень интересно. Но утверждать на этом основании, что шансы найти жизнь тем самым существенно повышаются, я бы например поостерегся. Нужны серьёзные исследования, тогда МОЖЕТ БЫТЬ что-то отыщем. Эхх... Сколько сил человечество тратит на разную ерунду, вместо того чтобы всерьёз заняться ну хотя бы тем же Энцеладом...
Закон диалектики. Отрицание отрицания :))) В во всём прочем абсолютно с Вами согласен. Анонимность уже сейчас весьма условна и определяется в основном количеством денег, которые Старший Брат готов потратить на деанон. С увеличением вычислительных мощностей стоимость этого будет уменьшаться. Так что да, придётся либо приспосабливаться, либо вымирать. Но второй вариант просто не интересен...
100% одобрение диктатора убьет саму идею таких сетей. Достаточно будет телевизора. А вот если диктатор будет хорошо знать, что тронь он кого-то за не 100% одобрение и получит вендетту, ещё трижды подумает... Но для этого народ должен быть с яйцами в штанах. Чего в последнее время увы катастрофически не наблюдается... Впрочем это уже далеко от тематики Хабра.
По-моему это всё попытки выделить сознание в некую эзотерическую сущность, ещё и не создавая никакой научной теории под это
Ну попытки создания научных теорий, отбрасывающих эзотерическую сущность не новы. Когда чем занимались, такие теории и строили. Во времена Ньютона и позднее, считали что человек (Сознание !) это механизм. В конце 19 - начале 20-го века - что тепловая и электрическая машина. В конце 20-го века, что компьютер. Теперь вот нейросеть... Как говорил царь Соломон - "И это пройдёт" :)))
Можете привести пример каких-либо способностей человека, которые, по-вашему, никогда не будут достигнуты нейросетями?
Тут ниже в этой же ветке я упоминал Куммера с его теорией круговых целых. Теория была построена Куммером в попытке доказать Великую Теорему Ферма, перейдя в комплексную область. Попытка оказалась в целом неудачной, хотя и позволила очень сильно продвинуться к цели. Тем не менее сама теория исключительно красива и изящна, будучи посторенной фактически на пустом месте http://www.ega-math.narod.ru/Books/Edwards.htm . Я утверждаю, что никакая нейросеть, не сможет сделать ничего подобного НИКОГДА.
Думаю, в ближайшие 10 лет увидим много интересного.
Не сомневаюсь. Причем не только интересного, но и практически полезного. Более того, с интересом за всем этим слежу. Хотя бы как за попытками человечества докопаться до того, что же такое Душа, Сознание, Разум и т.п. Однако как говорится кесарю кесарево, а богу богово...
Не припоминаю и это объясняется когнитивными искажениями. Как только подключаются научные методы, двойное слепое тестирование, так вся магия и пропадает.
Случай из моей жизни. На турбазе играли в слова. Ну знаете, человек загадывает слово, говорит его по секрету арбитру, потом называет первую букву. А потом ему задают вопросы, чтобы это слово разгадать. Вопросы про другие буквы задавать нельзя. Мужик загадал слово на букву К. Меня сразу как по башке доской ударило, говорю мол знаю это слово. И сообщаю - барон Пьер де Кубертен. Один писатель даже использовал этот мой случай в своём сюжете. Ну и как Вы предлагаете к событиям, которые случаются один-два раза за всю жизнь применять двойное слепое тестирование ??? Увы, методы науки тоже не всемогущи. И слепая вера в науку ничем не лучше любой другой религии.
Да, думал об этом же. Увы, тут неувязочка. Дело в том, что это убьет анонимность. Со всеми отсюда вытекающими, учитывая общее положение дел (кстати не только в России !) со свободой слова. И боюсь одним из требований к таким сетям будет безусловная защита друг друга ВСЕМИ её членами, в случае наезда на одного. Всеми средствами, вплоть до объявления вендетты. Впрочем может оно и к лучшему.
Плюс очень-очень много... Добавлю лишь, что не только статьи. Но и книги, научные публикации, чертежи, патенты... И это меня сейчас реально пугает, учитывая что основа цивилизации - текст. Как бы не получилось так, что боялись роботов-терминаторов, а уничтожат нас потоки генеративного говна...
Всё о чём Вы говорите, сводится к машинам Тьюринга. Сознание к машине Тьюринга по-видимому не сводится, работая в некотором смысле лучше неё. А про вычислительные мощности это Вы зря. В этом году суперкопьютеры превзошли экзабайтный предел - 10^18 операций в секунду. В мозгу 10 миллиардов нейронов - 10^10. У нейрона 10 тысяч аксонов - 10^4. Частота работы нейрона 1 килогерц - 10^3. Перемножая это получаем 10^17 операций в секунду. Итого, суперкомпьютеры превзошли по производительности мозг в 10 раз. И никакого чуда не случилось (несмотря на некоторые действительно впечатляющие достижения). Вангую что и НЕ СЛУЧИТСЯ. Гениального (и даже просто хорошего) математика создать не удастся. Это я ещё не касался разного рода паранормальщины ! Взять хотя бы простейшее - предсказания, пророчества, вещие сны и т.п. Каждый человек старше 40 наверняка припомнит один-два таких случая из своей жизни. Т.е, они не только несомненно существуют, но даже не слишком редки ! Это-то как реализовать через сигналы, триггеры и микросервисы !
Ага... Куммер со своей теорией круговых целых вообще мой любимый пример. Как фактически из ничего была пострена весьма развитая и изящная теория. Очень советую "Последняя теорема Ферма. Генетическое введение в теорию чисел". Там этот сюжет один из ключевых. Впрочем сама книжка великолепная.
Погуглите "Новый ум короля" и "Тени разума". Есть ещё третья "Большое, малое и человеческий разум", но она уже не столь фундаментальна как первые две. Все три есть на рутрекере. Если совсем кратко, на примере математического творчества Пенроуз показывает, что Сознание(в своих высших формах !) действует в некоторм смысле лучше, чем любой, сколь угодно сложный(но конечный !) алгоритм. И следовательно к алгоритмам не сводится. А поскольку вся известная на сегодняшний момент физика тоже сводится к алгоритмам (дифференциальные уравнения это те же алгоритмы, по ним можно считать !), то не сводится оно и к известной физике. Сам Пенроуз правда уповает на будущую квантовую теорию гравитации, но мне это кажется неубедительным. Мне кажется вопрос куда глубже. Так или иначе, в создание сильного ИИ, тем более сверхчеловеческого (!!!) я не верю. Что конечно же не делает менее интересными и полезными нынешние исследования. Может продвигаясь такими шажками и поймём в конце концов, что такое Сознание, и кто такие мы сами...
Там по-моему не просто суд светит, а ещё и по очень тяжким обвинениям. В голове не укладывается, на какую подлость и низость готовы пойти люди, исключительно из-за бабла !
Интересно, а сама эта Newag не боится судебного преследования, причем по очень серьёзным статьям, типа терроризма и совершения диверсии ??? По-моему тут это просто напрашивается !
Ага... Ничего собой не представляющее уравнение x^n + y^n = z^n. А доказательство отсутствия решений в натуральных числах при n>2, заняло 350 лет труда лучших математиков мира. Я на такие штуки разделяю точку зрения Пенроуза. И события последних лет меня пока не переубедили.
Кстати тоже очень серьёзный вопрос. Нейросеть, если предельно грубо и упрощенно, это интерполятор обучающих данных. Если обучить её на фактах из математики, разумеется она сможет высказать кучу весьма правдоподобных утверждений, большинство из которых наверняка будут истинны. Отношение к математике это разумеется имеет весьма слабое.
Не думаю чтобы это представляло собой совсем уж неразрешимую проблему. Есть node.js. Прикрутить к нему нечто, имитирующее работу библиотеки dom, задача хоть и большая, но думаю вполне решаемая. Впрочем с джаваскриптом я сталкивался лишь однажды. Да и то не с dom, а с небольшим арифметическим примером, который надо было выполнить. Что легко делалось с помощью node.js
Я и не говорю что всё просто ! Но уверен, что всё решаемо. Разумеется гляну на озон, спасибо за интересную наводку !
Не понял, чем с точки зрения сервера браузер отличается от какого-то левого скрипта ??? Если скрипт отправляет разумные заголовки, имитирующие браузер, выполняет тестовые задания на джаваскрипте, и т.п, отличить его от браузера невозможно. А ресурсов он занимает несравненно меньше чем тот же хром. Насчет того что все бесплатные прокси давно уже в бане - не знаю. Надо смотреть. Однако на первый взгляд сомнительно. Ибо бесплатные прокси много где используются. И их бан может резко ограничить трафик на сайт. Однако ещё раз, надо смотреть. Ну и с производительностью - 100 тысяч, это смешно. Мой парсер сайта избиркома парсил 300 тысяч часа за три. На обычном ноутбуке, даже не сильно навороченном.
P.S. Если хотите, могу поискать тот свой код на java. Правда писалось это в 18-м году под президентские выборы, причем писалось второпях и довольно грязно. Но работало отлично.
Привет ребят. Постараюсь немного помочь, я сам когда-то решал подобную задачу. Хотя и не для объявлений, а для скачивания данных с сайта избиркома, ради статистического исследования результатов выборов. Проблема была в том, что УИКов(участковых избирательных комиссий) в России чуть меньше 100 тысяч, и на каждую из них уходит по меньшей мере 3 http-запроса. Вот и посчитайте, сколько всё это будет работать, если каждый запрос занимает 2 секунды (и это ещё хорошо !). А сайт пускает только два запроса с одного ip-адреса.
Во-первых я пошел немного другим путём, чем вы. Не стал покупать прокси. Дело в том, что в сети полно сайтов, публикующих списки свободных прокси. У них есть API, разумеется платный. Но есть и html-странички. Разумеется защищенные, распарсить их надо ещё суметь. Зато это даёт ТЫСЯЧИ и ДЕСЯТКИ ТЫСЯЧ прокси. На халяву. Против ваших 150 за деньги.
Во-вторых не понял, зачем вам сервера ??? Всё прекрасно работает на локальной машине. Наверно вы начинали с php, и оно замылило вам глаза. Я начинал с экспериментов на питоне, а боевой код писал на java. Весь сайт избиркома в итоге качался в базу данных sqlite за 3 часа. Можно было бы и быстрее, но начинал слегка подтормаживать ноутбук.
В третьих по организации кода. Код ОБЯЗАТЕЛЬНО (!!!) должен быть модульным. С выделенным модулем парсинга. Который получает выкачанный html и выдирает из него нужную информацию, которую куда-то в свою очередь отправляет (в базу данных например). Дело в том что ад любого парсера - это изменения в верстке. И должна быть заранее предусмотрена возможность достаточно безболезненно эту проблему решать, затрагивая как можно меньше кода. Кроме того должна быть предусмотрена возможность раздельной работы на разных компьютерах, со слиянием полученных баз данных в одну. У меня это тоже было предусмотрено, хотя и не использовалось. Этим решается проблема масштабирования.
Вот примерно так. Надеюсь был вам полезен. Ну и наконец можете почитать пару моих живых статей (в формате ipynb) на эту тему https://github.com/Karabass-Barabass/FreeProxy/tree/master . Они несколько не окончены и в конце там какое-то количество мусора. Но читать это не мешает. Хотел опубликовать на хабре, да не решился. Ибо тема довольно скользкая.
Ребят, никого не хочу огорчать, но цианистый водород это вобщем-то ни о чём. Так же как и метан на Марсе. Да, безусловно очень интересно. Но утверждать на этом основании, что шансы найти жизнь тем самым существенно повышаются, я бы например поостерегся. Нужны серьёзные исследования, тогда МОЖЕТ БЫТЬ что-то отыщем. Эхх... Сколько сил человечество тратит на разную ерунду, вместо того чтобы всерьёз заняться ну хотя бы тем же Энцеладом...
Закон диалектики. Отрицание отрицания :))) В во всём прочем абсолютно с Вами согласен. Анонимность уже сейчас весьма условна и определяется в основном количеством денег, которые Старший Брат готов потратить на деанон. С увеличением вычислительных мощностей стоимость этого будет уменьшаться. Так что да, придётся либо приспосабливаться, либо вымирать. Но второй вариант просто не интересен...
100% одобрение диктатора убьет саму идею таких сетей. Достаточно будет телевизора. А вот если диктатор будет хорошо знать, что тронь он кого-то за не 100% одобрение и получит вендетту, ещё трижды подумает... Но для этого народ должен быть с яйцами в штанах. Чего в последнее время увы катастрофически не наблюдается... Впрочем это уже далеко от тематики Хабра.
Ну попытки создания научных теорий, отбрасывающих эзотерическую сущность не новы. Когда чем занимались, такие теории и строили. Во времена Ньютона и позднее, считали что человек (Сознание !) это механизм. В конце 19 - начале 20-го века - что тепловая и электрическая машина. В конце 20-го века, что компьютер. Теперь вот нейросеть... Как говорил царь Соломон - "И это пройдёт" :)))
Тут ниже в этой же ветке я упоминал Куммера с его теорией круговых целых. Теория была построена Куммером в попытке доказать Великую Теорему Ферма, перейдя в комплексную область. Попытка оказалась в целом неудачной, хотя и позволила очень сильно продвинуться к цели. Тем не менее сама теория исключительно красива и изящна, будучи посторенной фактически на пустом месте http://www.ega-math.narod.ru/Books/Edwards.htm . Я утверждаю, что никакая нейросеть, не сможет сделать ничего подобного НИКОГДА.
Не сомневаюсь. Причем не только интересного, но и практически полезного. Более того, с интересом за всем этим слежу. Хотя бы как за попытками человечества докопаться до того, что же такое Душа, Сознание, Разум и т.п. Однако как говорится кесарю кесарево, а богу богово...
Случай из моей жизни. На турбазе играли в слова. Ну знаете, человек загадывает слово, говорит его по секрету арбитру, потом называет первую букву. А потом ему задают вопросы, чтобы это слово разгадать. Вопросы про другие буквы задавать нельзя. Мужик загадал слово на букву К. Меня сразу как по башке доской ударило, говорю мол знаю это слово. И сообщаю - барон Пьер де Кубертен. Один писатель даже использовал этот мой случай в своём сюжете. Ну и как Вы предлагаете к событиям, которые случаются один-два раза за всю жизнь применять двойное слепое тестирование ??? Увы, методы науки тоже не всемогущи. И слепая вера в науку ничем не лучше любой другой религии.
Да, думал об этом же. Увы, тут неувязочка. Дело в том, что это убьет анонимность. Со всеми отсюда вытекающими, учитывая общее положение дел (кстати не только в России !) со свободой слова. И боюсь одним из требований к таким сетям будет безусловная защита друг друга ВСЕМИ её членами, в случае наезда на одного. Всеми средствами, вплоть до объявления вендетты. Впрочем может оно и к лучшему.
Плюс очень-очень много... Добавлю лишь, что не только статьи. Но и книги, научные публикации, чертежи, патенты... И это меня сейчас реально пугает, учитывая что основа цивилизации - текст. Как бы не получилось так, что боялись роботов-терминаторов, а уничтожат нас потоки генеративного говна...
Не исключен и такой вариант, что пространство и время отдельно, сознание отдельно. Как бы бредово это ни звучало...
Всё о чём Вы говорите, сводится к машинам Тьюринга. Сознание к машине Тьюринга по-видимому не сводится, работая в некотором смысле лучше неё. А про вычислительные мощности это Вы зря. В этом году суперкопьютеры превзошли экзабайтный предел - 10^18 операций в секунду. В мозгу 10 миллиардов нейронов - 10^10. У нейрона 10 тысяч аксонов - 10^4. Частота работы нейрона 1 килогерц - 10^3. Перемножая это получаем 10^17 операций в секунду. Итого, суперкомпьютеры превзошли по производительности мозг в 10 раз. И никакого чуда не случилось (несмотря на некоторые действительно впечатляющие достижения). Вангую что и НЕ СЛУЧИТСЯ. Гениального (и даже просто хорошего) математика создать не удастся. Это я ещё не касался разного рода паранормальщины ! Взять хотя бы простейшее - предсказания, пророчества, вещие сны и т.п. Каждый человек старше 40 наверняка припомнит один-два таких случая из своей жизни. Т.е, они не только несомненно существуют, но даже не слишком редки ! Это-то как реализовать через сигналы, триггеры и микросервисы !
Ага... Куммер со своей теорией круговых целых вообще мой любимый пример. Как фактически из ничего была пострена весьма развитая и изящная теория. Очень советую "Последняя теорема Ферма. Генетическое введение в теорию чисел". Там этот сюжет один из ключевых. Впрочем сама книжка великолепная.
Погуглите "Новый ум короля" и "Тени разума". Есть ещё третья "Большое, малое и человеческий разум", но она уже не столь фундаментальна как первые две. Все три есть на рутрекере. Если совсем кратко, на примере математического творчества Пенроуз показывает, что Сознание(в своих высших формах !) действует в некоторм смысле лучше, чем любой, сколь угодно сложный(но конечный !) алгоритм. И следовательно к алгоритмам не сводится. А поскольку вся известная на сегодняшний момент физика тоже сводится к алгоритмам (дифференциальные уравнения это те же алгоритмы, по ним можно считать !), то не сводится оно и к известной физике. Сам Пенроуз правда уповает на будущую квантовую теорию гравитации, но мне это кажется неубедительным. Мне кажется вопрос куда глубже. Так или иначе, в создание сильного ИИ, тем более сверхчеловеческого (!!!) я не верю. Что конечно же не делает менее интересными и полезными нынешние исследования. Может продвигаясь такими шажками и поймём в конце концов, что такое Сознание, и кто такие мы сами...
Там по-моему не просто суд светит, а ещё и по очень тяжким обвинениям. В голове не укладывается, на какую подлость и низость готовы пойти люди, исключительно из-за бабла !
Интересно, а сама эта Newag не боится судебного преследования, причем по очень серьёзным статьям, типа терроризма и совершения диверсии ??? По-моему тут это просто напрашивается !
Ага... Ничего собой не представляющее уравнение x^n + y^n = z^n. А доказательство отсутствия решений в натуральных числах при n>2, заняло 350 лет труда лучших математиков мира. Я на такие штуки разделяю точку зрения Пенроуза. И события последних лет меня пока не переубедили.
Кстати тоже очень серьёзный вопрос. Нейросеть, если предельно грубо и упрощенно, это интерполятор обучающих данных. Если обучить её на фактах из математики, разумеется она сможет высказать кучу весьма правдоподобных утверждений, большинство из которых наверняка будут истинны. Отношение к математике это разумеется имеет весьма слабое.
Это конечно очень круто, но никакого математического открытия сделанного нейросеткой, я тут не увидел.
Добавьте ещё В.В. Майер "Простые опыты с ультразвуком" https://ikfia.ysn.ru/wp-content/uploads/2018/01/Majer1978ru.pdf
Совершенно потрясающая книга ! В детстве была моей настольной :))
А вот ещё пример применения ультразвуковых технологий :))