Простой вариант реализации многопоточности на PHP

[Akuma]

Уже очень долго юзаю потоки через pcntl_fork. И все в порядке и удобно.

А вот pthreads да, там какая-то задница с автолоадом начинается. Если у вас что-то простое, то пойдет, а для полноценного приложения появляется много проблем.

[miksir]

pcntl_fork — это не потоки, а процессы

[Akuma]

Да, верно.

[unet900]

Расскажите подалуйста чтт не так в pthreads

[greatkir]

Автор pthreads написал и на данный момент предлагает использовать эту библиотеку для потоков в PHP.
Как он признает, реализация pthreads по различным причинам действительно получалась не слишком понятной

[komandakycto]

Думаю вместо того, что написал автор, надо брать очереди и писать воркеры. Получится прямее. Вы передаете диапазон данных, которые должен обработать один из экземпляров скрипта, однако может произойти ошибка по середине. Нужно понимать как обработать оставшиеся данные, на каком месте мы остановились, как поднять скрипт с места остановки.

[hotsanchous]

Недавно тоже раскапывал тему потоков в php и пришел к очереди (rabbitMQ). Посчитал это правильнее, чем использовать костыльные методы для многопоточности.

[AlexLeonov]

Никаких «потоков» здесь нет, вы просто запускаете процессы в фоне. Перенаправляя их stdout и stderr в /dev/null

[miksir]

Это многопроцессность (multiprocessing), а не многопоточность (multithreading). Это вполне себе определенные подходы, разница которых заключается в том, что мы используем для параллельного вычисления — процессы или потоки. В терминах операционной системы — это тоже вполне определенные (и разные) вещи. По-этому, давайте придерживаться терминологии.

[Insolita]

Эмуляция это конечно хорошо, но для обработки жирных Json есть либы базирующиеся на стримах

https://github.com/kuma-giyomu/JSONParser
https://github.com/salsify/jsonstreamingparser
https://github.com/halaxa/json-machine
https://github.com/violet-php/streaming-json-encoder

[Alroniks]

Грузить бигдата целиком в память — ну такое себе решение. Это сейчас 400 мегабайт, а если данных на пару гигов? Срипт даже не запустится. Выше верно подсказали про стримы, а там уже можно и все остальное наворачивать.

[Tatikoma]

Зависит от задачи. У меня под некоторые задачи есть вот такой сервер:
$ cat /proc/meminfo | grep MemTotal
MemTotal: 396269164 kB

[NickyX3]

Грузить бигдата целиком в память — ну такое себе решение.

Q: Мужики. Могу ли я загрузить текстовый файл в 5 миллионов строк в память?
A: А что за комп?
Q: Sun StarFire, 32 cpu, 128 Gb RAM
A: Тебе можно, валяй.
(с) ru_perl 90-е годы