Обработка 40 ТБ кода из 10 млн проектов на выделенном сервере с Go за $100

[saintbyte]

Я потратил около $60 на вычисления при попытке работать с lambda. Я еще не смотрел на стоимость хранения S3, но она должна быть близка к $25, в зависимости от размера данных

Я так попал с MS azure — я там встрял на трафик на 80$ и решил я это просто взяв два самых дешевых vds на 10$ в DO

[t0rr]

2 VDS в DO стоят как 4 VDS у конкурентов (ovh, hetzner, aruba и др.)
Т.е. можно ещё больше сократить расходы (или взять более производительные машины)

[saintbyte]

DO это так сказать привычка по большей части

[qark]

Очень сильно выделяется 15000 файлов .[ch] в «Сколько файлов в репозитории по языкам?». Что даёт такое число?

[Stas911]

Если прикинуть стоимость часа работы разработчика, то цифры aws уже не кажутся такими страшными.

[Areso]

Стоимость часа разработчика из маленького города в бедной стране сильно отличается от стоимости часа разработчика из солнечной Калифорнии.
А стоимость часа AWS будет константой для обоих.

[Stas911]

Значит это просто неподходящий инструмент для первого

[gudvinr]

У автора просто потрясающий навык работы с данными. Так неудобно представить результаты — это уметь надо.

1,3347179947709417E-20 комментариев — да конечно, каждый день вижу по 13 зептокомментариев.

0,00120706524533% файлов? Ну как так жить, без 15 знака после запятой. Вот бы непонятно было, будь там 0.001% вместо этого.

Как будто совсем нет понимания, как правильно работать с усреднёнными значениями. Вместо того, чтобы посчитать адекватно, со стандартными отклонениями и нормальные числа без лишних значащих цифр показать вот такой вот сырой выхлоп усреднения по 10млн проектов. Конечно там такая дичь будет.

[vital72]

Hetzner только до марта 2017 года не брал налоги с россиян. Сейчас вынь да положь ещё 20% сверху, на аукционе минимальные цены на сервера от 32 евро, что тоже, в общем-то, не плохо.

[kovserg]

Лучше бы вы посчитали кол-во репозиториев с релизами и без.

[Koneru]

Зачем? Не все используют релизы GitHub.

[MMik]

Напомнило статью Command-line Tools can be 235x Faster than your Hadoop Cluster.