Нет, они не видятся как обычные ядра. Все-таки нужно добавлять конструкции, которые будут выгружать вычисления на эти Xeon Phi.
Правда внутри Phi сидит обычный Linux и на него можно даже залезть по SSH. Что еще можно сделать непосредственно изнутри я к сожалению не знаю.
По параметрам, я думаю, лучше почитать документацию, чем вольный пересказ человека, который детально про эти Phi только на конференции слышал, а сам в вопросе пока не разбирался за неимением возможности пощупать Phi в ближайшей перспективе… :)
Эта штука называется Xeon Phi.
Одна из ее ключевых особенностей, это то, что это практически процессор общего назначения и значит для его использования не нужно полностью переписывать код, что требовалось бы в случае использования GPU-ускорителей.
Если надо протестировать масштабируемость и многопоточность, то и виртуалки, и кластер и RPi будут одинаково бесполезны. Только реальное железо с реальной производительностью. А то иначе легко можно будет посчитать, что все нормально, а при запуске на кластере все развалится или оценки будут отличаться от реальности на пару порядков в неизвестную сторону.
А вот для отладки на ранних стадиях разработки действительно набор виртуалок на мощном сервере будет удобнее чем кластер. Виртуалки всегда можно поставить на паузу и посмотреть в них микроскопом, можно притормозить какую-нибудь виртуалку и посмотреть, как софт на это отреагирует, можно выключить «питание» виртуалкам и смотреть на устойчивость к потере части узлов и много что еще…
Интересно каким образом поставщик может дать вам 10 мбит из мазамбика где максимальная скорость линии 512кбит? Он волшебник?
Пожалуйста, читайте мои сообщения полностью. Чуть ниже же написано, что должен делать провайдер в этом случае.
И причем для тех кто не утилизирует 100% полосы DPI дает только плюсы.
А я вижу только минусы. Нельзя давать автомат «обезьянам».
А так-как торренты это довольно большой объем трафика в сети провайдера
И что? А если я свои 32Мбита котиками с ютуба буду забивать, то это значит что уже и http резать будет нормально?
К примеру провайдер может в часы ЧНН зарезать торренты в результате у вас будет отлично показывать видео быстро открываться страницы, но несколько хуже качаться торренты.
Вы же понимаете, что провайдер будет делать не это, а выдавливать те сервисы, которые конкурируют с его услугами. Вот ниже приводили пример, где главная задача — резать скайп, чтобы клиенты покупали голосовые услуги по многократно завышенным ценам.
Единственный кто виноват это вы так-как не внимательно прочитали договор. В котором четко указано что скорость стоит ДО.
Да? Тогда все еще хуже для поставщика. Так как я то хочу получить цифру, которая укладывается в лимит, а поставщик не может ее отдать.
На счет лимита, то да у меня в договоре он тоже есть, но я просто плачу 60р сверху за снятие этого лимита, так как иногда мне приходится перекачивать большие объемы данных дома и я не хочу получить после этого снижения скорости. Вот по статистике за прошлый год это было целых 2 раза, а все остальное время я и половины лимита не выбирал.
Это совсем другая история. А вот если бы кто-то не взирая на предписания перегрузил подстанцию, то платил бы он. В случае клиента утилизирующего 100% полосы это как раз про это.
С учетом того, что была поздняя осень и очень многие топили электричеством, потребление было сильно ближе к зимнему максимуму. Так что клиенты то утилизировали, за что платили, поставщик локально не справился, но за перегруз подстанции это засчитано не было, ибо в договоре написано что могут потреблять столько, а поставщик не смог столько обеспечить.
Так что если в договоре написано до 32Мбит/с, то любая моя попытка прокачивать трафик на скоростях до 32Мбит/с не будет нарушением договора. Даже если я буду пытаться передать 31,999Мбит/с. И невозможность это обеспечить в своих сетях это проблема провайдера (да, конечные источники трафика конечно же могут и не осиливать такой поток данных).
Да, скачек PPS из-за uTP пожалуй действительно был хороший, но история показывает, что такие по сути баги в пользовательском софте не часты.
Операторам не нравится другое — что их начинают использовать тупо как транспорт для различных OTT-сервисов.
Ошибаетесь. Операторам не нравится, что их используют для передачи трафика. А все остальное лишь прикрытие диких наценок на остальные виды услуг, которые естественно не нравятся клиентам и в результате чего клиенты отказываются от услуг с завышенными ценами.
Достаточно вспомнить недавний скандал во Франции когда выяснилось, что Orange берёт деньги с гугла за передачу трафика.
Скандал то был, но не о том. Когда ложечки нашлись, то оказалась, что у Orange и Google есть прямой пиринг, за который все-же принято платить, если нет иных договоренностей.
Позвольте с Вами не согласиться!
Именно провайдер в своем тарифе написал, что дает мне полосу в 100500 *бит/с, а не клиент.
В прямой аналогии, это значит, что оба соседа купили полосу в 100500А, 220В, а уж сколько из нее тянуть решают сами. Если в случае, когда кто-то начал тянуть всю описанную в договоре мощность, а если электросеть от этого навернулась, то единственный, кто тут виноват — это поставщик, который не смог обеспечить доставку до потребителя всех услуг, прописанных мало того, что в договоре, так еще и в договоре, который был составлен полностью поставщиком по своему желанию.
Несколько лет назад у нас на даче на линии поставщика электричества произошел большой бабах из-за каких-то проблем в месте стыка линии и подстанции, суть которого, что этот стык не смог передать ту мощность, которая была продана потребителям. Так вот, поставщик электричества ремонтировался за свой счет, а не стал бегать за клиентами и говорить, какие они плохие, что потребляют столько, за сколько заплатили по договору.
Однако, если бы при этом были бы нормальные законодательные требования по качеству поставляемого электричества, то нередко оно было бы вообще бесплатным :)
А аналогий с перекосом фаз и cos(f) для телекомов похоже нет, так как телекомам не нравится сам факт прокачки трафика, а что трафик торрентов, что трафик ютуба, что трафик еще какой-нибудь при одинаковых объемах воздействует на сеть практически одинаково (про pps я в курсе, но этим часто можно пренебречь).
Это называется History API, но поддерживается не во всех браузерах, вот видимо Google и использует менее красивую, но единую и кроссбраузерную реализацию.
Это нужно для воспроизводимости результатов живого поиска. По этому то, что изменялось на странице JavaScript'ом отражается в якоре (после #), в результате получается ссылка как бы на результат работы скриптов страницы, которую можно копировать, сохранять, передавать другим и повторно к ней возвращаться.
Если присмотреться к URL, то там видно две части — до # и после #. Налоговая инспекция находится в части до решетки, следовательно это оригинальный запрос, который был введен, например, в строке адреса браузера. Искомый же запрос находится после символа #, следовательно он был добавлен туда веб-интерфейсом гугла после ввода запроса в строку поиска в результатах поиска. Таким образом в адресную строку попало два запроса, которые и выполнились, отобразив результат последнего запроса.
Странно, но возможно так оно и есть…
В самой то лицензии ( www.virtualbox.org/wiki/VirtualBox_PUEL ) такого расширения термина «personal use» похоже нет, а дальше я не углублялся, так как мое использование «VirtualBox Extension Pack» ограничивается действительно персональным и академическим использованием.
Добавлю, что только сам VirtualBox.
Есть еще «VirtualBox Extension Pack», который бесплатен только для личного и академического использования, но для виртуализации офиса его функциональность вряд-ли потребуется.
Видение подходов напрямую является следствием задач (резервов объективно может не быть), а новые ряды стоек с оборудованием могут обойтись существенно дороже пути, который начнется с анализа проблемы.
Я теряю сколько долларов каждый час из-за того, что я теряю клиентов, из-за того что программа тормозит.
Я могу дать пару часов разработчикам на создание заплатки, или поручить админам купить компьютер помощнее, в надежде что это поможет, но вот чего я не могу, так это ждать пока вы там проводите исследования.
Вы сами себе противоречите. Если Вы знаете, что «теряете», то вы знаете каких показателей Вам нужно добиться(а вначале вы сказали, что показателей нет) и исходя из оценки недополученной прибыли(потерь у Вас нет, есть только сумма, которую Вы могли бы дополнительно получить работая сервис быстрее) можете оценивать сколько вы можете дать времени программистам на анализ и исправление конкретной проблемы. И это будет обоснованная цифра, а не абстрактные пара часов.
Прошу прощения, просмотрел в Вашем сообщении iostat.
Что именно «это» является порочной практикой? Минимизация усилий?
Вот это:
Да, конечно, возможно ваша программа криво написана и клепает короткоживущие объекты. Но если ситуацию можно временно улучшить потратив 10 минут на игру с параметрами gc, почему бы это не сделать?
Если есть косяк в программе, то его и нужно исправлять, а не прикручивать подпорки в виде параметров gc, так как в следующий раз подпорки могут не помочь, а времени на реакцию может и не остаться.
Я не согласен с тем что вы ставите разницу между понятиями «для собеседования» и «для жизни».
Ее ставлю не я. Она есть априори и задача интервьюера эту разницу минимизировать. А суть этой разницы в том, что любое интервью или в широком смысле оценка чьих то знаний — это всегда стресс, который в обычной работе отсутствует полностью (могут быть в работе конечно и другие стрессы, но речь не об этом).
Ну вообще iostat+gclog — и вы за минуту узнаете — есть ли overcommit по диску, есть ли излишняя нагрузка на gc, есть ли излишняя нагрузка на проц, не уходит ли ваша программа в своп.
Видите сколько инструментов и направлений анализа вылезло из простой на первый взгляд задачи? А все из-за того, что нет требований к тому, что нужно получить и нет никакой информации о среде запуска и т.д. Все, что необходимо даже для начала решения необходимо выспрашивать отдельно, а это с моей точки зрения большой минус…
Кроме того, я вам уже подсказал, что у меня есть серьезные подозрения что проблема именно в gc — т.к. характерные паузы в работе приложении говорят именно об этом.
Диск и сеть могут давать точно такие-же паузы, так что тут не все так очевидно. Опять-же вместо того, чтобы просто потыкать профайлером приходится еще анализировать окружение, алгоритмы работы приложения и многое другое. Не слишком ли размыта задача и критерий признания ее решенной?
Но если ситуацию можно временно улучшить потратив 10 минут на игру с параметрами gc, почему бы это не сделать?
Это порочная практика, так как она не решает проблемы, а лишь маскирует ее и по закону Мерфи проблема выстрелит в полный рост тогда, когда ее будут ждать меньше всего.
P.S. Возможно, конечно, что задача кажется мне столь неопределенной из-за того, что я программист не на Java, а на С++ и всего-лишь не знаю Java-инструментов…
Я думаю, что поставленная Вами задача будет в большей степени неразрешима, а в худшем случае вредна, так как оптимизация большой программы без анализа того, что она делает приведет либо к появлению трудночитаемых костылей из-за микрооптимизаций, либо к тому, что программа будет сломана.
Ответ конечно получился не для собеседования :), но в жизни скорее это будет так. Что-бы проводить оптимизации нужно понимать, что делает программа, так как без этого не понятно куда прикладывать профайлер, непонятно, нужен ли он вообще (может быть сервер перегружен на все 146% или приложение активно читает/пишет на диск, а диски не справляются или проблема в сети по которой приложение получает какие-то данные или ...), а может быть в программе сортируются гигабайты пузырьковой сортировкой и нужные оптимизации на самом деле алгоритмические, которые без анализа алгоритма не сделать.
Правда внутри Phi сидит обычный Linux и на него можно даже залезть по SSH. Что еще можно сделать непосредственно изнутри я к сожалению не знаю.
По параметрам, я думаю, лучше почитать документацию, чем вольный пересказ человека, который детально про эти Phi только на конференции слышал, а сам в вопросе пока не разбирался за неимением возможности пощупать Phi в ближайшей перспективе… :)
Одна из ее ключевых особенностей, это то, что это практически процессор общего назначения и значит для его использования не нужно полностью переписывать код, что требовалось бы в случае использования GPU-ускорителей.
А вот для отладки на ранних стадиях разработки действительно набор виртуалок на мощном сервере будет удобнее чем кластер. Виртуалки всегда можно поставить на паузу и посмотреть в них микроскопом, можно притормозить какую-нибудь виртуалку и посмотреть, как софт на это отреагирует, можно выключить «питание» виртуалкам и смотреть на устойчивость к потере части узлов и много что еще…
У меня несколько другие сведения. Все подешевле будет, чем в геометрических прогрессиях и не всегда расширение потребует нового оборудования.
На всех имеющихся устройствах :)
Пожалуйста, читайте мои сообщения полностью. Чуть ниже же написано, что должен делать провайдер в этом случае.
А я вижу только минусы. Нельзя давать автомат «обезьянам».
И что? А если я свои 32Мбита котиками с ютуба буду забивать, то это значит что уже и http резать будет нормально?
Вы же понимаете, что провайдер будет делать не это, а выдавливать те сервисы, которые конкурируют с его услугами. Вот ниже приводили пример, где главная задача — резать скайп, чтобы клиенты покупали голосовые услуги по многократно завышенным ценам.
Да? Тогда все еще хуже для поставщика. Так как я то хочу получить цифру, которая укладывается в лимит, а поставщик не может ее отдать.
На счет лимита, то да у меня в договоре он тоже есть, но я просто плачу 60р сверху за снятие этого лимита, так как иногда мне приходится перекачивать большие объемы данных дома и я не хочу получить после этого снижения скорости. Вот по статистике за прошлый год это было целых 2 раза, а все остальное время я и половины лимита не выбирал.
С учетом того, что была поздняя осень и очень многие топили электричеством, потребление было сильно ближе к зимнему максимуму. Так что клиенты то утилизировали, за что платили, поставщик локально не справился, но за перегруз подстанции это засчитано не было, ибо в договоре написано что могут потреблять столько, а поставщик не смог столько обеспечить.
Так что если в договоре написано до 32Мбит/с, то любая моя попытка прокачивать трафик на скоростях до 32Мбит/с не будет нарушением договора. Даже если я буду пытаться передать 31,999Мбит/с. И невозможность это обеспечить в своих сетях это проблема провайдера (да, конечные источники трафика конечно же могут и не осиливать такой поток данных).
Ошибаетесь. Операторам не нравится, что их используют для передачи трафика. А все остальное лишь прикрытие диких наценок на остальные виды услуг, которые естественно не нравятся клиентам и в результате чего клиенты отказываются от услуг с завышенными ценами.
Скандал то был, но не о том. Когда ложечки нашлись, то оказалась, что у Orange и Google есть прямой пиринг, за который все-же принято платить, если нет иных договоренностей.
Именно провайдер в своем тарифе написал, что дает мне полосу в 100500 *бит/с, а не клиент.
В прямой аналогии, это значит, что оба соседа купили полосу в 100500А, 220В, а уж сколько из нее тянуть решают сами. Если в случае, когда кто-то начал тянуть всю описанную в договоре мощность, а если электросеть от этого навернулась, то единственный, кто тут виноват — это поставщик, который не смог обеспечить доставку до потребителя всех услуг, прописанных мало того, что в договоре, так еще и в договоре, который был составлен полностью поставщиком по своему желанию.
Несколько лет назад у нас на даче на линии поставщика электричества произошел большой бабах из-за каких-то проблем в месте стыка линии и подстанции, суть которого, что этот стык не смог передать ту мощность, которая была продана потребителям. Так вот, поставщик электричества ремонтировался за свой счет, а не стал бегать за клиентами и говорить, какие они плохие, что потребляют столько, за сколько заплатили по договору.
А аналогий с перекосом фаз и cos(f) для телекомов похоже нет, так как телекомам не нравится сам факт прокачки трафика, а что трафик торрентов, что трафик ютуба, что трафик еще какой-нибудь при одинаковых объемах воздействует на сеть практически одинаково (про pps я в курсе, но этим часто можно пренебречь).
Жизненно необходимая кстати вещь для AJAX-сайтов.
Если присмотреться к URL, то там видно две части — до # и после #. Налоговая инспекция находится в части до решетки, следовательно это оригинальный запрос, который был введен, например, в строке адреса браузера. Искомый же запрос находится после символа #, следовательно он был добавлен туда веб-интерфейсом гугла после ввода запроса в строку поиска в результатах поиска. Таким образом в адресную строку попало два запроса, которые и выполнились, отобразив результат последнего запроса.
(с) А. Эйнштейн.
И, если не воспринимать эти утверждения дословно и буквально, то, по моему мнению, они достаточно хорошо описывают наблюдаемые в реальности процессы.
В самой то лицензии ( www.virtualbox.org/wiki/VirtualBox_PUEL ) такого расширения термина «personal use» похоже нет, а дальше я не углублялся, так как мое использование «VirtualBox Extension Pack» ограничивается действительно персональным и академическим использованием.
Есть еще «VirtualBox Extension Pack», который бесплатен только для личного и академического использования, но для виртуализации офиса его функциональность вряд-ли потребуется.
Вы сами себе противоречите. Если Вы знаете, что «теряете», то вы знаете каких показателей Вам нужно добиться(а вначале вы сказали, что показателей нет) и исходя из оценки недополученной прибыли(потерь у Вас нет, есть только сумма, которую Вы могли бы дополнительно получить работая сервис быстрее) можете оценивать сколько вы можете дать времени программистам на анализ и исправление конкретной проблемы. И это будет обоснованная цифра, а не абстрактные пара часов.
Прошу прощения, просмотрел в Вашем сообщении iostat.
Вот это:
Если есть косяк в программе, то его и нужно исправлять, а не прикручивать подпорки в виде параметров gc, так как в следующий раз подпорки могут не помочь, а времени на реакцию может и не остаться.
Ее ставлю не я. Она есть априори и задача интервьюера эту разницу минимизировать. А суть этой разницы в том, что любое интервью или в широком смысле оценка чьих то знаний — это всегда стресс, который в обычной работе отсутствует полностью (могут быть в работе конечно и другие стрессы, но речь не об этом).
Видите сколько инструментов и направлений анализа вылезло из простой на первый взгляд задачи? А все из-за того, что нет требований к тому, что нужно получить и нет никакой информации о среде запуска и т.д. Все, что необходимо даже для начала решения необходимо выспрашивать отдельно, а это с моей точки зрения большой минус…
Диск и сеть могут давать точно такие-же паузы, так что тут не все так очевидно. Опять-же вместо того, чтобы просто потыкать профайлером приходится еще анализировать окружение, алгоритмы работы приложения и многое другое. Не слишком ли размыта задача и критерий признания ее решенной?
Это порочная практика, так как она не решает проблемы, а лишь маскирует ее и по закону Мерфи проблема выстрелит в полный рост тогда, когда ее будут ждать меньше всего.
P.S. Возможно, конечно, что задача кажется мне столь неопределенной из-за того, что я программист не на Java, а на С++ и всего-лишь не знаю Java-инструментов…
Ответ конечно получился не для собеседования :), но в жизни скорее это будет так. Что-бы проводить оптимизации нужно понимать, что делает программа, так как без этого не понятно куда прикладывать профайлер, непонятно, нужен ли он вообще (может быть сервер перегружен на все 146% или приложение активно читает/пишет на диск, а диски не справляются или проблема в сети по которой приложение получает какие-то данные или ...), а может быть в программе сортируются гигабайты пузырьковой сортировкой и нужные оптимизации на самом деле алгоритмические, которые без анализа алгоритма не сделать.