Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 44
Андрей, вроде все по делу на критику и вопросы ответил, но скажи, разве все равно не будут заказчики путаться, слыша про "TOP-100" студий - думать, что это рейтинг самых-самых, не по обороту, а именно по качеству работ?
Мне кажется, очевидно, что топ 100 - это всё-таки качество. Оборот никогда не является показателем для рейтингов, кроме как в журнале "Форбс".
По-моему, это не всегда очевидно. Когда говорят про top, всегда указывают по какому критерию.
Провести рейтинг по качеству было бы крайне интересно, но уж больно сложный показатель "качество" - критерии оценки придумать можно, но они будут скорее всего сильно "надуманные" =(
Провести рейтинг по качеству было бы крайне интересно, но уж больно сложный показатель "качество" - критерии оценки придумать можно, но они будут скорее всего сильно "надуманные" =(
Давайте не будем кривить душой и надумывать сложности там, где их нет. :)
Нет критериев для идеала, но есть (должны быть!) стандарты качества.
Согласитесь, несколько странно звучит заявление о составлении рейтинга веб-студий , в то время как само представительство экспертной группы хромает на обе ноги.
Возможно, это говорит о том, что российское интернет сообщество еще не дозрело до составления качественных рейтингов?
:)
Нет критериев для идеала, но есть (должны быть!) стандарты качества.
Согласитесь, несколько странно звучит заявление о составлении рейтинга веб-студий , в то время как само представительство экспертной группы хромает на обе ноги.
Возможно, это говорит о том, что российское интернет сообщество еще не дозрело до составления качественных рейтингов?
:)
В составлении рейтинга веб-студий стоило бы добавить анализ юзабилити и дизайна веб-сайтов самих студий. Объективности ради можно пригласить иностранных специалистов.
Поскольку сейчас рейтинг строится по доле рынка компаний, наверное, этот метод не подойдет. Но вообще, юзабилити - отдельная больная тема рынка, причем очень важная. Мы планируем после завершения текущего проекта провести ряд исследований, в том числе и по юзабилити сайтов, которые создают студии в Рунете.
Вы не могли бы уточнить, будет ли использоваться рыночная доля при расчете рейтинга компании или нет ? Если да - то на основе каких данных ?
Я просто немного запутался в описании (выше) и комментариях к нему.
Я просто немного запутался в описании (выше) и комментариях к нему.
Рейтинг строится следующим образом: экспертам и представителям студий предложено выделить десятку студий по занимаемой доле рынка (по их мнению) и дать этим компаниям из десятки рейтинговые баллы от 1 до 5. Суммированием баллов, полученый той или ииной компанией по всем анкетам, будет построен ее рейтинг. Т.е. в сам рейтинг мы не вмешиваемся с собственными данными и аналитикой (его формируют эксперты и представители студий), в отличие от комплексного обзора по рынку.
Зарегистрировался на сайте - формы не удобные, ошибки за ошибками, всякие спадающие формы....
брррррр....
брррррр....
Насчет удобства форм готов спорить. Насчет ошибок - не затруднит прислать скриншоты и версию браузера, которым вы пользуетесь? Ошибки до этого вроде бы не возникали.
IE 6
Скриншоты:
1.CSS постоянно отваливается. То страница с стилями грузиться, то без них.
2.Пытаюсь "выбрать из списка" студию -> показывает алфавит -> жму на букву -> окошко увеличивается и замирает, ни студий ни текста в нем.. Пришлось ручками всех вводить.
3.Ну и в этом окошке где нужно выбрать студии иногда кодировка тупит.
Извините сами скриншоты уже не могу делать...
Скриншоты:
1.CSS постоянно отваливается. То страница с стилями грузиться, то без них.
2.Пытаюсь "выбрать из списка" студию -> показывает алфавит -> жму на букву -> окошко увеличивается и замирает, ни студий ни текста в нем.. Пришлось ручками всех вводить.
3.Ну и в этом окошке где нужно выбрать студии иногда кодировка тупит.
Извините сами скриншоты уже не могу делать...
Неплохая идея :) Есть шанс придумать какую-то объективную методику оценки. Интересно :)
И еще. Уважаемый автор, позволю себе высказать несколько замечаний по поводу сайта рейтинга. Я подозреваю что вы имеете к нему какое-то отношение. А если не имеете, то это не к вам.
На сайте столько ссылок, и половина из них ведет на главную страницу. Например, когда я нажимаю "Кто еще" под списком независимых экспертов, то ссылка ведет на главную страницу. Ожидал, честно говоря, другого. Та же самая беда при нажатии на ссылку "Идет голосование" или "Голосование". Там в обоих даже href не на индекс, но при клике все равно идет редирект. Ведь ссылка же имеет место быть. Но она никуда не ведет. Обманываете! :)
Если ваша экспертная группа оценивает сайты, то вроде как ваш сайт должен быть не то чтобы супер-пупер, но хотя бы без каких-то дурацких багов, о которых даже пятикласники знают и на своих хомяках их не делают. Просто создается впечатление что это не рейтинг, а профанация какая-то. Я не говорю что эксперты ничего не знают. Они наверняка многое знают и, наверняка, умнее меня. Но вот впечатление подпорчено...
И еще. Уважаемый автор, позволю себе высказать несколько замечаний по поводу сайта рейтинга. Я подозреваю что вы имеете к нему какое-то отношение. А если не имеете, то это не к вам.
На сайте столько ссылок, и половина из них ведет на главную страницу. Например, когда я нажимаю "Кто еще" под списком независимых экспертов, то ссылка ведет на главную страницу. Ожидал, честно говоря, другого. Та же самая беда при нажатии на ссылку "Идет голосование" или "Голосование". Там в обоих даже href не на индекс, но при клике все равно идет редирект. Ведь ссылка же имеет место быть. Но она никуда не ведет. Обманываете! :)
Если ваша экспертная группа оценивает сайты, то вроде как ваш сайт должен быть не то чтобы супер-пупер, но хотя бы без каких-то дурацких багов, о которых даже пятикласники знают и на своих хомяках их не делают. Просто создается впечатление что это не рейтинг, а профанация какая-то. Я не говорю что эксперты ничего не знают. Они наверняка многое знают и, наверняка, умнее меня. Но вот впечатление подпорчено...
Какой-то замудренный рейтинг с привлечением кучи специалистов.
Предлагаю свой вариант.
1. находим работы студии (портфолио, сайты с ссылками "сделано в ...", "web-дизайн...")
2. у каждого сделанного сайта есть ТИЦ, PageRank (можно еще и посещаемость узнать) - своего рода интегральный показатель качества сайта (разработка сайта это ведь не просто дизайн).
3. чтобы задействовать уже привлеченных экспертов, можно задать вес для каждого из показателей в п.2 и вывести хитрожопую формулу для расчета мега-интегрального супер-параметра качества сайта
4. перемножаем, суммируем
5. сортируем студии по этому показателю.
6. все. сеанс закончен.
Результат - объективная оценка.
Предлагаю свой вариант.
1. находим работы студии (портфолио, сайты с ссылками "сделано в ...", "web-дизайн...")
2. у каждого сделанного сайта есть ТИЦ, PageRank (можно еще и посещаемость узнать) - своего рода интегральный показатель качества сайта (разработка сайта это ведь не просто дизайн).
3. чтобы задействовать уже привлеченных экспертов, можно задать вес для каждого из показателей в п.2 и вывести хитрожопую формулу для расчета мега-интегрального супер-параметра качества сайта
4. перемножаем, суммируем
5. сортируем студии по этому показателю.
6. все. сеанс закончен.
Результат - объективная оценка.
еще хорошо бы сделать 2 сортировки. По абсолютной сумме (студия Х сделала сайтов с общим ТИЦ 25000) и по относительной сумме (средний сайт студии Х имеет ТИЦ 800)
ТИЦ сайта практически ничего не значит с точки зрения качества сайта. Любому дорвею этот ТИЦ можно докачать до небес.
любому конкретному, да. Но не массово же у всех сделанных в РФ сайтов перекачен ТИЦ и pageRank. В среднем это нивелируется, если бы это было не так Яндекс с Гуглом уже давно бы обанкротились.
Да ТИЦ вообще ничего не означает, даже в рамках всего рунета =) И он очень сильно завязан на время существования сайта. Попробуйте применить этот метод на примере 2-3 студий. Думаю, никаким показателем качества это являться не будет. Кроме того, не забывайте, что значительная чать производимых сайтов в том числе крупных в портфолио тсудий не указывается. также - многие сайт висящие в портфолио переделаны другими студиями или явялются результатом совместной работы.
ну хорошо, ТИЦ ничего не значит, pageRank ничего не значит, посещаемость ничего не значит. А что тогда значит? Мнение экспертов?
Давайте будем честны. Сайт делается для работы, а эксперты будут оценивать "крутость" сайта, выражающийся в "прикольных мульках". Это профессиональное.
Давайте будем честны. Сайт делается для работы, а эксперты будут оценивать "крутость" сайта, выражающийся в "прикольных мульках". Это профессиональное.
Я этого не говорил. Просто считаю, что мерить качество сайта по ТИЦ и посещаемости - неправильно. По каким критериям измерять пресловутый стандарт качества - тема отдельная и большая. И нужная. Постараемся подумать насчет возможной методологии применительно именно к сайтам.
Согласен, ТИЦ не катит, голосователей мало.
Поддерживаю, измерять что-то по ИЦ - бред ;)
Отлично. Давайте мерить по pageRank'у. Но не по мнению группы товарищей же...
Я не очень уже понимаю, смеетесь вы или говорите серьезно.. О каких товарищах, кстати речь? =)
об экспертах.
Ну вы не забывайте, что кроме назависимых экспертов, которых немного, в голосовании принимают участие более 300 представителей веб-студий. Это как-никак, выборка.
Зачем делать ещё один рейтинг по ТИЦ, когда он есть в каталоге Яндекса?
Зачем делать ещё один рейтинг по PR, когда он есть в каталоге Google?
Зачем делать рейтинг по посещаемости, когда он есть на Rambler.Top100, Li.ru, top.mail.ru?
Нет. Тут как раз всё грамотно сделано - по известности игрока. Если он нём знают профессионалы рынка - он есть в рейтинге, если не знают - его в рейтинге нет.
Зачем делать ещё один рейтинг по PR, когда он есть в каталоге Google?
Зачем делать рейтинг по посещаемости, когда он есть на Rambler.Top100, Li.ru, top.mail.ru?
Нет. Тут как раз всё грамотно сделано - по известности игрока. Если он нём знают профессионалы рынка - он есть в рейтинге, если не знают - его в рейтинге нет.
Уважаемый ledokolov, нужно делать не рейтинг сайтов студий по PR, а рейтинг суммы PR сделанных ими сайтов. Улавливаете разницу?
Чем больше сайтов сделала студия, и чем более известные (популярные) эти сайты, тем весомее и сама студия.
Чем больше сайтов сделала студия, и чем более известные (популярные) эти сайты, тем весомее и сама студия.
Все равно это чистое программирование. Кстати, можете сами написать скрипт, который будет обходить сайты из портфолио студий, определять их тИЦ и PR, и выводить ваш собственный рейтинг. Кстати, для этого даже не надо брать список студий из рейтинга TAGLINE или AgeOfWeb. Возьмите, для объективности, раздел "web-дизайн" на каком-нибудь Каталоге.mail.ru или Refer.ru.
А еще лучше (как вы и предлагаете), просто взять список доменов, определить, какие из них отзываются по HTTP, обойти все главные страницы, в поисках надписи "сделано в...", собрать свой каталог, и вперед.
Только это будет другой рейтинг (кстати, думаю, что весьма забавный, САЛ мы там конечно же найдем, а вот остальные - не уверен).
Кстати, не плохая, на самом деле, идея.
Рейтинг TAGLINE - экспертная оценка рынка.
Ваш рейтинг - объективная.
А еще лучше (как вы и предлагаете), просто взять список доменов, определить, какие из них отзываются по HTTP, обойти все главные страницы, в поисках надписи "сделано в...", собрать свой каталог, и вперед.
Только это будет другой рейтинг (кстати, думаю, что весьма забавный, САЛ мы там конечно же найдем, а вот остальные - не уверен).
Кстати, не плохая, на самом деле, идея.
Рейтинг TAGLINE - экспертная оценка рынка.
Ваш рейтинг - объективная.
Поначалу я подумал, что идея с рейтингом хорошая.
Но зарегистрировался, начал голосовать и понял, что это гадание на кофейной гуще, поэтому бросил это дело. Нет у меня никаких объективных данных о выручке и доле рынка коллег-конкурентов, только какие-то смутные догадки, на основании которых строить рейтинги глупо. Допустим я достаточно далек от московского и российского рынка (т.к. мы в Киеве находимся), но у меня таких данных и по украинским студиям нет объективных. Я могу начать строить какие-то догадки, т.к. имею какие-то данные об уровнях цен некоторых конкурентов, но чтобы сложить полную картину мне нужно вычислить сколько сайтов эти конкуренты сделали, произвести вычисления, после чего я могу получить какие-то весьма приближенные цифры. Делать это по даже по 10 студиям - потратить прорву времени, при низком качестве полученного результата (т.к. полных данных нет).
Может быть я не репрезентативен и мои коллеги менее ленивы или имеют службы внешней разведки, но предполагаю, что заполнят данные рейтинги люди "от балды" или исходя их личных симпатий (как в басне Крылова про петуха и кукушку).
Господин Терехов сейчас скажет: "ну и какой выход, что же делать? лучше хоть такой рейтинг, чем никакого".
Мое мнение:
правильный рейтинг по доле рынка и выручке построить не получится, пока студии не согласятся раскрывать такие данные сами. Проверять их или нет - тоже вопрос, но это будет в любом случае более верно, чем кривые догадки экспертов.
Варианты рейтингов, которые можно сделать:
1. Размер. Рейтинг можно построить по размеру студий, размер считать по количеству сотрудников. Показатель достаточно объективный и его никто особо не скрывает. Да, в таком рейтинге "фабрики" опередят "бутики", но ничего страшного в этом я не вижу, это ведь будет рейтинг по размеру;
2. "Крутизна". Можно построит рейтинг по опросу рекламодателей. Берутся 100 (или 1000) крупнейших рекламодателей и опрашиваются "С какими студиями Вы работали по реализации интернет-проектов?". По количеству упоминаний строится рейтинг.
3. Количество разработанных сайтов. Вычисляется опросом самих студий с последующей проверкой. Можно ввести критерии отсева сайтов для базы учета, чтобы отсечь решения за 100 (условно) долларов.
Но зарегистрировался, начал голосовать и понял, что это гадание на кофейной гуще, поэтому бросил это дело. Нет у меня никаких объективных данных о выручке и доле рынка коллег-конкурентов, только какие-то смутные догадки, на основании которых строить рейтинги глупо. Допустим я достаточно далек от московского и российского рынка (т.к. мы в Киеве находимся), но у меня таких данных и по украинским студиям нет объективных. Я могу начать строить какие-то догадки, т.к. имею какие-то данные об уровнях цен некоторых конкурентов, но чтобы сложить полную картину мне нужно вычислить сколько сайтов эти конкуренты сделали, произвести вычисления, после чего я могу получить какие-то весьма приближенные цифры. Делать это по даже по 10 студиям - потратить прорву времени, при низком качестве полученного результата (т.к. полных данных нет).
Может быть я не репрезентативен и мои коллеги менее ленивы или имеют службы внешней разведки, но предполагаю, что заполнят данные рейтинги люди "от балды" или исходя их личных симпатий (как в басне Крылова про петуха и кукушку).
Господин Терехов сейчас скажет: "ну и какой выход, что же делать? лучше хоть такой рейтинг, чем никакого".
Мое мнение:
правильный рейтинг по доле рынка и выручке построить не получится, пока студии не согласятся раскрывать такие данные сами. Проверять их или нет - тоже вопрос, но это будет в любом случае более верно, чем кривые догадки экспертов.
Варианты рейтингов, которые можно сделать:
1. Размер. Рейтинг можно построить по размеру студий, размер считать по количеству сотрудников. Показатель достаточно объективный и его никто особо не скрывает. Да, в таком рейтинге "фабрики" опередят "бутики", но ничего страшного в этом я не вижу, это ведь будет рейтинг по размеру;
2. "Крутизна". Можно построит рейтинг по опросу рекламодателей. Берутся 100 (или 1000) крупнейших рекламодателей и опрашиваются "С какими студиями Вы работали по реализации интернет-проектов?". По количеству упоминаний строится рейтинг.
3. Количество разработанных сайтов. Вычисляется опросом самих студий с последующей проверкой. Можно ввести критерии отсева сайтов для базы учета, чтобы отсечь решения за 100 (условно) долларов.
Допустим я достаточно далек от московского и российского рынка (т.к. мы в Киеве находимся), но у меня таких данных и по украинским студиям нет объективных.
IMHO, проблема состоит именно в "особенностях" украинского рынка. В нем нет явно выраженных лидеров, равно как и конкуренции, чем все чаще пользуются российские веб-студии. Я также как и вы неосведомлен о состоянии студий в России, поэтому рейтинг заполнять не стал, но. Скорее всего, российские студии знают друг о друге намного больше, чем мы с вами об украинских участниках рынка. Поэтому подобный рейтинг имеет смысл. А применительно к украинским реалиям вполне имеет смысл рейтинг, предложенный вами.
А почему вы думаете, что в Москве студии друг о друге намного больше знают?
Косвенно: потому что кроме нас с вами никто не высказался в том смысле, что "не знаю что писать". Явно: жестче конкуренция, больше общение в рамках различного рода семинаров и конференций, больший поток информации. В обзорах и личном общении в ответе на вопрос о лидерах обычно фигурируют одни и те же компании. А вот вы сможете назвать 3-5 ведущих украинских веб-студий?
Больший поток информации, больше рынок - больше шума и труднее сделать правильные выводы. Это в каком-то уездном городе любой системный администратор знает, что у них есть 3 студии веб-дизайна и какая из них круче.
А высказываний что рейтинг нерабочий будет - масса, в т.ч. и по причинам, которые я указал.
Про Украину в Internet.UA была в мартовском номере статья на эту тему. Тоже исследование так себе конечно, 20 студиям они анкеты разослали :) и сделали выводы на основании высказываний экспертов.
А высказываний что рейтинг нерабочий будет - масса, в т.ч. и по причинам, которые я указал.
Про Украину в Internet.UA была в мартовском номере статья на эту тему. Тоже исследование так себе конечно, 20 студиям они анкеты разослали :) и сделали выводы на основании высказываний экспертов.
+1
Возможно более правильным решением был бы отбор 20 студий организаторами опроса по принципу количества и качества выполненных студиями работ (из портфолио), предположим за последние полгода-год. На портфолио студии можно посмотреть 3 минуты (пусть приглашенные эксперты этим и занимаются, иначе их роль вообще непонятна) и сразу понять годится она на что-то или нет. 100 студий выбирать смысла ИМХО никакого нет. Вообще, топ имеет смысл только для 10-20 позиций, остальное будет перемешано практически случайно. Это подтверждает тот факт, что выбирать даже 10 студий в обсуждаемом опросе очень сложно - после третьего названия начинаешь очень сильно задумываться - нужны они в десятке или нет и, главное, в каком порядке их туда ставить. Баллы от 1 до 5 еще больше все запутывают.
Затем из этих 10-20 портфолио можно было бы смело брать работы за последние полгода, собирать все в кучу и оценивать такое большое портфолио так: начислять баллы за известность брэндов клиентов, за стоимость выполненного проекта, за качество дизайна, и т.п. Экспертность в данном случае проявляется в оценке стоимости проекта и его "качества".
В противном случае само слово "экспертная оценка" вообще малоприменимо к схеме отбора студий, которая используется на этом мероприятии сейчас.
Возможно более правильным решением был бы отбор 20 студий организаторами опроса по принципу количества и качества выполненных студиями работ (из портфолио), предположим за последние полгода-год. На портфолио студии можно посмотреть 3 минуты (пусть приглашенные эксперты этим и занимаются, иначе их роль вообще непонятна) и сразу понять годится она на что-то или нет. 100 студий выбирать смысла ИМХО никакого нет. Вообще, топ имеет смысл только для 10-20 позиций, остальное будет перемешано практически случайно. Это подтверждает тот факт, что выбирать даже 10 студий в обсуждаемом опросе очень сложно - после третьего названия начинаешь очень сильно задумываться - нужны они в десятке или нет и, главное, в каком порядке их туда ставить. Баллы от 1 до 5 еще больше все запутывают.
Затем из этих 10-20 портфолио можно было бы смело брать работы за последние полгода, собирать все в кучу и оценивать такое большое портфолио так: начислять баллы за известность брэндов клиентов, за стоимость выполненного проекта, за качество дизайна, и т.п. Экспертность в данном случае проявляется в оценке стоимости проекта и его "качества".
В противном случае само слово "экспертная оценка" вообще малоприменимо к схеме отбора студий, которая используется на этом мероприятии сейчас.
выбирать даже 10 студий в обсуждаемом опросе очень сложно - после третьего названия начинаешь очень сильно задумываться - нужны они в десятке или нет и, главное, в каком порядке их туда ставить. Баллы от 1 до 5 еще больше все запутывают.
вот и я когда дошел до этого этапа понял, что не рейтинг, а гадание получается.
В общем идея с рейтингом хорошая, мне было бы интересно на результаты посмотреть, а методика - дурная.
результаты рейтинга - полный бред...
к первой пятерке претензий практически нет. дальше начинается полный маразм...
к первой пятерке претензий практически нет. дальше начинается полный маразм...
Надеюсь, Рейтинг веб-студий 2007 - 2008 будет? Обязательно будем участвовать.
было бы очень интересно увидеть кто как из экспертов голосовал.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Рейтинг веб-студий «TOP-100» — обзор критики и комментарии организаторов