к сожелению распознание не работает на отлично, есть ряд проблемных мест: различные названия, ФИО, сленг и еще некоторый другой контент, но в общем уровня более чем достаточно для формирования коротких сообщений
Когда есть что то готовое и тольк это - вот это и есть настоящее ограничение в свободе. Когда ты не можешь выирать ничего кроме этого.
Здесь же у нас довольна мощная тенология для упрощенного создания сайтов. И возможность гибко менять поведение, которое нам нужно.
только для работы используется SilverLight библиотеки - так что если что, необходимо будет поставить этот плагин... (попросит установить, если он не установлен)
Впрочем - у каждого свой подход - свои методы решения - со своими достоинствами и недостатками - и применимости к ситуации - я просто говорю исходя из своего опыта и граблей которые получил (один раз приходилось тянуть определенную инфу с 200 тыс. различных сайтов).
Этот спор можно продолжать бесконечно.
По поводу 4-го пункта - сделайте получение данных асинхронным - у Вас столько времени железно не будет уходить. И даже если вы сделали уже асинхронным и сервер Nokia действительно такой тормознутый - сравните полученное время - практически соразмерно - а ресурсов компьютера регулярка жрет значительно больше - сравните потребляюмую память и нагрузку на проц при обоих тестах. (хотя опять таки полминуты на получение инфы должно уходить только при последовательном запросе каждого заголовка - при асинхронном запросе - на это примерно должно уйти примерно секунд 5 - если сайт нокии совершенно не тормознутый - но сайт похоже работает достаточно быстро.
По пункту 5 - всю инфу для разработчиков Nokia держит на специальном сайте - я там уже очень давно тусуюсь и всю инфу по разработке на Symbain и эмуляторы устройств и операционных систем и документацию и т.п. таскаю оттуда - и вряд ли Nokia инфу для разработчиков положит на общий сайт.
Про избыточную и нехватающую инфу - вы же сами сказали - мой способ будет работать некорректно если появится лишняя инфа для девелоперов - и то лишь тем, что будет тянуь инфу для девелоперов тоже (думаю урезать это не составит большого труда). А если верстальщик сделает новую ошибку - или изменит верстку свою - ваш скрипт сработает неверно - и в вашем случае скрипт просто не сможет получить эту инфу. И нужно решить что хуже - получить лишнюю инфу - которая очень сомнительно что появится - или же не получить инфу, из за того что верстальщики чуть чуть подправили дизайн.
Заранее извиняюсь, что задержал с ответом, так как я уезжал на новогодние каникулы. Обидно, что так остро отреагировали, на простые советы. Но ВЫ В КОРНЕ не правы по ВСЕМ пунктам. И я готов обосновать каждое слово. Итак, приступим:
1.
> На «ты» мы еще не перешли.
Не перешли, так не перешли - ваше право - в друзья не навязываюсь. Тем более, если знаете историю, изначально ВЫ носило оскорбительный характер.
2.
> Тем более, что вы не умеете слушать.
Вообще за слова свои, отвечать надо, молодой человек - из нас двоих слушать не умеешь только вы - и я далее обосную, в отличае от ваших пустых обвинений.
3.
> Ваш способ похож на решение задачи школьником. Типа главное — добиться ответа, а каким способом уже не важно.
Вообщем я вообще не знаю каким принципом Вы руководствуетесь при написании приложения - я стараюсь писать максимально качественный и стабильный код - предусмотреть все возможные варианты - и если бы Вы умели слушать или читать - то прочитали бы что это всего лишь 10-минутный набросок, отражающую концепцию.
4.
> То, что предлагаете вы (дергать все ПДФки, получать их размер, язык и прочее) — это ресурсоёмкий способ, по сравнению с тем, что предлагаю я (дергать со страницы сразу всю информацию о pdf документе).
Т.е., ты утверждаешь что ушлая регулярка менее ресурсоемкий способ, нежели получение имени и размера файла? На досуге почитайте несколько книжек по программированию, если вас не затруднит - или при желании сделайте тест - что жрет больше ресурсов - памяти и процессора - регулярка или получение имени и размера файла? Единственное что может быть - возможно что если сайт медленный то время ожидания может быть значительным - но если получаешь десятки и сотни таких запросов - и немного знаком с азами асинхронного или многопоточного программирования - то это проблема решается тривиальным способом - проверьте на досуге - что более ресурсоемко - работа регулярки или запрос длины файла и имени. А потом для десятков и сотен - думаю вы очень очень сильно удивитесь.
5.
> Согласен, что регулярка в итоге избыточна, но если завтра nokia захочет помимо руководства на странице выводить и pdf для девелоперов, то мой софт будет работать без перебоев, а вот ваш будет дергать все подряд.
Во первых – вот просто прикиньте – что более вероятно что сайт нокия решит дополнить какие нибудь новые телефоны, поменяет расположение страниц, в конце концов просто найдет указанные вами ошибки и решит их исправить или сайт нокия волшебным, чудесным образом забудет о сайте для девелоперов http://www.forum.nokia.com/ - и решит разместить инфу для девелоперов на официальном сайте вместо специализированного сайта. Во вторых что лучше в данном варианте? Избытачная информация или его недополучение? В третьих что проще – исправлять ушлые регулярки, или урезать избыточную информацию?
С учетом этих простейших фактов – чей способ более стабилен и надежен?
6.
> Да и тем более, ваш скрипт выдернит не все руководства, т.к. не все ссылки начинаются на «httр://nds1.nokia.com/phones/files/guides/».
Опять таки – вот именно вы слушать не умеете – я ведь сказал что это всего лишь примерчик, набросанный на скорую руку за несколько минут. Он отражает суть – концепцию – а не готовый пример.
И опять таки – затрагивая тему что я сделал задачу как школьник – может вам за 10 минут надо было набрасать полноценное рабочее приложение, с нейросетвым анализатором? И с учетом всех этих факторов – чей способ сделан по принципу – лишь бы раз сработало?
P.S.
> Лебедев выполнял заказ, заказ матерного сайта. Глупо обвинять одного солдата в том, что именно он начал и ведет войну, не правда ли?
Во первых – лебедев не солдат – и это не война. Это всего лишь лицо – его культурный и морально-этический уровень.
Во вторых – позволять себе опускаться до такого уровня, что бы хотя бы «сорвать куш» (хочешь верь а хочешь нет – это сделано лишь только для того что бы пропиарится – чего он и достиг) – это явный принцип – «лишь бы раз сработало» - да, безусловно он пропиарился и поднял на этом хорошие деньги – но по большому счету испортил себе имидж делового человека и человека который умеет качественно работать. К примеру у меня есть много знакомых, которые намеревались в ближайшее время приобрести/обновить свои телефоны - половине матерный сайт понравился, половина раскритиковала такой поступок по полной, но и у той и у той половины мнение одно – телефоны в таком магазине не стоит покупать. И только примерно 10% заявило что им все равно какой у них сайт – главное за сколько они там купят телефон. Но это лишь мой круг знакомых и круг общения.
А посмотреть в действии этот код можно на страничке: http://akhmed.ru/nokiamanual/ - тут дергаются не все телефоны - а только те, у которых есть мануал на следующей странице - можно сделать еще более глубокую ссылку - но это уже другая история. :)
Похоже хабра некорректно отрабатывает код - срезал регулярные выражения - к сожалению отредактировать нет возможности - но надеюсь основная идея того что хотел сказать ясна - тебе надо дергать сами ссылки - а не дергать теги до и после ссылки - и все у тебя отлично заработает
Лично я раньше уважал Лебедева - но после его способа пиарства - перестал уважать - я бы негативно отнесся - если бы он просто сделал матерный сайт. Но сделать сайт с нецензурными выражениями как официально представительство - это показать свою тупость и желание хоть как нибудь пропиарится и жажда дешевой славы - показать свою полную непроффесионость. Учитывая что и Евросеть тоже этому способствала - теперь я знаю у кого не буду однозначно заказывать дизайн и у кого не буду покупать телефоны.
Это лично мое мнение - я не хочу доказывать свою правоту или не правоту - я придерживаюсь этой точки зрения.
Вообщем - мегософтину дать не могу - так как софтина написана под заказ. Хотя и компания для которую я писал сейчас уже закрыта - но слово есть слово.
Но суть в том, что ты "не с того конца" решаешь задачу - зачем тебе теги до и после ссылки на мануал? Тебе достаточно дергать ссылки с .pdf в конце - а с этой ссылки получить размер файла уже не представляет проблемы.
Я тут за 10 минут набросал примерчик, который со страницы http://www.nokia.co.uk/A4222213 - переходит на все страницы телефонов и там уже находит ссылки на мануалы. Можно с увереностью сказать что все мануалы на русском, а приводить пример получения размера наверное не надо? (при необходимости тоже покажу)).
Работаешь с .NET? Вот код примерчика - конечно код далеко не совершеннен, но суть идеи отражает - он показывает название телефона и ссылки на мануал для сайта Nokia.
Если делать "по взрослому" - то надо делать софт и т.д. - но так как я сейчас активно работаю с ASP.NET - я сделал страничку на ASP.NET - которая лезет на сайт Nokia и дергает оттуда информацию. Вот код страницы:
using System;
using System.Data;
using System.Configuration;
using System.Web;
using System.Web.Security;
using System.Web.UI;
using System.Web.UI.WebControls;
using System.Web.UI.WebControls.WebParts;
using System.Web.UI.HtmlControls;
using System.Net;
using System.IO;
using System.Text.RegularExpressions;
using System.Collections.Generic;
public partial class _Default : System.Web.UI.Page
{
protected void Page_Load(object sender, EventArgs e)
{
//Забираем страницу
String page = GetPage("http://www.nokia.co.uk/A4222213");
//Регулярное выражение Nokia 2100
String pattern = " .*?) ";
List listReg = GetlistReg(page, pattern);
foreach (string reg in listReg)
{
string[] masR=reg.Split("\">".ToCharArray(),StringSplitOptions.RemoveEmptyEntries);
if (masR.Length > 1)
{
if (masR[0][0] == '/')
{
//Получить адрес
string url = "http://www.nokia.co.uk" + masR[0];
string Name = masR[1];
//Получить страницу для этого адреса
String _page = GetPage(url);
String _pattern = @"<a href=""httpnds1.nokia.com/phones/file/guide/(?<match">.*?)""";
List urlPDF = GetlistReg(_page, _pattern);
Response.Write(Name); Response.Write(" ");
foreach (string s in urlPDF)
{
Response.Write(s);
Response.Write(" ");
}
Response.Write(" ");
Response.Write(" ");
Response.Flush();
}
}
}
}
protected List GetlistReg(string Page, string pattern)
{
List listResult = new List ();
Regex rg = new Regex(pattern, RegexOptions.IgnoreCase | RegexOptions.Singleline);
Match mt = rg.Match(Page);
while (mt.Success)
{
String val = mt.Groups[1].Value;
listResult.Add(val);
mt = mt.NextMatch();
}
return listResult;
}
protected String GetPage(string URL)
{
//Забираем страницу
WebClient wc = new WebClient();
Stream strm = wc.OpenRead(URL);
StreamReader st = new StreamReader(strm);
string list=st.ReadToEnd();
st.Close();
return list;
}
}
Ну если нормально делать - то надо делать полный обход сайта - с поиском на страницах мануалов и т.д. и т.п. - Но это уже не 10-минутная работа ))).
Лично я писал два бота подобного типа - один искал почтовые адреса на сайтах, с именем владельца (не для спама!))). А другой бот искал преподователей - ну такие - мини поисковые машины.
Что то ты к дерганию скрипта совсем не так подходишь! Какая тебе разница - что там за теги до и после стоят - ссылки то ведь правильно написаны?
Если желание есть - могу скинуть софтину собственного производства, которому указанные тобой проблемы - вообще не существует.
А вообще сколь качественно не сделала бы этот сайт Лебедев, - я в принципе имею негативное отношение к нему - и лично по мне - лучше уж "некачественный" продукт от сторонней компании, чем качественно быть покрытым матом от Лебедева. (избитая тема про Евросеть)
Вот - теперь убрал лишний код. Но все равно - лучше всего если админы введут более удобную панель редактирования - тем более халявных панелей редактирования полным полно...
Полностью согласен! Тем более сделать это совсем не сложно. Честно говоря утилитку я набросл тоже по пожеланию других пользователей и для того что бы не тратить время на переформатирование - лучше потрачу время на новые статьи - а достучатся до админов у меня нет надежды с тех пор как я к ним обратился из за того что после регистрации не мог запостить ничего кроме комментов и все время кидало в википедию. (Спасибо добрым людям за поднятую карму после комментов на пост на эту тему).
Здесь же у нас довольна мощная тенология для упрощенного создания сайтов. И возможность гибко менять поведение, которое нам нужно.
По поводу 4-го пункта - сделайте получение данных асинхронным - у Вас столько времени железно не будет уходить. И даже если вы сделали уже асинхронным и сервер Nokia действительно такой тормознутый - сравните полученное время - практически соразмерно - а ресурсов компьютера регулярка жрет значительно больше - сравните потребляюмую память и нагрузку на проц при обоих тестах. (хотя опять таки полминуты на получение инфы должно уходить только при последовательном запросе каждого заголовка - при асинхронном запросе - на это примерно должно уйти примерно секунд 5 - если сайт нокии совершенно не тормознутый - но сайт похоже работает достаточно быстро.
По пункту 5 - всю инфу для разработчиков Nokia держит на специальном сайте - я там уже очень давно тусуюсь и всю инфу по разработке на Symbain и эмуляторы устройств и операционных систем и документацию и т.п. таскаю оттуда - и вряд ли Nokia инфу для разработчиков положит на общий сайт.
Про избыточную и нехватающую инфу - вы же сами сказали - мой способ будет работать некорректно если появится лишняя инфа для девелоперов - и то лишь тем, что будет тянуь инфу для девелоперов тоже (думаю урезать это не составит большого труда). А если верстальщик сделает новую ошибку - или изменит верстку свою - ваш скрипт сработает неверно - и в вашем случае скрипт просто не сможет получить эту инфу. И нужно решить что хуже - получить лишнюю инфу - которая очень сомнительно что появится - или же не получить инфу, из за того что верстальщики чуть чуть подправили дизайн.
1.
> На «ты» мы еще не перешли.
Не перешли, так не перешли - ваше право - в друзья не навязываюсь. Тем более, если знаете историю, изначально ВЫ носило оскорбительный характер.
2.
> Тем более, что вы не умеете слушать.
Вообще за слова свои, отвечать надо, молодой человек - из нас двоих слушать не умеешь только вы - и я далее обосную, в отличае от ваших пустых обвинений.
3.
> Ваш способ похож на решение задачи школьником. Типа главное — добиться ответа, а каким способом уже не важно.
Вообщем я вообще не знаю каким принципом Вы руководствуетесь при написании приложения - я стараюсь писать максимально качественный и стабильный код - предусмотреть все возможные варианты - и если бы Вы умели слушать или читать - то прочитали бы что это всего лишь 10-минутный набросок, отражающую концепцию.
4.
> То, что предлагаете вы (дергать все ПДФки, получать их размер, язык и прочее) — это ресурсоёмкий способ, по сравнению с тем, что предлагаю я (дергать со страницы сразу всю информацию о pdf документе).
Т.е., ты утверждаешь что ушлая регулярка менее ресурсоемкий способ, нежели получение имени и размера файла? На досуге почитайте несколько книжек по программированию, если вас не затруднит - или при желании сделайте тест - что жрет больше ресурсов - памяти и процессора - регулярка или получение имени и размера файла? Единственное что может быть - возможно что если сайт медленный то время ожидания может быть значительным - но если получаешь десятки и сотни таких запросов - и немного знаком с азами асинхронного или многопоточного программирования - то это проблема решается тривиальным способом - проверьте на досуге - что более ресурсоемко - работа регулярки или запрос длины файла и имени. А потом для десятков и сотен - думаю вы очень очень сильно удивитесь.
5.
> Согласен, что регулярка в итоге избыточна, но если завтра nokia захочет помимо руководства на странице выводить и pdf для девелоперов, то мой софт будет работать без перебоев, а вот ваш будет дергать все подряд.
Во первых – вот просто прикиньте – что более вероятно что сайт нокия решит дополнить какие нибудь новые телефоны, поменяет расположение страниц, в конце концов просто найдет указанные вами ошибки и решит их исправить или сайт нокия волшебным, чудесным образом забудет о сайте для девелоперов http://www.forum.nokia.com/ - и решит разместить инфу для девелоперов на официальном сайте вместо специализированного сайта. Во вторых что лучше в данном варианте? Избытачная информация или его недополучение? В третьих что проще – исправлять ушлые регулярки, или урезать избыточную информацию?
С учетом этих простейших фактов – чей способ более стабилен и надежен?
6.
> Да и тем более, ваш скрипт выдернит не все руководства, т.к. не все ссылки начинаются на «httр://nds1.nokia.com/phones/files/guides/».
Опять таки – вот именно вы слушать не умеете – я ведь сказал что это всего лишь примерчик, набросанный на скорую руку за несколько минут. Он отражает суть – концепцию – а не готовый пример.
И опять таки – затрагивая тему что я сделал задачу как школьник – может вам за 10 минут надо было набрасать полноценное рабочее приложение, с нейросетвым анализатором? И с учетом всех этих факторов – чей способ сделан по принципу – лишь бы раз сработало?
P.S.
> Лебедев выполнял заказ, заказ матерного сайта. Глупо обвинять одного солдата в том, что именно он начал и ведет войну, не правда ли?
Во первых – лебедев не солдат – и это не война. Это всего лишь лицо – его культурный и морально-этический уровень.
Во вторых – позволять себе опускаться до такого уровня, что бы хотя бы «сорвать куш» (хочешь верь а хочешь нет – это сделано лишь только для того что бы пропиарится – чего он и достиг) – это явный принцип – «лишь бы раз сработало» - да, безусловно он пропиарился и поднял на этом хорошие деньги – но по большому счету испортил себе имидж делового человека и человека который умеет качественно работать. К примеру у меня есть много знакомых, которые намеревались в ближайшее время приобрести/обновить свои телефоны - половине матерный сайт понравился, половина раскритиковала такой поступок по полной, но и у той и у той половины мнение одно – телефоны в таком магазине не стоит покупать. И только примерно 10% заявило что им все равно какой у них сайт – главное за сколько они там купят телефон. Но это лишь мой круг знакомых и круг общения.
http://akhmed.ru/nokiamanual/ - тут дергаются не все телефоны - а только те, у которых есть мануал на следующей странице - можно сделать еще более глубокую ссылку - но это уже другая история. :)
http://akhmed.ru/nokiamanual.zip
Это лично мое мнение - я не хочу доказывать свою правоту или не правоту - я придерживаюсь этой точки зрения.
Вообщем - мегософтину дать не могу - так как софтина написана под заказ. Хотя и компания для которую я писал сейчас уже закрыта - но слово есть слово.
Но суть в том, что ты "не с того конца" решаешь задачу - зачем тебе теги до и после ссылки на мануал? Тебе достаточно дергать ссылки с .pdf в конце - а с этой ссылки получить размер файла уже не представляет проблемы.
Я тут за 10 минут набросал примерчик, который со страницы http://www.nokia.co.uk/A4222213 - переходит на все страницы телефонов и там уже находит ссылки на мануалы. Можно с увереностью сказать что все мануалы на русском, а приводить пример получения размера наверное не надо? (при необходимости тоже покажу)).
Работаешь с .NET? Вот код примерчика - конечно код далеко не совершеннен, но суть идеи отражает - он показывает название телефона и ссылки на мануал для сайта Nokia.
Если делать "по взрослому" - то надо делать софт и т.д. - но так как я сейчас активно работаю с ASP.NET - я сделал страничку на ASP.NET - которая лезет на сайт Nokia и дергает оттуда информацию. Вот код страницы:
using System;
using System.Data;
using System.Configuration;
using System.Web;
using System.Web.Security;
using System.Web.UI;
using System.Web.UI.WebControls;
using System.Web.UI.WebControls.WebParts;
using System.Web.UI.HtmlControls;
using System.Net;
using System.IO;
using System.Text.RegularExpressions;
using System.Collections.Generic;
public partial class _Default : System.Web.UI.Page
{
protected void Page_Load(object sender, EventArgs e)
{
//Забираем страницу
String page = GetPage("http://www.nokia.co.uk/A4222213");
//Регулярное выражение Nokia 2100
String pattern = " .*?) ";
List listReg = GetlistReg(page, pattern);
foreach (string reg in listReg)
{
string[] masR=reg.Split("\">".ToCharArray(),StringSplitOptions.RemoveEmptyEntries);
if (masR.Length > 1)
{
if (masR[0][0] == '/')
{
//Получить адрес
string url = "http://www.nokia.co.uk" + masR[0];
string Name = masR[1];
//Получить страницу для этого адреса
String _page = GetPage(url);
String _pattern = @"<a href=""httpnds1.nokia.com/phones/file/guide/(?<match">.*?)""";
List urlPDF = GetlistReg(_page, _pattern);
Response.Write(Name); Response.Write("
");
foreach (string s in urlPDF)
{
Response.Write(s);
Response.Write("
");
}
Response.Write("
");
Response.Write("
");
Response.Flush();
}
}
}
}
protected List GetlistReg(string Page, string pattern)
{
List listResult = new List ();
Regex rg = new Regex(pattern, RegexOptions.IgnoreCase | RegexOptions.Singleline);
Match mt = rg.Match(Page);
while (mt.Success)
{
String val = mt.Groups[1].Value;
listResult.Add(val);
mt = mt.NextMatch();
}
return listResult;
}
protected String GetPage(string URL)
{
//Забираем страницу
WebClient wc = new WebClient();
Stream strm = wc.OpenRead(URL);
StreamReader st = new StreamReader(strm);
string list=st.ReadToEnd();
st.Close();
return list;
}
}
Ну если нормально делать - то надо делать полный обход сайта - с поиском на страницах мануалов и т.д. и т.п. - Но это уже не 10-минутная работа ))).
Лично я писал два бота подобного типа - один искал почтовые адреса на сайтах, с именем владельца (не для спама!))). А другой бот искал преподователей - ну такие - мини поисковые машины.
Если желание есть - могу скинуть софтину собственного производства, которому указанные тобой проблемы - вообще не существует.
А вообще сколь качественно не сделала бы этот сайт Лебедев, - я в принципе имею негативное отношение к нему - и лично по мне - лучше уж "некачественный" продукт от сторонней компании, чем качественно быть покрытым матом от Лебедева. (избитая тема про Евросеть)