MSNbot 1.1
Публикувано от securitybg на февруари 24, 2008
Microsoft обявиха промени в краулинг технологията на търсачката Live Search. MSNbot, е обновен до версия 1.1 и поддържа протоколи за компресия на HTTP, които позволяват съществено да се съкрати трафика при индексиране на сайтове.
Първият тип позволява да се компресира файла преди сваляне, а вторият дава възможност да се определят промените на съдържанието в страницата в сравнение с предишната визита на MSNbot и ако няма изменения информацията да не бъде сваляна отново.
Протоколи за компресия използват още Yahoo Slurp от 2005 година и Googlebot от 2006.
До използването на компресия от MSNbot доведоха постоянните оплаквания на уебмастъри от огромния трафик генериран от бота на Live Search.
Публикувано в MSN | Няма коментари »
