Краткая история поиска и SEO

Проследить историю SEO — это все равно что попытаться проследить историю рукопожатия. Мы все знаем, что это существует, и мы знаем, что это важная часть бизнеса. Но мы не тратим уйму времени на размышления о его происхождении — нас в основном волнует, как мы используем его изо дня в день.

Но в отличие от рукопожатия, SEO довольно молодо и часто меняется. Вполне уместно, считать что его рождение, по прогнозам, придется где-то на 1991 год.
И за свою относительно короткую жизнь он довольно быстро созрел и эволюционировал — просто посмотрите, сколько изменений претерпел один только алгоритм Google.

Итак, с чего началось SEO и как оно стало таким чертовски важным? Присоединяйтесь к нам, когда мы перенесемся в прошлое и попытаемся разобраться в этом — как оказалось, это целая история.

Но сначала вернемся к поисковым системам

Первая идея создания общего архива для всех мировых данных воплотилась в жизнь в 1945 году. В июле того же года доктор Ванневар Буш — тогдашний директор ныне несуществующего управления научных исследований и разработок — опубликовал в The Atlantic статью, в которой предлагал “сбор данных и наблюдений, извлечение параллельного материала из существующих записей и окончательное включение нового материала в общую базу данных». запись.” Другими словами, мы считаем, что сегодняшний Google.

Несколько десятилетий спустя, в 1990 году, студент Университета Макгилла Алан Эмтедж создал Archie, который, как говорят некоторые, был самой первой поисковой системой — хотя, согласно исследованию Билла Славски, президента и основателя SEO by the Sea, этот вопрос остается предметом споров. Однако Archie был тем, что Славски назвал “лучшим способом поиска информации с других серверов по всему Интернету в то время”, и на самом деле он все еще (очень примитивный) работает.

В следующем десятилетии произошло несколько ключевых событий, в результате которых сформировались более коммерческие версии поисковых систем, которые мы могли бы узнать сегодня.

• Февраль 1993: Шесть студентов Стэнфорда создают Architext, который позже станет поисковой системой Excite. Некоторые, например, Search Engine Land (SEL), говорят, что Excite “произвел революцию в способах каталогизации информации”, упростив поиск информации “путем сортировки результатов на основе ключевых слов, найденных в контенте, и внутренней оптимизации».
• Июнь 1993: Мэтью Грей дебютирует в World Wide Web Wanderer, который позже стал известен как Wandex.
• Октябрь 1993: Мартин Костер представляет ALIWEB, который позволяет владельцам сайтов размещать свои собственные страницы (к сожалению, без ведома многих владельцев сайтов).
• Декабрь 1993 года: Существуют по меньшей мере три поисковые системы, “управляемые ботами” — JumpStation, RBSE spider и World Wide Web Worm, — что, вероятно, означает, что они были созданы веб-роботами для сканирования серверов и содержимого сайта с целью получения результатов.
• 1994: запускаются поисковые системы Alta Vista, Infoseek, Lycos и Yahoo.
• 1996: Соучредители Google Ларри Пейдж и Сергей Брин начинают создавать поисковую систему, которую они изначально назвали BackRub.
• Апрель 1997: представлен AskJeeves, позже ставший Ask.com .
• Сентябрь 1997 года: Google.com зарегистрировано как доменное имя.

Стоит отметить, что почти двенадцать лет спустя, в июне 2009 года, Microsoft выпустила Bing — его предыдущие версии были также известны как Live Search, Windows Live Search и MSN Search.

Но вот тут-то и вступает в игру само SEO. По мере того как поисковые системы становились все более распространенными, владельцы сайтов начали становиться мудрее. Как выразилось SEO-сообщество Moz, “Было обнаружено, что, предприняв несколько довольно простых действий, можно манипулировать результатами поисковых систем и зарабатывать деньги в Интернете”.

Однако эти результаты были не совсем качественными. И с этого, дорогие читатели, начинается история SEO.

Краткая история поиска и SEO
90-е годы

По мере того как поисковые системы становились нарицательными, а все больше семей подключалось к Интернету, находить информацию становилось все легче. Проблема, как отмечалось выше, заключалась в качестве этой информации.

В то время как результаты поисковой системы соответствовали словам из пользовательских запросов, обычно этим все и ограничивалось, поскольку подавляющее количество владельцев сайтов прибегали к набору ключевых слов — повторению ключевых слов снова и снова в тексте — для улучшения рейтинга (для которого не существовало критериев), привлечения трафика на свои страницы и создания привлекательных сайтов. цифры для потенциальных рекламодателей.

Кроме того, имел место небольшой сговор. По словам SEL, в дополнение к вбросу ключевых слов люди использовали чрезмерные и “спам-обратные ссылки”, чтобы повысить свой авторитет. В то время не только не существовало критериев ранжирования, но и к тому времени, когда поисковые системы соответствующим образом исправили алгоритмы, уже появились новые методы SEO black hat, которые исправления не касались.

Но потом двум ребятам из Стэнфорда пришла в голову идея.

Когда Пейдж и Брин задумали создать Google, это была одна из проблем, которую они хотели решить. В 1998 году пара опубликовала в Стэнфорде статью под названием “Анатомия крупномасштабной гипертекстовой поисковой системы в Интернете”, где они написали:

..преобладающей бизнес-моделью для коммерческих поисковых систем является реклама. Цели рекламной бизнес-модели не всегда соответствуют обеспечению качественного поиска для пользователей.”

Именно в той же статье Пейдж и Брин впервые упомянули PageRank, технологию, которую Google использует для ранжирования результатов поиска на основе качества, а не только ключевых слов. Кто-то может сказать, что этот тезис расчистил путь для SEO в том виде, в каком мы его знаем сегодня.

Начало 2000-х годов

В начале 2000-х годов началось поглощение Google. В процессе того, чтобы технологии поисковых систем были менее ориентированы на рекламу, Google начал предоставлять рекомендации по поисковой оптимизации по принципу “белой шляпы” — того типа, которого придерживаются «хорошие парни», — чтобы помочь веб-мастерам ранжироваться без какого-либо подозрительного поведения, характерного для 90-х годов.

2000-2002

Но, по словам Моз, рекомендации еще не оказали реального влияния на ранжирование, поэтому люди не утруждали себя их соблюдением. Отчасти это связано с тем, что PageRank основывался на количестве входящих ссылок на данную страницу — чем их больше, тем выше рейтинг. Но тогда еще не было способа измерить подлинность этих ссылок — в начале 2000-х годов, согласно блогу маркетинговых технологий, все еще было возможно использовать эти методы обратных ссылок для ранжирования страниц, которые даже не были связаны с критериями поиска.Но в 2001 году Брин и Пейдж появились в сериале «Чарли Роуз», когда ведущий спросил их: «Почему это так хорошо работает?» В рамках своего ответа Брин подчеркнул, что в то время — Google был поисковой системой и ничем иным, и рассматривал «Веб в целом, а не только то, какие слова встречаются на каждой странице». Это задало тон некоторым первоначальным крупным обновлениям алгоритма, которые должны были начать более внимательно изучать эти слова. Взгляните на полный

Этот подход к Вебу, заключающийся не только в словах, по-настоящему начал формироваться в ноябре 2003 года, с обновлением алгоритма Google “Флорида”. Достаточное количество сайтов потеряли свой рейтинг в Search Engine Watch, чтобы назвать реакцию на Флориду массовым “протестом”, но следует отметить, что многие сайты также выиграли от изменений. Это был первый крупный случай, когда сайты получали штрафы за такие вещи, как вброс ключевых слов, что свидетельствует о том, что Google уделяет особое внимание решению проблем в первую очередь для пользователя — в основном с помощью качественного контента.

В 2004 году существовала одна из наиболее примитивных версий голосового поиска Google, которую New York Times назвала незавершенным экспериментом. И хотя в то время технология была несколько инфантильной — просто посмотрите, как сначала выглядели инструкции, — это также стало сигналом к будущей важности мобильных устройств в SEO.
Важным годом для SEO Одним из самых значимых лет в мире поисковых систем стал 2005 год. В январе того же года Google объединилась с Yahoo и MSN для использования атрибута Nofollow, который был создан отчасти для уменьшения количества спам-ссылок и комментариев на веб-сайтах, особенно в блогах. Затем, в июне, Google дебютировал с персонализированным поиском, который использовал чей-то поиск и историю посещений, чтобы сделать результаты более релевантными.В ноябре того же года была запущена Google Analytics, которая до сих пор используется для измерения трафика и окупаемости кампаний.

В 2009 году в мире поисковых систем произошла небольшая встряска. Премьера Bing состоялась в июне того же года, и Microsoft агрессивно рекламировала его как поисковую систему, которая будет выдавать заметно лучшие результаты, чем Google. Но, как и предсказывал SEL, это не было “убийцей Google”, и его рекомендации по оптимизации контента существенно не отличались от рекомендаций Google. Фактически, согласно Search Engine Journal, единственным заметным отличием была тенденция Bing отдавать приоритет ключевым словам в URL-адресах, а также отдавать предпочтение словам с заглавной буквы и “страницам с крупных сайтов”.В августе того же года Google представила предварительный просмотр изменений в алгоритме Caffeine, попросив общественность помочь протестировать “инфраструктуру следующего поколения”, которая, по словам Моз, была “разработана для ускорения сканирования, расширения индекса и интеграции индексации и ранжирования практически в режиме реального времени”. полностью он был представлен почти год спустя, когда это также улучшило скорость работы поисковой системы — но в декабре 2009 года был выпущен ощутимый поиск в режиме реального времени, результаты поиска Google включали такие вещи, как твиты и последние новости. Это был шаг, который подтвердил, что SEO больше не предназначено только для веб-мастеров — с этого момента журналистам, веб-копирайтерам и даже менеджерам социальных сообществ придется оптимизировать контент для поисковых систем.

Вот Мэтт Каттс, глава отдела веб-спама Google, обсуждает кофеин в августе 2009 г. Когда вы вводите поисковый запрос в Google, довольно забавно посмотреть, какие предложения он предлагает. Это благодаря технологии Google Instant, которая была внедрена в сентябре 2010 года. Сначала, по словам Моз, оптимизаторы “воспламенились”, пока не поняли, что на самом деле это никак не повлияло на ранжирование.Но Google Instant, наряду с эволюцией SEO начиная с 2010 года, был всего лишь еще одним этапом миссии поисковой системы, которую она должна была решать за пользователя, несмотря на некоторые разногласия по поводу страниц, рейтинг которых на самом деле был улучшен за счет негативных онлайн-отзывов. По словам Google, алгоритм в конечном итоге был скорректирован таким образом, чтобы наказывать сайты, использующие подобную тактику.Подробнее в Google Instant, около 2010 года: В том году также возросло значение контента социальных сетей в SEO.
В декабре 2010 года и Google, и Bing добавили «социальные сигналы», которые сначала отображали любые записи в Facebook, например, из вашей собственной сети, соответствующие вашему запросу. Но он также начал выдавать PageRank профилям в Twitter, на которые с определенной частотой были даны ссылки. Важность Twitter в SEO на этом не заканчивается — следите за обновлениями.

2011: Год панды

Тенденция наказывать сайты за несправедливое использование алгоритма Google сохранится. Некоторые из этих инцидентов были более публичными, чем другие, в том числе один с Overstock.com в 2011 году. В то время, по данным Wall Street Journal, домены, заканчивающиеся на .edu, как правило, имели более высокий авторитет в глазах Google. Overstock использовал это в своих интересах, попросив учебные заведения перейти по ссылке на его сайт — и использовать такие ключевые слова, как “пылесосы” и “двухъярусные кровати”, — предлагая взамен скидки студентам и преподавателям. Эти входящие ссылки улучшили бы рейтинг Overstock по запросам с такими ключевыми словами, пока Overstock не прекратил эту практику в 2011 году, а Google вскоре после этого не наложил на них штрафные санкции.Это был также год Panda, которая впервые появилась в феврале того же года — обновления алгоритма, которое расправилось с фермами контента. Это были сайты с огромным количеством часто обновляемого низкокачественного контента, который был написан с единственной целью — повысить результаты поиска в поисковых системах. Они также, как правило, имеют высокое соотношение рекламы к контенту, что Panda была обучена распознавать.Сама Panda претерпела несколько обновлений — настолько много, что в своем графике изменений в алгоритме Google Moz отказался перечислять те, которые не были существенными после 2011 года. Даже с учетом этого исключения на временной шкале по-прежнему перечислены двадцать восемь обновлений panda, влияние большинства из которых было трудно измерить, за период с июля 2015 по июль 2012 года.:

В апреле 2012 года Google предприняла то, что она назвала “еще одним шагом к вознаграждению высококачественных сайтов”, выпустив первое из многих обновлений Penguin — и в процессе анонса приняла к сведению опубликованную месяцем ранее публикацию в блоге Bing об изменении лица SEO. Penguin нацеливался на сайты, которые более тонко использовали тактику SEO без белой шляпы; например, те, контент которых может быть в основном информативным, но также содержит спам-гиперссылки, которые не имеют ничего общего с H1 страницы, как в этом примере:Источник: Google Стоит отметить, что в 2012 году также произошел возврат к первоначальному тезису Google о борьбе с рекламой с помощью «Обновление «Above The Fold», которое начало снижать рейтинг сайтов с большим количеством рекламного пространства над «Fold«, или верхней половиной страницы.В конечном счете Google выйдет за рамки таргетинга на сам спам-контент. Обновление алгоритма выдачи займов в день выплаты жалованья, на которое намекали в июне 2013 года и которое официально было выпущено в мае следующего года, на самом деле больше фокусировалось на запросах, которые с большей вероятностью приводили к спам-результатам. Обычно это были поиски таких вещей, как, ну, кредиты на день выплаты жалованья и другие вещи, которые могли бы заставить вашу мать покраснеть. Google скорректировала свою систему ранжирования, чтобы исключить попадание спама в эти результаты, и хотя это не обязательно повлияло на SEO-оптимизацию легальных сайтов, это продемонстрировало усилия по сохранению аутентичности результатов поиска.

Продолжая традицию обновлений алгоритмов с названиями животных, Google в 2014 году выпустила «Pigeon» (так окрестил его SEL), который оказал значительное влияние на результаты локального поиска. В то время, по-видимому, он был разработан для улучшения запросов к картам, которые начали обрабатываться с использованием той же технологии, которая была применена к другим функциям поиска, таким как «График знаний, исправление орфографии, синонимы». Локальный поиск должен был стать большим делом — и так будет продолжаться и дальше, как вы увидите чуть позже.Затем, в 2015 году…Самым крупным SEO-анонсом после 2010 года, возможно, стало обновление Google для мобильных устройств в апреле 2015 года, когда сайты, не ориентированные на мобильные устройства, начали получать более низкие рейтинги. Это означало, что SEO больше не зависело от ключевых слов и контента — адаптивный дизайн тоже имел значение.Google объявила об этом изменении заранее, в феврале 2015 года, проведя тест для мобильных устройств, который позволил веб-мастерам просмотреть потенциальные проблемы и внести изменения до внедрения. Это было не последнее обновление Google для мобильных устройств — в августе 2016 года компания объявила о борьбе с всплывающими окнами на мобильных устройствах.

Что дальше?

Возможно, в это трудно поверить, но, похоже, на горизонте намечаются еще большие перемены.

 

Для мобильных устройств и за их пределами

Поскольку использование мобильных устройств растет — 51% цифровых медиа потребляется таким образом, по сравнению с 42% на настольных компьютерах, — имеет смысл, что SEO продолжит развиваться в этом направлении.

Это уже очевидно, учитывая благосклонность Google к удобству работы с мобильными устройствами. Мы прогнозируем, что будущая волна SEO в значительной степени будет касаться голосового поиска. Это имеет свою собственную сложную историю и находится на подъеме — в настоящее время 20% поисковых запросов Google выполняются голосом, как и 25% запросов Bing. И это усугубляется появлением таких цифровых персональных помощников с голосовым управлением, как Alexa от Amazon.

Хотя, возможно, четкого способа оптимизации для голосового поиска пока не существует — в основном из-за отсутствия аналитики в этой области, — мы ожидаем, что эти ресурсы станут доступны, создав еще один важный элемент SEO.

Going local

Но это поднимает проблему локализации в SEO и оптимизации результатов, чтобы они были актуальны для региона. Это особенно верно в области голосового поиска — например, Yelp и другие бизнес-агрегаторы используются для ответа на голосовые запросы о том, что находится поблизости. Это возможность для SEO-оптимизации для местных компаний, поскольку они следят за тем, чтобы их объявления были “всеобъемлющими, точными и оптимизированными для размещения ссылок” на стороннем сайте.

Getting Social

В то время как внедрение Google поиска в режиме реального времени в 2009 году имело некоторые социальные последствия, социальные сети становятся все более важной частью стратегии SEO. Например, когда поисковая система начала индексировать твиты в 2011 году, это намекало на будущее, в котором пользователи будут искать информацию в социальных сетях так же, как они это делают с помощью поиска. На самом деле, эта индексация может быть версией Google для обеспечения безопасности в будущем — если вы можете себе это представить — на то время, когда люди больше не будут использовать поисковые системы так, как мы это делаем сейчас.

Например, введите имя любой знаменитости — скажем, Павел Дуров. На первой странице результатов поиска по его имени указаны его профили в Facebook и Twitter. Кроме того, обратите внимание на биографическую боковую панель справа — там также есть значки социальных сетей со ссылками на его различные сети. Когда пользователи ищут человека, это одна из первых вещей, которые они хотят увидеть.

В любом случае, понятно, почему SEO стало работой на полный рабочий день. Его история будет только продолжать развиваться. Хорошее выполнение этого требует высокого уровня мастерства, этики и соблюдения технологий.