Краткий экскурс в истории развития поисковых алгоритмов и поисковой оптимизации.
Вебмастера и разработчики начали заниматься поисковой оптимизацией (SEO) в середине девяностых, тогда, когда первые поисковые системы начали "собирать воедино" Всемирную Паутину. Первоначально, все, что требовалось от вебмастера — это добавить адрес проекта, или URL, в различные поисковые системы, которые, в свою очередь, посылали на сайт поискового бота, "паука", который обрабатывал информацию со страницы, находил в ней ссылки на другие страницы, и индексировал все это для выдачи. Процесс индексации включает скачивание поисковым ботом страницы и сохранение ее на сервере поисковика, где вторая программа, "индексатор", выделяет различную информацию из страницы, такую как слова, содержащиеся на странице, расположение слов, их значимость, а также значимость, "вес", ссылок на странице. Ссылки затем помещаются в планировщик заданий, и на них позже заходит поисковый бот.
Владельцы сайтов быстро оценили, что значит хорошая позиция в поисковой выдаче. Считается, что термин SEO (поисковая оптимизация), был впервые употреблен в спам-сообщении в одной из конференций Usenet 26 июля 1997 года.
Ранние версии поисковых алгоритмов основывались на информации, предоставляемой вебмастерами, такой, как мета-теги или индексные файлы. Мета-теги представляли собой ключевые слова к содержанию каждой страницы. Но использование мета-данных оказалось не самым надежным способом узнать о содержании страницы, так как многие вебмастера недобросовестно проставляли теги, тем самым обманывая поисковики. Неточность, неполность и несодержательность тегов делала поиск по страницам нерелевантным.
Ранние поисковики слишком много опирались на факторы, подконтрольные вебмастерам, в результате чего страдали от жалоб и недоброжелательных манипуляций. Чтоб предоставить пользователям более точные результаты, поисковикам пришлось изобретать новые алгоритмы, позволяющие выдавать наиболее релевантные страницы, а не мусорные, набитые ключевыми словами. С тех пор успех поисковика определяется тем, насколько точно он может предоставить информацию по любому запросу. А пользователь, не получивший релевантной информации, скорее всего, уйдет на другую поисковую систему. Поисковики разрабатывают все более и более сложные алгоритмы ранжирования, чтобы у вебмастеров не оставалось возможности искусственно влиять на результаты поисковой выдачи.
В 1998 году был основан поисковик Google. Он привлекал многих пользователей довольно редким для того времени простым дизайном. Google предоставил алгоритм вычисления PageRank страницы, как показатель качества и "веса" ссылок на данную страницу. Этот и многие другие факторы, не зависящие от самой странице, позволили Google выдавать наиболее точные результаты поиска и не зависеть от недобросовестных вебмастеров.
Для повышения Google PageRank были сформированы многочисленные алгоритмы, возник целый рынок массовых продаж ссылок с целью увеличения PR. Возникли такие явления, как "линкофермы" и ссылочный спам.
Чтобы снизить уровень воздействия ссылок, поисковики вводят все более совершенные алгоритмы ранжирования. К примеру, Google утверждает, что при ранжировании сайтов его система использует более 200 факторов. Три мировых лидера в области поиска Google, Yahoo и Live Search от Microsoft не раскрывают свои алгоритмы ранжирования. Поисковые оптимизаторы, в свою очередь, применяют все больше и больше уловок, чтобы повлиять на рейтинг их проектов. Некоторые, например, используют один из способов разгадать алгоритмы поисковиков изучают выданные компаниям-поисковикам патенты.