Как и половине интернета, нам давно была интересна тема парсинга поисковой выдачи. Интересна именно с профессиональной точки зрения, т.к. сам поиск можно штатными средствами подключить к себе на сайт.
Отдадим должное профессионализму команд гугла, яндекса и других поисковиков, они сделали максимум для того, чтобы этот парсинг не допустить. Открыв html-код крупнейших поисковиков можно ужаснуться от обилия ява-скриптов и перекодировок.

Вот так выглядят исходники google

А вот так исходный код яндекса

Ссылки на ресурсы из результатов поиска тоже представляют из себя ломку стандартов. Вместо слэшей пробелы и угловые скобки > , часть текста ссылки скрыта, так чтобы выделением мышки её нельзя было скопировать.

При копировании ссылки правой кнопкой мышки в google, всё ещё интереснее. На снимке ниже вы вероятно ожидаете получить ссылку на gismeteo

А вот и нет. Получаете вы вот такой код поисковика для перехода на целевой ресурс, а не саму ссылку:

https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&cad=rja&uact=8&ved=2ahUKEwjmzf3dzcTpAhUC7aYKHX5hCmoQFjACegQIAxAB&url=https%3A%2F%2Fwww.gismeteo.ru%2Fweather-sankt-peterburg-4079%2F&usg=AOvVaw0M8ON3nE8IT2i9dHHP8pYQ

Вобщем это был потрясающий опыт в духе соревнования с огромными командами программистов из крупнейших корпораций.

P.S. Исследование выполнялось в академических целях и его код не будет выложен в открытом доступе.