Урок 7-8. Поиск информации в сети. Поисковые системы

Даты проведения занятия 20.10.22, 11.11.22

Поисковые системы

Поисковая система - комплекс программных и аппаратных средств для автоматического просмотра ресурсов интернет, индексации их содержания и предоставления услуг по поиску информации интернет пользователям.

Поисковые системы могут отличаться по

• эффективности поиска
• языку поиска
• и другим возможностям.

Одни поисковые системы находят информацию в виде веб-страниц, другие могут рассматривать и группы новостей и файловые серверы.

Классификация поисковых систем по методам поиска и обслуживания: 

• системы, использующие поисковых роботов, 
• системы, управляемые человеком, 
• гибридные системы, 
• мета-системы. 

Работа поисковых систем — общие принципы

Подробнее читайте статью Принципы работы поисковых систем

 Каждая поисковая система имеет свой алгоритм поиска запрашиваемой пользователем информации. Алгоритмы эти сложные и чаще держатся в секрете. Однако общий принцип работы поисковых систем можно считать одинаковым. Любой поисковик:

• Сначала собирает информацию, черпая её со страниц сайтов и вводя её в свою базу данных;
• Индексирует сайты и их страницы, и переводит их из базы данных в базу поисковой выдачи;
• Выдает результаты по поисковому запросу, беря их из базы проиндексированных страниц;
• Ранжирует результаты (выстраивает результаты по значимости).

Всю работу поисковых систем выполняют специальные программы и комбинации этих программ.

Перечислим основные составляющие поисковых систем:

• Spider (паук) – это браузероподобная программа, скачивающая веб-страницы. Заполняет базу данных поисковика.
• Crawler (краулер, «путешествующий» паук) – это программа, проходящая автоматически по всем ссылкам, которые найдены на странице.
• Indexer (индексатор) – это программа, анализирующая веб-страницы, скачанные пауками. Анализ страниц сайта для их индексации.
• Database (база данных) – это хранилище страниц. Одна база данных это все страницы загруженные роботом. Вторая база данных это проиндексированные страницы.
• Search engine results engine (система выдачи результатов) – это программа, которая занимается извлечением из базы данных проиндексированных страниц, согласно поисковому запросу.
• Web server (веб-сервер) – веб-сервер, осуществляющий взаимодействие пользователя со всеми остальными компонентами системы поиска.

Поисковые системы могут быть :

• универсальные
• специализированные

Наиболее популярные системы объединяют в себе оба типа.

Универсальные системы

В универсальных системах обычный принцип поиска в неструктурированных документах - по заданной строке поиска.

Большинство поисковым систем предоставляют пользователям также услуги интернет-почты, возможность создания веб-страниц, новости, курс валют и т.д.

Специализированные системы поиска

Поиск на картах
Возможности:

• поиск адресов на карте
• карты в форматах 2D и 3D
• виртуальные туры (с фотографиями и панорамами)

Каталог - данные, структурированные по темам в виде иерархических структур
Онлайновые энциклопедии и  справочники

- электронные версии бумажных словарей, энциклопедий

Получение информации по QR-коду

нередко на различных объектах (товарах, у памятников, на книгах, на веб-страницах) можно увидеть такую пометку (квадрат или прямоугольник или овал с черно-белыми точками внутри).  Это так называемый QR-код, придуманный в 1994 году японской компанией “Denso Wave”.

Рейтинг поисковых систем

Прочитайте несколько интересных статей

Как работает  поиск в Google?
История развития поисковых систем 

Принципы работы поисковых систем

Практическая работа. Сравнение поисковых систем

Урок 6-7. Поиск информации в сети. Поисковые системы

Дата проведения занятия 7.10.20

Поисковая система

Поисковая система - комплекс программных и аппаратных средств для автоматического просмотра ресурсов интернет, индексации их содержания и предоставления услуг по поиску информации интернет пользователям.

Поисковые системы могут отличаться по

• эффективности поиска
• языку поиска
• и другим возможностям.

Одни поисковые системы находят информацию в виде веб-страниц, другие могут рассматривать и группы новостей и файловые серверы.

По методам поиска и обслуживания разделяют четыре типа поисковых систем: 

• системы, использующие поисковых роботов, 
• системы, управляемые человеком, 
• гибридные системы, 
• мета-системы^[⇨]. 

 В архитектуру поисковой системы обычно входят:

• поисковый робот, собирающий информацию с сайтов сети Интернет или из других документов,
• индексатор, обеспечивающий быстрый поиск по накопленной информации, и
• поисковик — графический интерфейс для работы пользователя^[⇨].

Поисковые системы могут быть :

• универсальные
• специализированные

Наиболее популярные системы объединяют в себе оба типа.

Универсальные системы

В универсальных системах обычный принцип поиска в неструктурированных документах - по заданной строке поиска.

Большинство поисковым систем предоставляют пользователям также услуги интернет-почты, возможность создания веб-страниц, новости, курс валют и т.д.

Специализированные системы поиска

Поиск на картах
Возможности:

• поиск адресов на карте
• карты в форматах 2D и 3D
• виртуальные туры (с фотографиями и панорамами)

Каталог

- данные, структурированные по темам в виде иерархических структур

Онлайновые энциклопедии и  справочники

- электронные версии бумажных словарей, энциклопедий

Получение информации по QR-коду

нередко на различных объектах (товарах, у памятников, на книгах, на веб-страницах) можно увидеть такую пометку (квадрат или прямоугольник или овал с черно-белыми точками внутри).  Это так называемый QR-код, придуманный в 1994 году японской компанией “Denso Wave”.

Поисковые указатели (Поисковые роботы, поисковые машины): (spiders, crawlers) постоянно исследуют Сеть с целью пополнения своих баз данных документов. Обычно это не требует никаких усилий со стороны человека. Для поисковых систем довольно важна конструкция каждого документа. 

Поисковая машина производит поиск информации по ключевым словам, указанным при регистрации сайта, по заголовку и ключевым словам, указанным в тексте HTML, и по тексту страниц. 

Пользователь для поиска ресурсов указывает ключевые слова, используя определенные правила (язык запросов). Эти правила – являются общими для всех поисковых систем, но бывают отличия, поэтому нужно ознакомиться с ними. Поисковая система образует из ключевых слов логические выражения и организует поиск в своей базе данных.

Алгоритмы сбора данных и алгоритмы поиска ресурса у разных поисковых систем различны. Поэтому результаты поиска по одним и тем же ключевым словам в разных системах – различны. 

Посмотрите, каковы результаты сравнения  поисковых систем Рунета в 2014-2015гг

А вот как выглядит та же статистика в  2019 году ( данные Яндекс-радар)
или статистика в 2019 (данные DrMax)
В настоящее время популярны метапоисковые системы, основанные на семантическом анализе. Как работает  поиск в Google?.

Практическая работа. Сравнение поисковых систем

Урок 8-9. Безопасный интернет. Сравнение поисковых систем

Дата проведения занятия 11.11.19

Часть 1. Безопасный Интернет

В соответствии с решением парламентского слушания Совета Федерации от 12 марта 2014 года, по инициативе В.И.Матвиенко, во всех школах Российской Федерации  с  2014 года  проводится Единый урок  безопасности в сети Интернет. Давайте посмотрим, правильно ли вы ведете себя на просторах Интернет!  КОНТРОЛЬНАЯ РАБОТА ДЛЯ СТАРШЕЙ ГРУППЫ ШКОЛЬНИКОВ (12-16 или 17-19 лет)

Посмотрите некоторые из фильмов о безопасности в Интернет.

Часть 2. Сравнение поисковых систем

Посмотрите, каковы результаты сравнения  поисковых систем Рунета в 2014-2015гг

А вот как выглядит та же статистика в  2019 году ( данные Яндекс-радар)
или статистика в 2019 (данные DrMax)
В настоящее время популярны метапоисковые системы, основанные на семантическом анализе. Как работает  поиск в Google?.

В этой статье вы найдете ответ на вопрос, почему у разных поисковых систем разная поисковая выдача.
А в этой статье найдете ответ на вопрос, от  чего зависит доверие  поисковых систем к продвигаемому сайту.

Часть 3. Решение задач

1. Вычисление количества запросов

Задачи, связанные с построением сложных запросов, удобно решать с помощью  Диаграмм Эйлера-Венна

В этой Презентации рассмотрены типовые задачи на построение запросов

2. Количество информации. Передача данных по сети

Для решения этих задач необходимо повторить единицы измерения количества информации и их соотношения.

Количество информации i в сообщении об одном из N равновероятных событий:

2i = N

Количество информации I в сообщении из k символов некоторого алфавита, в котором N различных знаков:

I = k*i, где i вычисляется из формулы 2i = N

Скорость передачи информации измеряется в битах в секунду и вычисляется по формуле:

V = I/t , где I  - количество информации,  t - время передачи информации  

Задача

1. Документ объёмом 80 Мбайт надо передать с одного компьютера на другой Сколько времени это займет, если: средняя скорость передачи данных по каналу связи составляет 220 бит в секунду. Решение t =  I  / V, где I = 80 Мбайт, V = 220 бит в секунду Данные надо привести к одинаковым единицам измерения, лучше сделать это в виде степеней с основанием 2: 2K Ответ: 640 сек 3. Сетевые технологии. Адресация в сети  Смотри урок 4-5 Сетевые протоколы и адресация компьютеров в Интернет 4. Решите задачи 1. Создайте копию документа и в документе к каждой задаче покажите решение. Ссылка на задачи

Урок 6-7. Поиск информации в сети. Поисковые системы

Дата проведения занятия 21.10.19

Поисковая система

Поисковая система - комплекс программных и аппаратных средств для автоматического просмотра ресурсов интернет, индексации их содержания и предоставления услуг по поиску информации интернет пользователям.

Поисковые системы могут отличаться по

• эффективности поиска
• языку поиска
• и другим возможностям.

Одни поисковые системы находят информацию в виде веб-страниц, другие могут рассматривать и группы новостей и файловые серверы.

По методам поиска и обслуживания разделяют четыре типа поисковых систем: 

• системы, использующие поисковых роботов, 
• системы, управляемые человеком, 
• гибридные системы, 
• мета-системы^[⇨]. 

 В архитектуру поисковой системы обычно входят:

• поисковый робот, собирающий информацию с сайтов сети Интернет или из других документов,
• индексатор, обеспечивающий быстрый поиск по накопленной информации, и
• поисковик — графический интерфейс для работы пользователя^[⇨].

Поисковые системы могут быть :

• универсальные
• специализированные

Наиболее популярные системы объединяют в себе оба типа.

Универсальные системы

В универсальных системах обычный принцип поиска в неструктурированных документах - по заданной строке поиска.

Большинство поисковым систем предоставляют пользователям также услуги интернет-почты, возможность создания веб-страниц, новости, курс валют и т.д.

Специализированные системы поиска

Поиск на картах
Возможности:

• поиск адресов на карте
• карты в форматах 2D и 3D
• виртуальные туры (с фотографиями и панорамами)

Каталог

- данные, структурированные по темам в виде иерархических структур

Онлайновые энциклопедии и  справочники

- электронные версии бумажных словарей, энциклопедий

Получение информации по QR-коду

нередко на различных объектах (товарах, у памятников, на книгах, на веб-страницах) можно увидеть такую пометку (квадрат или прямоугольник или овал с черно-белыми точками внутри).  Это так называемый QR-код, придуманный в 1994 году японской компанией “Denso Wave”.

Поисковые указатели (Поисковые роботы, поисковые машины): (spiders, crawlers) постоянно исследуют Сеть с целью пополнения своих баз данных документов. Обычно это не требует никаких усилий со стороны человека. Для поисковых систем довольно важна конструкция каждого документа. 

Поисковая машина производит поиск информации по ключевым словам, указанным при регистрации сайта, по заголовку и ключевым словам, указанным в тексте HTML, и по тексту страниц. 

Пользователь для поиска ресурсов указывает ключевые слова, используя определенные правила (язык запросов). Эти правила – являются общими для всех поисковых систем, но бывают отличия, поэтому нужно ознакомиться с ними. Поисковая система образует из ключевых слов логические выражения и организует поиск в своей базе данных.

Алгоритмы сбора данных и алгоритмы поиска ресурса у разных поисковых систем различны. Поэтому результаты поиска по одним и тем же ключевым словам в разных системах – различны. 

Посмотрите, каковы результаты сравнения  поисковых систем Рунета в 2014-2015гг

А вот как выглядит та же статистика в  2019 году ( данные Яндекс-радар)
или статистика в 2019 (данные DrMax)
В настоящее время популярны метапоисковые системы, основанные на семантическом анализе. Как работает  поиск в Google?.

Практическая работа. Сравнение поисковых систем

Урок 8-9. Безопасный интернет. Сравнение поисковых систем

Дата проведения занятия 22.10.18

Часть1. Безопасный Интернет

В соответствии с решением парламентского слушания Совета Федерации от 12 марта 2014 года, по инициативе В.И.Матвиенко, во всех школах Российской Федерации  с  2014 года  проводится Единый урок  безопасности в сети Интернет. Давайте посмотрим, правильно ли вы ведете себя на просторах Интернет!  КОНТРОЛЬНАЯ РАБОТА ДЛЯ СТАРШЕЙ ГРУППЫ ШКОЛЬНИКОВ (17-19 ЛЕТ)

Посмотрите некоторые из этих фильмов.

Часть2. Сравнение поисковых систем

Посмотрите, каковы результаты сравнения  поисковых систем Рунета в 2014-2015гг

А вот как выглядит та же статистика в июне 2018 года
В этой статье вы найдете ответ на вопрос, почему у разных поисковых систем разная поисковая выдача.

Часть3. Решение задач

1. Вычисление количества запросов

Задачи, связанные с построением сложных запросов, удобно решать с помощью  Диаграмм Эйлера-Венна

В этой Презентации рассмотрены типовые задачи на построение запросов

2. Количество информации. Передача данных по сети

Для решения этих задач необходимо повторить единицы измерения количества информации и их соотношения.

Количество информации i в сообщении об одном из N равновероятных событий:

2i = N

Количество информации I в сообщении из k символов некоторого алфавита, в котором N различных знаков:

I = k*i, где i вычисляется из формулы 2i = N

Скорость передачи информации измеряется в битах в секунду и вычисляется по формуле:

V = I/t , где I  - количество информации,  t - время передачи информации  

Задача

1. Документ объёмом 80 Мбайт надо передать с одного компьютера на другой Сколько времени это займет, если: средняя скорость передачи данных по каналу связи составляет 220 бит в секунду. Решение t =  I  / V, где I = 80 Мбайт, V = 220 бит в секунду Данные надо привести к одинаковым единицам измерения, лучше сделать это в виде степеней с основанием 2: 2K Ответ: 640 сек 3. Сетевые технологии. Адресация в сети  Смотри урок 4-5 Сетевые протоколы и адресация компьютеров в Интернет 4. Решите задачи 1. Создайте копию документа и в документе к каждой задаче покажите решение. Ссылка на задачи

Урок 6-7. Поиск информации в сети. Поисковые системы

Дата проведения занятия 8.10.18

Поисковая система

Поисковая система - комплекс программных и аппаратных средств для автоматического просмотра ресурсов интернет, индексации их содержания и предоставления услуг по поиску информации интернет пользователям.

Поисковые системы могут отличаться по

• эффективности поиска
• языку поиска
• и другим возможностям.

Одни поисковые системы находят информацию в виде веб-страниц, другие могут рассматривать и группы новостей и файловые серверы.

По методам поиска и обслуживания разделяют четыре типа поисковых систем: 

• системы, использующие поисковых роботов, 
• системы, управляемые человеком, 
• гибридные системы, 
• мета-системы^[⇨]. 

 В архитектуру поисковой системы обычно входят:

• поисковый робот, собирающий информацию с сайтов сети Интернет или из других документов,
• индексатор, обеспечивающий быстрый поиск по накопленной информации, и
• поисковик — графический интерфейс для работы пользователя^[⇨].

Поисковые системы могут быть :

• универсальные
• специализированные

Наиболее популярные системы объединяют в себе оба типа.

Универсальные системы

В универсальных системах обычный принцип поиска в неструктурированных документах - по заданной строке поиска.

Большинство поисковым систем предоставляют пользователям также услуги интернет-почты, возможность создания веб-страниц, новости, курс валют и т.д.

Специализированные системы поиска

Поиск на картах
Возможности:

• поиск адресов на карте
• карты в форматах 2D и 3D
• виртуальные туры (с фотографиями и панорамами)

Каталог

- данные, структурированные по темам в виде иерархических структур

Онлайновые энциклопедии и  справочники

- электронные версии бумажных словарей, энциклопедий

Получение информации по QR-коду

нередко на различных объектах (товарах, у памятников, на книгах, на веб-страницах) можно увидеть такую пометку (квадрат или прямоугольник или овал с черно-белыми точками внутри).  Это так называемый QR-код, придуманный в 1994 году японской компанией “Denso Wave”.

Поисковые указатели (Поисковые роботы, поисковые машины): (spiders, crawlers) постоянно исследуют Сеть с целью пополнения своих баз данных документов. Обычно это не требует никаких усилий со стороны человека. Для поисковых систем довольно важна конструкция каждого документа. 

Поисковая машина производит поиск информации по ключевым словам, указанным при регистрации сайта, по заголовку и ключевым словам, указанным в тексте HTML, и по тексту страниц. 

Пользователь для поиска ресурсов указывает ключевые слова, используя определенные правила (язык запросов). Эти правила – являются общими для всех поисковых систем, но бывают отличия, поэтому нужно ознакомиться с ними. Поисковая система образует из ключевых слов логические выражения и организует поиск в своей базе данных.

Алгоритмы сбора данных и алгоритмы поиска ресурса у разных поисковых систем различны. Поэтому результаты поиска по одним и тем же ключевым словам в разных системах – различны. 

Посмотрите, каковы результаты сравнения  поисковых систем Рунета в 2014-2015гг

А вот как выглядит та же статистика в июне 2018 года
В настоящее время популярны метапоисковые системы, основанные на семантическом анализе. Как работает  поиск в Google?.

Практическая работа. Сравнение поисковых систем

Урок 9-10. Поиск информации в сети. Поисковые системы

Поисковая система

Поисковая система - комплекс программных и аппаратных средств для автоматического просмотра ресурсов интернет, индексации их содержания и предоставления услуг по поиску информации интернет пользователям.

Поисковые системы могут отличаться по

• эффективности поиска
• языку поиска
• и другим возможностям.

Одни поисковые системы находят информацию в виде веб-страниц, другие могут рассматривать и группы новостей и файловые серверы.

По методам поиска и обслуживания разделяют четыре типа поисковых систем: 

• системы, использующие поисковых роботов, 
• системы, управляемые человеком, 
• гибридные системы, 
• мета-системы^[⇨]. 

 В архитектуру поисковой системы обычно входят:

• поисковый робот, собирающий информацию с сайтов сети Интернет или из других документов,
• индексатор, обеспечивающий быстрый поиск по накопленной информации, и
• поисковик — графический интерфейс для работы пользователя^[⇨].

Поисковые системы могут быть :

• универсальные
• специализированные

Наиболее популярные системы объединяют в себе оба типа.

Универсальные системы

В универсальных системах обычный принцип поиска в неструктурированных документах - по заданной строке поиска.

Большинство поисковым систем предоставляют пользователям также услуги интернет-почты, возможность создания веб-страниц, новости, курс валют и т.д.

Специализированные системы поиска

Поиск на картах
Возможности:

• поиск адресов на карте
• карты в форматах 2D и 3D
• виртуальные туры (с фотографиями и панорамами)

Каталог

- данные, структурированные по темам в виде иерархических структур

Онлайновые энциклопедии и  справочники

- электронные версии бумажных словарей, энциклопедий

Получение информации по QR-коду

нередко на различных объектах (товарах, у памятников, на книгах, на веб-страницах) можно увидеть такую пометку (квадрат или прямоугольник или овал с черно-белыми точками внутри).  Это так называемый QR-код, придуманный в 1994 году японской компанией “Denso Wave”.

Поисковые указатели (Поисковые машины): (spiders, crawlers) постоянно исследуют Сеть с целью пополнения своих баз данных документов. Обычно это не требует никаких усилий со стороны человека. Для поисковых систем довольно важна конструкция каждого документа. 

Поисковая машина производит поиск информации по ключевым словам, указанным при регистрации сайта, по заголовку и ключевым словам, указанным в тексте HTML, и по тексту страниц. 

Пользователь для поиска ресурсов указывает ключевые слова, используя определенные правила (язык запросов). Эти правила – являются общими для всех поисковых систем, но бывают отличия, поэтому нужно ознакомиться с ними. Поисковая система образует из ключевых слов логические выражения и организует поиск в своей базе данных.

Алгоритмы сбора данных и алгоритмы поиска ресурса у разных поисковых систем различны. Поэтому результаты поиска по одним и тем же ключевым словам в разных системах – различны. 

Посмотрите, каковы результаты сравнения  поисковых систем Рунета в 2014-2015гг

В настоящее время популярны метапоисковые системы, основанные на семантическом анализе. Как работает  поиск в Google?.

Практическая работа. Сравнение поисковых систем