-
[Себастьян Тран] Как ты думаешь, как написать поисковую машину
-
ты ведь создал уже одну раньше, так ведь?
-
[Сергей Брин, сооснователь Google] Да, я думаю, что самая важная вещь,
-
если ты собираешся создать поисковую машину,
-
это иметь хорошую базу с которой начнёшь
-
В нашем случае мы использовали всемирную паутину, которая в то время была, конечно, меньше, чем сегодня
-
Но она была также новой и захватывающей
-
Были всякие неожиданные вещи.
-
[David Evans] Итак, цель наших трех первых разделов курса в создании этой базы
-
И мы собираемся создать базу для нашего поисковой машины
-
сканируя сеть, это то, что делает сетевой "паук".
-
Сетевой паук - это программа, которая собирает содержание сети.
-
Если представить веб-страницу которую ты видишь в браузере, у тебя есть страница наподобие этой.
-
Рассмотрим сайт udacity как пример веб-страницы
-
На ней много информации, в виде картинок, в виде текта
-
Все это получает твой браузер, когда запрашивает страницу
-
Важная вещь это ссылки
-
Ссылка это что-то, что ссылается на другую страницу
-
Так у нас есть ссылка на часто задаваемые вопросы
-
есть ссылка на страницу CS101
-
И ещё несколько остальных ссылок
-
И эта ссылка может быть показана в браузере с подчёркиванием
-
или нет, в зависимости от настроек браузера
-
Но важная вещь это то,
-
что они указывают на какие-то другие страницы
-
И эти страницы могут тоже содеражить ссылки
-
так у нас есть другая ссылка на эту страницу
-
Может быть с моим именем, ты можешь попасть на мою домашную страницу
-
И все страницы, которые мы можем найти нашим пауком
-
находятся по переходу по ссылкам.
-
Так, что нам не нужно искать каждую страницу в сети
-
Если мы начнем с хорошей начальной страницы
-
мы найдем множество страниц.
-
И всё что паук будет делать, это начинать с одной страницы,
-
находить на ней все ссылки и переходить по ним, находя другие страницы
-
и затем на других страницах он перейдет по следующим ссылкам
-
обнаруживая другие страницы и на этих страницах будет ещё больше ссылок
-
И в конце концов у нас будет коллекция множества страниц в сети.
-
Вот что мы хотим делать, создавая веб паука.
-
Мы собираемся каким-либо образом начать с первоначальной страницы
-
выделить ссылки на ней,
-
перейти по этим ссылкам на другие страницы,
-
затем собрать ссылки с этих других страниц,
-
переходя по ним, собирая всё содеражние
-
Похоже чтобы реализовать это, нужно много работы
-
Мы не собираемся делать это всё в первом разделе
-
Всё что мы собираемся сделать в первом разделе, просто выделить ссылку.
-
Итак, мы начнем с отрывка текста.
-
Он будет иметь ссылки с URL.
-
Всё что мы хотим найти это этот URL,
-
так чтобы мы могли запросить следующую страницу.
-
Цель второго раздела
-
возможность продолжить дальше,
-
если на странице много ссылок, ты захочешь найти их все.
-
Это то, чем мы займемся во втором разделе,
-
выяснить, как продолжить, чтобы выделить все эти ссылки
-
В третьем разделе, мы хотим выйти за рамки только одной страницы.
-
Так что к концу раздела 2 мы сможем вывести все ссылки с одной страницы
-
Для третьего раздела нам нужно собрать всё эти ссылки, так что мы можем продолжить,
-
чтобы в конечном итоге, наш паук собрал много страниц.
-
Так что к концу третьего раздела мы доделаем веб паука.
-
У нас будет возможность сделать базу.
-
Тогда в оставшихся трёх разделах взглянем на то, как отвечать на запросы.
-
Таким образом в четвертом разделе подумаем над тем как получить хороший отклик.
-
Если ты ищешь какое-либо слово, ты хочешь получить в ответ список страниц,
-
где встречается это слово.
-
И в 5 разделе мы найдём способ сделать это, если у нас очень большая база.
-
Затем в шестом разделе, что мы хотим сделать, это не просто найти список страниц,
-
мы хотим найти наиболее подходящую.
-
Мы подумаем над тем, как расставить страницы, где это слово встречается.
-
Но мы сейчас немного забежали вперед,
-
потому что всё что мы собираемся сделать в первом разделе,
-
это выяснить как извлечь ссылку со страницы.
-
И поисковая машина, которую мы создадим в конце
-
будет вполне действующей поисковой машиной.
-
Она будет содержать такие же главные компоненты, как и у поисковой машину Google.
-
Она определенно не будет такой же мощной, как Google,
-
мы не хотим всё сильно усложнять.
-
Нам нужно будет написать не так много кода.
-
Мы хотим напомнить, что наша настоящая цель
-
не сколько написать поисковую машину,
-
а сколько воспользоваться необходимостью
-
написания поисковой машины для того,
-
чтобы изучить информатику и программирование
-
так, что вещи, которые мы изучим, делая поисковую машину
-
позволят нам в дальнейшем решить много других проблем.
