-
[Sebastian Thrun] Wat is jouw insteek over het bouwen van een zoekmachine,
-
je hebt er al eerder een gemaakt, of niet?
-
[Sergey Brin - Mede-oprichter, Google] Ja. Ik denk dat het belangrijkste is
-
als je een zoekmachine gaat bouwen
-
om een heel goede 'corpus' te hebben.
-
In ons geval gebruikten we het internet, wat toen zeker kleiner was dan het nu is.
-
Maar het was ook erg nieuw en spannend.
-
Er waren allerlei onverwachte dingen.
-
[David Evans] Het doel voor de eerste drie units van dit vak is om dat corpus te bouwen.
-
En we willen het corpus bouwen voor onze zoekmachine
-
door het web te 'crawlen', en dat is wat een web crawler doet.
-
Een web crawler is een programma dat inhoud van het internet verzamelt.
-
Denk aan een pagina die je in je browser ziet, een pagina als deze.
-
We gebruiken Udacity als een voorbeeldpagina.
-
Het heeft veel inhoud, een paar plaatjes, het heeft wat tekst.
-
Dit alles komt in je browser als je de pagina opvraagt.
-
Wat belangrijk is, is dat het links heeft.
-
Een link is iets dat naar een andere pagina leidt.
-
Zo hebben we een link naar de veelgestelde vragen,
-
we hebben een link naar de CS 101 pagina.
-
Er staan nog wat links op de pagina.
-
Deze link kan je misschien zien in je browser met een underscore,
-
maar misschien ook niet, afhankelijk van je browserinstellingen.
-
Maar het belangrijkste wat het doet,
-
is dat het naar een andere webpagina leidt.
-
En die andere webpagina's kunnen ook links hebben
-
dus hebben we nog een link op deze pagina.
-
Misschien is het mijn naam, die je kan volgen naar mijn homepage.
-
En alle pagina's die we vinden met onze web crawler
-
worden gevonden door de links te volgen.
-
Dus het is niet zeker dat het alle pagina's op het internet vindt.
-
Maar als we met een goede 'seed page' beginnen
-
zullen er wel veel vinden.
-
En wat de crawler gaat doen is beginnen met één pagina,
-
alle links op die pagina zoeken, deze volgen om andere pagina's te vinden
-
en dan op die andere pagina's zal het de links op die pagina's volgen
-
om weer andere pagina's te zoeken en op die pagina's zullen nog weer veel meer links staan.
-
En uiteindelijk zullen we een verzameling van vele webpagina's hebben.
-
Dsu dat is wat we willen doen om een web crawler te bouwen.
-
We willen een manier vinden om te beginnen vanuit één seed pagina
-
de links uit die pagina halen
-
die links volgen naar andere pagina's,
-
the links verzamelen op die andere pagina's,
-
ze volgen, en dat allemaal verzamelen.
-
Dus dat klinkt als een hoop werk.
-
Dat gaan we niet allemaal doen tijdens deze eerste les.
-
Wat we in deze eerste unit gaan doen, is alleen een link ophalen.
-
Dus we gaan beginnen met wat tekst.
-
Er komt een link in met een URL.
-
Wat we willen vinden is die URL,
-
zodat we de volgende pagina kunnen opvragen.
-
Het doel voor de tweede unit
-
is ervoor te zorgen dat we door kunnen blijven gaan.
-
als er veel links op één pagina staan, dan wil je ze allemaal kunnen vinden.
-
Dus dat is wat we gaan doen in unit 2,
-
erachter komen hoe we door kunnen blijven gaan om alle links op te halen.
-
In unit drie willen we verder gaan dan slechts één pagina.
-
Dus aan het eind van unit twee kunnen we alle links van één pagina uitprinten.
-
Voor unit drie willen we al die links verzamelen, zodat we door kunnen blijven gaan,
-
en onze crawler kunnen volgen om heel erg veel pagina's te verzamelen.
-
Dus aan het einde van unit drie zullen we een web crawler hebben gebouwd.
-
We zullen een manier hebben om onze corpus te bouwen.
-
Daarna zullen we in de overige drie units kijken naar hoe we daadwerkelijk moeten reageren op zoekopdrachten.
-
In unit vier zullen we erachter komen hoe we een goede reactie kunnen geven.
-
Want als je op een woord zoekt, wil je een reactie krijgen die een lijst is van alle pagina's,
-
waar dat woord voorkomt.
-
En in unit vijf zullen we erachter komen hoe we die lijst kunnen beperken, als we een grote corpus hebben.
-
En dan in unit zes, wat we dan willen doen is, nou ja, we willen niet alleen een lijst vinden,
-
we willen de beste vinden.
-
Dus zullen we er achter komen hoe we alle gevonden pagina's een ranking kunnen geven.
-
Maar we lopen nu een beetje vooruit op onszelf,
-
omdat het enige wat we in unit één gaan doen,
-
er achter komen is hoe we een link van de pagina kunnen ophalen.
-
En de zoekmachine die we gebouwd zullen hebben aan het einde
-
zal een werkende zoekmachine zijn.
-
Het zal de hoofdbestanddelen hebben die een zoekmachine als Google heeft.
-
Het zal zeker niet zo krachtig zijn als Google is,
-
we willen het simple houden.
-
We willen een kleine hoeveelheid code moeten schrijven.
-
En we moeten onthouden dat ons echte doel
-
niet zozeer is om een zoekmachine te bouwen,
-
als wel om het doel van het bouwen van een zoekmachine als een middel te gebruiken
-
om over computer wetenschappen te leren
-
en om te leren over programmeren
-
dus wat we leren door dit te doen
-
zal ons in staat stellen om heel veel andere problemen op te lossen.
