Toolmap / фільми / Павуки читають мережу

Павуки читають мережу

Усе, що лежить у відкритій мережі, спершу читають програми, а вже потім люди. Фільм показує, як ці програми працюють, що вони зберігають і що насправді закриває від них сторінку.

Фільм · близько 3 хв зі звуком · практикум «Пошук»

Версія для телефона: на весь екран

Гортай далі

    Текстом

    Те саме, що у фільмах: кожен кадр і його текст. Текст можна скопіювати і дати своєму асистентові разом із власним питанням.

    Павуки читають мережу

    1. Щоб пошук міг щось знайти, хтось має спершу це прочитати. Відкриту мережу читають програми, які називають павуками, або краулерами. Павук відкриває сторінку так само, як браузер, і читає все, що там є: текст, телефони, адреси, посилання. Копію прочитаного він зберігає.

    2. Далі павук іде туди, куди ведуть посилання. Кожне посилання на сторінці означає нову адресу; адреси стають у чергу, і на кожну вирушає ще один павук. Ті знаходять нові посилання, і черга росте. Так, від посилання до посилання, і обходять мережу.

    3. Один павук запускає другого, ті двоє - ще двох. Після шести таких подвоєнь шістдесят чотири павуки читають дванадцять сторінок одночасно, слово за словом. Справжні системи тримають тисячі павуків, і працюють вони цілодобово. Тому мережу вдається перечитувати знову і знову, а не один раз.

    4. Проте до частини сторінок павуки не доходять, і це перша причина, чому пошук знаходить не все. Власник сайту може попросити павуків не заходити в розділ: для цього є файл robots.txt, і зважають на нього лише сумлінні павуки. Може додати позначку noindex, щоб сторінку не показували у видачі. А сторінку за паролем павук не прочитає взагалі.

    5. Усе, що павуки таки прочитали, треба зробити придатним для пошуку. Шукати запит у мільярдах копій було б надто довго, тому їх заздалегідь розбирають на слова і складають індекс. Він схожий на покажчик у кінці книжки: навпроти слова стоїть перелік сторінок, де воно трапляється. Індекс лишається знімком: сторінку він показує такою, якою павук бачив її востаннє.

    6. Коли ви вводите запит, жоден павук нікуди не вирушає: система шукає слова в готовому індексі. Це пояснює і швидкість пошуку, і його межу. Пошук, а разом із ним і асистент, який шукає за вас, бачить лише те, що павуки прочитали і що потрапило в індекс. Кабінет за паролем чи запис у реєстрі, який відкривається через форму, туди не потрапляють.

    7. У цього є і зворотний бік. Усе, що опубліковано відкрито, павуки прочитають, і копії опиняться в індексі пошукової системи, у вебархіві, у чиїйсь базі. Якщо допис потім видалити, копії можуть лишитися. Тож опубліковане без входу варто вважати прочитаним і збереженим.

    Далі