Пошук

Мережу читають переважно не люди, а програми. Програму, яка відкриває сторінку, зберігає її копію і переходить за кожним посиланням далі, називають павуком, або краулером. На кожну нову адресу вирушає ще один павук, тож за кілька кроків один павук стає сотнею.

Павук читає все, що сторінка показує без входу: текст, імена, телефони, дати, посилання. Павуків запускають пошукові системи, вебархіви, сервіси моніторингу, компанії, що навчають моделі, і дослідники відкритих джерел. Тому все, що опубліковано відкрито, варто вважати прочитаним і збереженим: якщо сторінку чи допис видалити, копії можуть лишитися.

Власник сайту має три різні засоби. robots.txt просить павуків не заходити в розділ; це прохання, а не замок, і слухаються його лише ввічливі павуки. Позначка noindex каже пошуковій системі не показувати сторінку у видачі. Справді закриває сторінку тільки вхід за паролем.

Коли ти вводиш запит у Google, система не обходить інтернет у цю секунду. Вона шукає в індексі: заздалегідь зібраному переліку слів з посиланнями на сторінки, де ці слова трапляються, як покажчик у кінці книжки. Індекс наповнює програма-павук: вона ходить за посиланнями від сторінки до сторінки і зберігає копії.

Звідси головне правило пошуку: знайти можна лише те, що потрапило в індекс. Сторінки за паролем, результати пошуку в реєстрах за формою, сторінки з позначкою noindex і нові сторінки, до яких павук ще не дійшов, в індекс не потрапляють. Заборона в robots.txt інша: вона не пускає павука читати сторінку, але адреса може зʼявитися у видачі без тексту, якщо на неї посилаються. Скани без текстового шару Google розпізнає сам, але розпізнаний текст має помилки, тож точна фраза може не знайтися. «Нічого не знайдено» означає «немає в цьому індексі за цим запитом», а не «не існує».

Знайдені сторінки система впорядковує за багатьма ознаками: де стоять слова, скільки інших сайтів посилається на сторінку, наскільки вона свіжа. Перша десятка результатів це порядок, а не оцінка правдивості.

Бази судових рішень, реєстри і бібліотеки часто шукають за точними правилами. Булів пошук поєднує слова операторами: І (обидва слова в документі), АБО (хоча б одне), НЕ (виключити слово). Лапки шукають точну фразу. Такий пошук передбачуваний: однаковий запит у тій самій системі на ту саму дату дає той самий результат, і його можна записати й повторити. Коли в базу додають документи, результат змінюється, тому в записі потрібна дата.

Якість пошуку міряють двома числами. Точність: яка частка знайденого справді стосується задачі. Повнота: яку частку всього потрібного знайдено. Вузький запит підвищує точність і губить повноту, широкий навпаки. Для перевірки контрагента чи збору практики зазвичай важить повнота: пропущене рішення гірше за зайве.

Багато баз дають пошук по полю: суд, дата, категорія справи, номер. Поле відсікає шум точніше, ніж слово в тексті.

У законі і в рішеннях те саме явище називають по-різному: «розірвання», «відмова від договору», «припинення»; «оренда» і «найм». Пошук за точними словами пропускає синоніми, тому для повноти запит розширюють вручну, через АБО.

Семантичний пошук робить це інакше: модель перетворює текст запиту і документів на набори чисел, що описують зміст, і шукає документи з близьким змістом, навіть без спільних слів. Він знаходить більше потрібного, але й більше схожого непотрібного: трудовий договір теж «припиняється». Результат не можна точно відтворити правилом, тому для висновку знайдене все одно перевіряють і відбирають руками.

Спробуй у вправі вище перемкнути «Семантичний режим» і подивись, як змінюються точність і повнота.

Асистент з увімкненим пошуком сам формулює кілька запитів, викликає пошукову систему, відкриває кілька сторінок і пише відповідь з того, що встиг прочитати, з посиланнями. Це зручно для першого огляду теми. Але відповідь спирається на кілька знайдених фрагментів, а не на всю базу, і може звучати повною, навіть коли ключового рішення в тих фрагментах немає.

Частина мережі для ботів закрита навмисно. Сайти обмежують автоматичний доступ правилами для роботів, лімітами запитів, перевірками «я не робот», умовами використання, платою за доступ. Причини: навантаження на сервери, захист власного контенту і персональних даних. Людина в браузері і бот бачать різне.

Для машин існують свої двері. API видає дані структуровано, за ключем і з лімітами: наприклад, запис з реєстру як набір полів. Відкриті дані можна завантажити цілим набором. Тому робочий підхід поєднує інструменти: модель для плану і чернетки, пошукову систему для пошуку сторінок, реєстр або його API для фактів, а першоджерело правник відкриває і читає сам.

Дані різняться тим, хто їх публікує і на яких умовах до них є доступ. Відкрита мережа: звичайні сторінки, які індексують пошукові системи. Відкриті дані: набори, які держава чи організація публікує для повторного використання, наприклад на порталі data.gov.ua, у форматах CSV чи JSON, іноді з API. Публічні реєстри: записи відкриті, але шукати їх треба через форму або API самого реєстру, бо пошукова система результатів не бачить.

Платні бази: комерційні правові бази й агрегатори реєстрів, з обробленими даними і зручним пошуком, за підпискою. Закриті дані: персональні дані, банківські відомості, внутрішні документи; доступ лише на законній підставі. Окремо стоять відомості, які є в органу влади, але не опубліковані: їх можна отримати запитом на публічну інформацію, на який розпорядник має відповісти у строк, встановлений законом.

Ще один поділ стосується форми. Структуровані дані мають поля: код, дата, сума, їх легко фільтрувати і порівнювати. Неструктуровані це текст рішень, листів, договорів: їх шукають за словами чи змістом, а поля доводиться діставати окремо.

Для кожної потреби обери найкращий маршрут. Часто правильних маршрутів два: спершу швидкий, потім точний.