Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Пошуковий робот також англ web crawler англ web spider програма що є складовою частиною пошукової системи та призначена

Пошуковий робот

Пошуковий робот

Пошуковий робот (також англ. web crawler, англ. web spider) — програма, що є складовою частиною пошукової системи та призначена для перегляду сторінок інтернету з метою введення інформації про них (ключових слів) до бази даних.

Пошукові роботи здійснюють загальний пошук інформації в Інтернеті. Вони повідомляють про зміст знайденого документа, індексують його і добувають підсумкову інформацію. Вони також переглядають заголовки, деякі посилання і відправляють проіндексовану інформацію до бази даних пошукового механізму.

Було запропоновано статтю Краулінг до цієї статті або розділу, але, можливо, це варто додатково . Пропозиція з грудня 2017.

Як закрити сайт від індексації

  1. За допомогою файла robots.txt
  2. За допомогою (мета-тегу)

Посилання

  • A History of Search Engines (англ.)
  • Najork, Marc; Heydon, Allan. High-Performance Web Crawling (PDF). Процитовано 22 травня 2024.
  • Barone, Adileo (17 липня 2023). adileo/MicroFrontier.


image Це незавершена стаття про Інтернет.
Ви можете проєкту, виправивши або дописавши її.
Ця стаття потребує додаткових для поліпшення її . Будь ласка, допоможіть удосконалити цю статтю, додавши посилання на . Зверніться на за поясненнями та допоможіть виправити недоліки.
Матеріал без джерел може бути та вилучено. (жовтень 2015)

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Poshukovij robot takozh angl web crawler angl web spider programa sho ye skladovoyu chastinoyu poshukovoyi sistemi ta priznachena dlya pereglyadu storinok internetu z metoyu vvedennya informaciyi pro nih klyuchovih sliv do bazi danih Poshukovi roboti zdijsnyuyut zagalnij poshuk informaciyi v Interneti Voni povidomlyayut pro zmist znajdenogo dokumenta indeksuyut jogo i dobuvayut pidsumkovu informaciyu Voni takozh pereglyadayut zagolovki deyaki posilannya i vidpravlyayut proindeksovanu informaciyu do bazi danih poshukovogo mehanizmu Bulo zaproponovano priyednati stattyu Krauling do ciyeyi statti abo rozdilu ale mozhlivo ce varto dodatkovo obgovoriti Propoziciya z grudnya 2017 Yak zakriti sajt vid indeksaciyiZa dopomogoyu fajla robots txt Za dopomogoyu meta teguPosilannyaA History of Search Engines angl Najork Marc Heydon Allan High Performance Web Crawling PDF Procitovano 22 travnya 2024 Barone Adileo 17 lipnya 2023 adileo MicroFrontier Ce nezavershena stattya pro Internet Vi mozhete dopomogti proyektu vipravivshi abo dopisavshi yiyi Cya stattya potrebuye dodatkovih posilan na dzherela dlya polipshennya yiyi perevirnosti Bud laska dopomozhit udoskonaliti cyu stattyu dodavshi posilannya na nadijni avtoritetni dzherela Zvernitsya na storinku obgovorennya za poyasnennyami ta dopomozhit vipraviti nedoliki Material bez dzherel mozhe buti piddano sumnivu ta vilucheno zhovten 2015

Дата публікації:
Топ