Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Глибинна мережа з англ deep web невидима мережа invisible web чи прихована мережа hidden web це частка всесвітньої мереж

Глибинна мережа

Глибинна мережа

Глибинна мережа (з англ. deep web), невидима мережа (invisible web) чи прихована мережа (hidden web) – це частка всесвітньої мережі інтернет, вміст якої за жодних обставин не індексують стандартні пошукові онлайн-системи. Глибинна мережа є протилежним явищем до поверхневої мережі.

Серед поширених застосувань глибинної мережі є такі, як онлайн-листування, інтернет-банкінг, а також платні послуги на кшталт відео на вимогу, доступ до яких здійснюється через так звану платну стіну (paywall), та багато іншого.

Інформатик Майк Бергман започаткував цей термін у 2000 році як термін пошукового індексування.

Термінологія

Перше змішування термінів «глибинна мережа» та «темна мережа» відбулось близько 2009 року, коли термінологію глибинного мережевого пошуку обговорювали разом із нелегальною діяльністю у Freenet даркнеті.

Відтоді багато людей та медіа-майданчиків почали вживати термін «глибинна мережа» як синонім до «темної мережі» чи даркнету, проте порівняння цих термінів є джерелом постійної плутанини. Репортери новинного ресурсу Wired Кім Зеттер та Енді Грінберг рекомендують чітко розрізняти ці терміни у вживанні.

Розмір

У 2000 році Майкл К. Бергман сказав, що пошук в інтернеті можна порівняти з закиданням сітки на поверхню океану: багато чого може в неї потрапити, проте існує безліч інформації на глибині, яка до цієї «сітки» не потрапить. Більшість інформації похована глибоко в нетрях вебсайтів і стандартні пошукові системи не знаходять її. Традиційні пошукові системи не можуть бачити чи витягувати вміст глибинної мережі. Та частка даних, що ними індексується, відома під назвою поверхнева мережа. Станом на 2001 рік об'єм глибинної мережі сягав розмірів, на кілька порядків більших за поверхневу мережу. Аналогія, до якої вдався Денис Шестаков, позначає відмінність між поверхневою та глибинною мережею:

Неможливо виміряти та грубо дати оцінку об'ємові глибинної мережі, оскільки більшість інформації є прихованою чи замкненою в бази даних. Згідно перших оцінок, глибинна мережа є у 400-550 разів більшою за поверхневу. Однак, оскільки з часом постійно додають нову інформацію та вебсторінки, можна вважати, що глибинна мережа росте експоненційно зі швидкістю, яку не можливо оцінити.


Обчислення, базовані на екстраполяції з дослідження, проведеного в Університеті Каліфорнії (Берклі) у 2001 році, припускають, що об'єм усієї глибинної мережі сягає близько 7,5 петабайтів. Більш точні оцінки є для певної кількості ресурсів: дослідження He et al. у 2004 році зафіксували близько 300.000 вебсторінок глибинної мережі.

Різновиди вмісту

Методи запобігання індексування вебсторінок можна розбити на такі категорії:

  1. Контекстна мережа: сторінки із вмістом, що змінюється в залежності від різних контекстів доступу (наприклад, діапазони клієнтських IP-адрес або послідовність попередньої навігації).
  2. Динамічний контент: динамічні вебсторінки, які створюються як результат надісланого запиту, чи доступні виключно через форму, особливо якщо для цього застосовують необмежені елементи вводу на кшталт текстових полів; такими полями важко керуватись без відповідних галузевих знань.
  3. Вміст з обмеженим доступом: сайти, що обмежують доступ до своїх сторінок технічними засобами (наприклад, використовуючи інструмент CAPTCHA чи директиви незбереження, які забороняють пошуковим системам перегляд або створення кешованих копій).
  4. Не-HTML/текстовий вміст: текстовий вміст, зашитий у мультимедіа (зображення чи відео) файли або специфічні файлові формати, не опрацьовується пошуковими системами.
  5. Приватна мережа: вебсторінки, що для доступу вимагають реєстрацію та вхід у систему (ресурси, захищені паролем).
  6. Скриптований контент: вебсторінки, які є доступними лише за посиланнями, згенерованими на Javascript, а також вміст, що динамічно звантажується з вебсерверів через засоби Flash або AJAX.
  7. Програмне забезпечення: певний вміст є навмисне прихованим від звичайного інтернету, доступний лише через таке спеціальне програмне забезпечення, як Tor, I2P та інші програми даркнету. Наприклад, Tor дозволяє користувачам анонімно доступатись до вебсторінок через адресний суфікс .onion, приховуючи їхні IP-адреси.
  8. Незв'язаний вміст: вебсторінки, які не є зв'язаними між собою, що може перешкодити пошуковим роботам доступ до їх вмісту. Такий вміст також називають сторінками без . Пошукові системи не завжди фіксують усі зворотні посилання на цільових вебсторінках.
  9. Мережеві архіви: Такі сервіси мережевого архівування, як Wayback Machine, дають можливість користувачам переглядати архівовані версії вебсторінок за минулий час, в тому числі і таких, які стали недоступними, і, відповідно, не індексуються пошуковими системами на кшталт Google.

Методики індексування

Попри те, що натрапити на вміст певних вебсерверів для його індексування не завжди можливо, сама вебсторінка може потенційно бути доступною напряму внаслідок уразливості комп'ютера.

Для того, щоб відкривати вміст у мережі, пошукові системи використовують пошукових плазунів, які відвідують вебпосилання крізь відомі віртуальні порти протоколу. Ця техніка є досконалою для відкриття вмісту у поверхневій мережі, проте часто є недієвою у знаходженні вмісту мережі глибинної. Наприклад, ці плазуни не намагаються знайти динамічні вебсторінки, які є результатом запитів до бази даних, оскільки кількість можливих запитів є невизначеною. Зауважили, що цю перешкоду можна частково обійти шляхом надання посилань до результатів запитів, проте наслідком може бути ненавмисне роздування популярності для члена глибинної мережі.

Див. також

Посилання

  1. Hamilton, Nigel. The Mechanics of a Deep Net Metasearch Engine. (CiteSeerX): 10.1.1.90.5847.
  2. Devine, Jane; Egger-Sider, Francine (July 2004). Beyond google: the invisible web in the academic library. The Journal of Academic Librarianship. 30 (4): 265—269. doi:10.1016/j.acalib.2004.04.010. Процитовано 6 лютого 2014.
  3. Raghavan, Sriram; Garcia-Molina, Hector (11–14 September 2001). . 27th International Conference on Very Large Data Bases. Rome, Italy. Архів оригіналу за 17 серпня 2019. Процитовано 30 червня 2016.
  4. Beckett, Andy (26 листопада 2009). The dark side of the internet. Архів оригіналу за 1 червня 2014. Процитовано 9 серпня 2015.
  5. Solomon, Jane (6 травня 2015). . Архів оригіналу за 14 серпня 2017. Процитовано 26 травня 2015.
  6. NPR Staff (25 травня 2014). . Архів оригіналу за 27 травня 2015. Процитовано 29 травня 2015.
  7. Greenberg, Andy (19 листопада 2014). . Архів оригіналу за 7 червня 2015. Процитовано 6 червня 2015.
  8. Bergman, Michael K (July 2000). (PDF). BrightPlanet LLC. Архів оригіналу (PDF) за 2 листопада 2013. Процитовано 30 червня 2016.
  9. Bergman, Michael K (August 2001). . The Journal of Electronic Publishing. 7 (1). doi:10.3998/3336451.0007.104. Архів оригіналу за 28 грудня 2019. Процитовано 30 червня 2016.
  10. He, Bin; Patel, Mitesh; Zhang, Zhen; Chang, Kevin Chen-Chuan (May 2007). . Communications of the ACM. 50 (2): 94—101. doi:10.1145/1230819.1241670. Архів оригіналу за 29 травня 2020. Процитовано 30 червня 2016.
  11. . Internet Engineering Task Force. 2014. Архів оригіналу за 13 травня 2017. Процитовано 30 липня 2014.
  12. Wiener-Bronner, Danielle (10 червня 2015). . Fusion. Архів оригіналу за 30 червня 2015. Процитовано 27 червня 2015. There are other simpler versions of Memex already available. “If you’ve ever used the Internet Archive‘s Wayback Machine,” which gives you past versions of a website not accessible through Google, then you’ve technically searched the Deep Web, said .
  13. Wright, Alex (22 лютого 2009). . The New York Times. Архів оригіналу за 20 травня 2017. Процитовано 23 лютого 2009.

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Glibinna merezha z angl deep web nevidima merezha invisible web chi prihovana merezha hidden web ce chastka vsesvitnoyi merezhi internet vmist yakoyi za zhodnih obstavin ne indeksuyut standartni poshukovi onlajn sistemi Glibinna merezha ye protilezhnim yavishem do poverhnevoyi merezhi Sered poshirenih zastosuvan glibinnoyi merezhi ye taki yak onlajn listuvannya internet banking a takozh platni poslugi na kshtalt video na vimogu dostup do yakih zdijsnyuyetsya cherez tak zvanu platnu stinu paywall ta bagato inshogo Informatik Majk Bergman zapochatkuvav cej termin u 2000 roci yak termin poshukovogo indeksuvannya TerminologiyaPershe zmishuvannya terminiv glibinna merezha ta temna merezha vidbulos blizko 2009 roku koli terminologiyu glibinnogo merezhevogo poshuku obgovoryuvali razom iz nelegalnoyu diyalnistyu u Freenet darkneti Vidtodi bagato lyudej ta media majdanchikiv pochali vzhivati termin glibinna merezha yak sinonim do temnoyi merezhi chi darknetu prote porivnyannya cih terminiv ye dzherelom postijnoyi plutanini Reporteri novinnogo resursu Wired Kim Zetter ta Endi Grinberg rekomenduyut chitko rozriznyati ci termini u vzhivanni RozmirU 2000 roci Majkl K Bergman skazav sho poshuk v interneti mozhna porivnyati z zakidannyam sitki na poverhnyu okeanu bagato chogo mozhe v neyi potrapiti prote isnuye bezlich informaciyi na glibini yaka do ciyeyi sitki ne potrapit Bilshist informaciyi pohovana gliboko v netryah vebsajtiv i standartni poshukovi sistemi ne znahodyat yiyi Tradicijni poshukovi sistemi ne mozhut bachiti chi vityaguvati vmist glibinnoyi merezhi Ta chastka danih sho nimi indeksuyetsya vidoma pid nazvoyu poverhneva merezha Stanom na 2001 rik ob yem glibinnoyi merezhi syagav rozmiriv na kilka poryadkiv bilshih za poverhnevu merezhu Analogiya do yakoyi vdavsya Denis Shestakov poznachaye vidminnist mizh poverhnevoyu ta glibinnoyu merezheyu Nemozhlivo vimiryati ta grubo dati ocinku ob yemovi glibinnoyi merezhi oskilki bilshist informaciyi ye prihovanoyu chi zamknenoyu v bazi danih Zgidno pershih ocinok glibinna merezha ye u 400 550 raziv bilshoyu za poverhnevu Odnak oskilki z chasom postijno dodayut novu informaciyu ta vebstorinki mozhna vvazhati sho glibinna merezha roste eksponencijno zi shvidkistyu yaku ne mozhlivo ociniti Obchislennya bazovani na ekstrapolyaciyi z doslidzhennya provedenogo v Universiteti Kaliforniyi Berkli u 2001 roci pripuskayut sho ob yem usiyeyi glibinnoyi merezhi syagaye blizko 7 5 petabajtiv Bilsh tochni ocinki ye dlya pevnoyi kilkosti resursiv doslidzhennya He et al u 2004 roci zafiksuvali blizko 300 000 vebstorinok glibinnoyi merezhi Riznovidi vmistuMetodi zapobigannya indeksuvannya vebstorinok mozhna rozbiti na taki kategoriyi Kontekstna merezha storinki iz vmistom sho zminyuyetsya v zalezhnosti vid riznih kontekstiv dostupu napriklad diapazoni kliyentskih IP adres abo poslidovnist poperednoyi navigaciyi Dinamichnij kontent dinamichni vebstorinki yaki stvoryuyutsya yak rezultat nadislanogo zapitu chi dostupni viklyuchno cherez formu osoblivo yaksho dlya cogo zastosovuyut neobmezheni elementi vvodu na kshtalt tekstovih poliv takimi polyami vazhko keruvatis bez vidpovidnih galuzevih znan Vmist z obmezhenim dostupom sajti sho obmezhuyut dostup do svoyih storinok tehnichnimi zasobami napriklad vikoristovuyuchi instrument CAPTCHA chi direktivi nezberezhennya yaki zaboronyayut poshukovim sistemam pereglyad abo stvorennya keshovanih kopij Ne HTML tekstovij vmist tekstovij vmist zashitij u multimedia zobrazhennya chi video fajli abo specifichni fajlovi formati ne opracovuyetsya poshukovimi sistemami Privatna merezha vebstorinki sho dlya dostupu vimagayut reyestraciyu ta vhid u sistemu resursi zahisheni parolem Skriptovanij kontent vebstorinki yaki ye dostupnimi lishe za posilannyami zgenerovanimi na Javascript a takozh vmist sho dinamichno zvantazhuyetsya z vebserveriv cherez zasobi Flash abo AJAX Programne zabezpechennya pevnij vmist ye navmisne prihovanim vid zvichajnogo internetu dostupnij lishe cherez take specialne programne zabezpechennya yak Tor I2P ta inshi programi darknetu Napriklad Tor dozvolyaye koristuvacham anonimno dostupatis do vebstorinok cherez adresnij sufiks onion prihovuyuchi yihni IP adresi Nezv yazanij vmist vebstorinki yaki ne ye zv yazanimi mizh soboyu sho mozhe pereshkoditi poshukovim robotam dostup do yih vmistu Takij vmist takozh nazivayut storinkami bez Poshukovi sistemi ne zavzhdi fiksuyut usi zvorotni posilannya na cilovih vebstorinkah Merezhevi arhivi Taki servisi merezhevogo arhivuvannya yak Wayback Machine dayut mozhlivist koristuvacham pereglyadati arhivovani versiyi vebstorinok za minulij chas v tomu chisli i takih yaki stali nedostupnimi i vidpovidno ne indeksuyutsya poshukovimi sistemami na kshtalt Google Metodiki indeksuvannyaPopri te sho natrapiti na vmist pevnih vebserveriv dlya jogo indeksuvannya ne zavzhdi mozhlivo sama vebstorinka mozhe potencijno buti dostupnoyu napryamu vnaslidok urazlivosti komp yutera Dlya togo shob vidkrivati vmist u merezhi poshukovi sistemi vikoristovuyut poshukovih plazuniv yaki vidviduyut vebposilannya kriz vidomi virtualni porti protokolu Cya tehnika ye doskonaloyu dlya vidkrittya vmistu u poverhnevij merezhi prote chasto ye nediyevoyu u znahodzhenni vmistu merezhi glibinnoyi Napriklad ci plazuni ne namagayutsya znajti dinamichni vebstorinki yaki ye rezultatom zapitiv do bazi danih oskilki kilkist mozhlivih zapitiv ye neviznachenoyu Zauvazhili sho cyu pereshkodu mozhna chastkovo obijti shlyahom nadannya posilan do rezultativ zapitiv prote naslidkom mozhe buti nenavmisne rozduvannya populyarnosti dlya chlena glibinnoyi merezhi Div takozhDarknet Gopher protokolPosilannyaHamilton Nigel The Mechanics of a Deep Net Metasearch Engine CiteSeerX 10 1 1 90 5847 Devine Jane Egger Sider Francine July 2004 Beyond google the invisible web in the academic library The Journal of Academic Librarianship 30 4 265 269 doi 10 1016 j acalib 2004 04 010 Procitovano 6 lyutogo 2014 Raghavan Sriram Garcia Molina Hector 11 14 September 2001 27th International Conference on Very Large Data Bases Rome Italy Arhiv originalu za 17 serpnya 2019 Procitovano 30 chervnya 2016 Beckett Andy 26 listopada 2009 The dark side of the internet Arhiv originalu za 1 chervnya 2014 Procitovano 9 serpnya 2015 Solomon Jane 6 travnya 2015 Arhiv originalu za 14 serpnya 2017 Procitovano 26 travnya 2015 NPR Staff 25 travnya 2014 Arhiv originalu za 27 travnya 2015 Procitovano 29 travnya 2015 Greenberg Andy 19 listopada 2014 Arhiv originalu za 7 chervnya 2015 Procitovano 6 chervnya 2015 Bergman Michael K July 2000 PDF BrightPlanet LLC Arhiv originalu PDF za 2 listopada 2013 Procitovano 30 chervnya 2016 Bergman Michael K August 2001 The Journal of Electronic Publishing 7 1 doi 10 3998 3336451 0007 104 Arhiv originalu za 28 grudnya 2019 Procitovano 30 chervnya 2016 He Bin Patel Mitesh Zhang Zhen Chang Kevin Chen Chuan May 2007 Communications of the ACM 50 2 94 101 doi 10 1145 1230819 1241670 Arhiv originalu za 29 travnya 2020 Procitovano 30 chervnya 2016 Internet Engineering Task Force 2014 Arhiv originalu za 13 travnya 2017 Procitovano 30 lipnya 2014 Wiener Bronner Danielle 10 chervnya 2015 Fusion Arhiv originalu za 30 chervnya 2015 Procitovano 27 chervnya 2015 There are other simpler versions of Memex already available If you ve ever used the Internet Archive s Wayback Machine which gives you past versions of a website not accessible through Google then you ve technically searched the Deep Web said Wright Alex 22 lyutogo 2009 The New York Times Arhiv originalu za 20 travnya 2017 Procitovano 23 lyutogo 2009

Дата публікації:
Топ