Azərbaycanca
Беларускі
Dansk
Deutsch
Española
Français
Indonesia
Italiana
日本語
Қазақ
Lietuvos
Nederlands
Português
Русский
සිංහල
แบบไทย
Türkçe
Українська
中國人
United State
Afrikaans
Вебскрейпінг (англ. scraping — «вишкрібання», вебзбирання або витягнення вебданих) — перетворення у структуровані дані інформації з вебсторінок, які призначені для перегляду людиною за допомогою браузера.
| Web scraping | |
 |
Як правило, виконується за допомогою комп'ютерних програм, що імітують поведінку людини в інтернеті, або з'єднуючись з вебсервером напряму по протоколу HTTP, або управляючи повноцінним веббраузером. Але буває і скрейпінг за допомогою копіювання даних людиною. Це форма копіювання, в якій конкретні дані збираються та копіюються з інтернету, як правило, в базу даних або електронну таблицю для подальшого пошуку чи аналізу.
Вебскрейпінг включає в себе завантаження та вилучення. Спочатку завантажується сторінка (що робить браузер, коли ви переглядаєте сторінку), після цього можна добувати потрібну інформацію. Зміст сторінки може бути проаналізовано, переформатовано, його дані скопійовані в електронну таблицю тощо. Вебскрапери, як правило, беруть щось із сторінки, щоб використати це для інших цілей деінде. Прикладом може бути пошук і копіювання імен та телефонних номерів або компаній та їх URL-адрес до списку (контактне сканування).
Вебсторінки побудовані за допомогою текстових мов розмітки (HTML та XHTML) і часто містять велику кількість корисних даних у текстовій формі. Однак більшість вебсторінок призначені для кінцевих користувачів, а не для зручності автоматичного використання. Через це були створені набори інструментів, які «збирають» вебвміст. Вебскрейпери — це прикладний програмний інтерфейс для вилучення даних з вебсайту.
Існують методи, які деякі вебсайти використовують для запобігання вебскрейпінгу. Наприклад, виявлення та заборона ботів від сканування (перегляду) своїх сторінок. У відповідь на це існують вебскрейпінгові системи, які спираються на використання методів аналізу об'єктної моделі документа, комп'ютерного бачення та обробку тексту природною мовою, щоб імітувати пошук людини, щоб дозволити збирати вміст вебсторінок для автономного синтаксичного аналізу.
Пов'язані терміни
Вебскрейпінг, вебкраулінг та індексація, вебавтоматизація
Вебскрейпінг тісно пов'язаний з краулінгом та індексацією (crawling та indexing). Індексація — упорядкування інформації з метою спрощення пошуку за нею. Індексація виконується за допомогою бота (павука, вебсканера) і є універсальною методикою, прийнятою більшістю пошукових систем.
На противагу цьому вебскрейпінг більше фокусується на перетворенні неструктурованих даних в мережі, як правило, в форматі HTML, в структуровані дані, які можуть зберігатися і аналізуватися в центральній, локальній базі даних або таблиці.
Вебскрейпінг також пов'язаний з вебавтоматизацією, що являє собою автоматизацію дій людини за допомогою комп'ютерного програмного забезпечення.
Сфери застосування вебскрейпінгу включають порівняння цін онлайн, створення бази контактних даних, моніторинг даних про погоду, виявлення змін вебсайту, дослідження, вебколажі і інтеграцію вебданих.
Машинозчитувані дані та API
Слід розрізняти вебсторінки у форматі HTML, що призначені для інтерпретації браузером та подальшого перегляду людиною, від даних у машинозчитуваних форматах та програмного інтерфейсу (Web API).
Поняття «скрейпінг» неможливо застосувати для машинозчитуваних даних, що також завантажуються по протоколу HTTP, бо вони вже знаходяться у тому форматі, що є кінцевим для процесу скрейпінгу.
Технології
Вебскрейпінг — це процес автоматичного збору інформації із всесвітньої павутини. Це поле з активними розробками, що мають спільну мету з семантичної веббачення, і є амбітною ініціативою, що як і раніше вимагає проривів в обробці тексту, семантичного розуміння, штучного інтелекту і людино-комп'ютерної взаємодії. Поточні рішення вебскрейпінгу варіюються від Ad-Hoc, вимагаючи людських зусиль, щоб повністю автоматизованих системи, які здатні перетворити цілі сайти в структуровану інформацію, з обмеженнями.
- Ручне копіювання та вставка: іноді навіть найкращі технології вебскрейпінгу не можуть замінити ручну оцінку людиною і копіювання-вставити, і іноді це може бути єдиним прийнятним рішенням, коли на вебсайтах свідомо встановлюються бар'єри (CAPTCHA) для перешкоджання автоматизованій обробці.
- Шаблони (регулярні вирази) — простий, але ефективний підхід для добування інформації з вебсторінок. Використовуються функції пошуку тексту за шаблонами (регулярними виразами), що підтримуються багатьма мовами програмування.
- HTTP-програмування: статичні і динамічні вебсторінки можуть бути вилучені шляхом розміщення HTTP-запити на віддаленому вебсервері за допомогою програмування сокетів.
- HTML-аналізатори: багато вебсайтів мають великі колекції сторінок генерується динамічно з базового структурованої джерела, як бази даних[]. Дані тієї ж категорії, як правило, кодується в подібних сторінок загальним сценарієм або шаблону. В інтелектуальному аналізі даних програма, яка виявляє такі шаблони в певному джерелі інформації, витягує її зміст і перетворює його в реляційної формі, називається оболонкою. Алгоритми генерації обгортки припустити, що вхідні сторінки в системі індукції обгортки відповідати загальному зразком, і що вони можуть бути легко ідентифіковані з точки зору загальної схеми URL. Більш того, деякі напівструктуровані мови запитів даних, такі як XQuery і HTQL, можуть бути використані для аналізу HTML сторінок і для вилучення і перетворення вмісту сторінки.
- DOM-аналіз: Вбудовуючись у повноцінний веббраузер, наприклад, Internet Explorer або Mozilla, програми можуть отримати динамічний вміст, згенерований клієнтськими сценаріями. Ці елементи управління браузера також аналізують вебсторінки в DOM-дереві, на основі яких програми можуть отримати частини сторінок.
- Вебскрейпінг ПЗ: Є багато інструментів програмного забезпечення, які можуть бути використані для настройки вебскрейпінг-рішень. Це програмне забезпечення може спробувати автоматично розпізнавати структуру даних сторінки або забезпечувати інтерфейс записи, що усуває необхідність вручну писати вебскрейпінговий код, або деякі скриптові функції, які можуть бути використані для вилучення і перетворення вмісту і інтерфейси баз даних, який може зберігати пошкоджені дані в локальних базах даних.
- Платформи вертикальної агрегації : Є кілька компаній, які розробили конкретні платформи для вертикальної збірки. Ці платформи створюють і контролюються численними «ботами» для конкретних вертикалей без «людини в циклі» (без безпосередньої участі людини), і без роботи, пов'язаної з конкретним цільовим сайтом. Підготовка включає в себе встановлення базу знань для всієї вертикалі, а потім платформа створює ботів автоматично. Надійність платформи вимірюється якістю інформації, яку він отримує (зазвичай кількість полів) і його масштабованості (як швидко він може масштабуватись до сотень або тисяч сайтів). Ця масштабованість в основному використовується для цільових сайтів з довгим хвостом, що загальні агрегатори знайти складно або вони є занадто трудомістким для збирання контенту.
- Розпізнавання семантичних анотацій: Сторінки після виконання скрейпінгу можуть охоплювати метадані або семантичні позначки і анотації, які можуть бути використані для пошуку конкретних помістивши даних. Якщо анотації, впроваджені в сторінках, а мікроформатів робить цей метод можна розглядати як спеціальний випадок DOM-розбору. В іншому випадку, анотації, організованих в семантичний шар, зберігаються і управляються окремо від вебсторінок, так що скребки можуть отримати схему даних і інструкції з цього шару перед скрейпінгом сторінок.
- Аналізатори вебсторінки з використанням комп'ютерного зору: є спроби використовувати машинне навчання і комп'ютерний зір, які намагаються визначити і отримати інформацію з вебсторінок за допомогою[]
Правові питання
Легальність вебскрейпінгу у світі різниться. Деякі вебсайти забороняють скрейпінг у правилах використання, але юридичні наслідки такої заборони не є чіткими.
У світі
Twitter проти скрейпінгу даних
1 липня 2023 року, Twitter повідомив, що тимчасово обмежує для користувачів кількість переглядів постів на добу. За словами Ілона Маска це було зроблено для того " щоб протистояти екстремальному рівню збору даних та маніпуляціям із системою, ми застосували такі тимчасові обмеження: перевірені акаунти обмежені в читанні 6000 повідомлень на день; неперевірені акаунти – 600 повідомлень на день; нові неперевірені акаунти – 300 повідомлень на день". Передувало таким діям те, що напередодні, 30 червня 2023 року стало відомо рішення Twitter вимагати від користувачів мати обліковий запис у соціальній платформі для перегляду твітів. Маск назвав це "тимчасовим надзвичайним заходом".
Згідно повідомлення CNBC, Ілон Маск запровадив ці тимчасові обмеження на використання Twitter “для боротьби з екстремальними рівнями вилучення даних і маніпуляцій на платформі”. Відповідно компанія X Corp., яка була заснована Маском 9 березня 2023 року на зміну компанії Twitter, Inc., почала судитися з чотирма неназваними особами за звинуваченнями їх в незаконному вилученні даних, пов’язаних з жителями Техасу (США), з Twitter. Позов, поданий 6 липня 2023 року до суду округу Даллас (штат Техас) вимагає відшкодування збитків на суму понад 1 мільйон доларів. У матеріалах справи йдеться про те, що відповідачі нібито уклали контракти з операторами центрів обробки даних в окрузі Даллас, штат Техас. Згідно з заявою, компанія не змогла встановити особи цих людей. Однак замість імен адвокати X Corp. надали список з чотирьох IP-адрес. В даному випадку, можливо був застосований саме скрейпінг даних – коли комп’ютерна програма витягує дані з веб-сайту або іншого онлайн-джерела. Ці дані потім можуть бути використані для різних цілей, таких як дослідження ринку, порівняння цін або навіть моніторинг соціальних мереж. Відповідно, X Corp. ставить за мету припинити вилучення даних, обмеживши кількість твітів, які користувачі можуть читати щодня.
У Європейському Союзі
30 квітня 2020 року Французький орган за захист даних (CNIL) опублікував нові правила щодо парсингу вебсторінок. Керуючі принципи CNIL чітко дають розуміння того, що загальнодоступні дані за попереднім переліком є особистими даними і не можуть бути змінені без провідних лиць, котрим ці дані належать.
Ryanair проти PR Aviation
15 січня 2015 року винесено вердиктЄвропейського Суду справедливості у справі «Ryanair проти PR Aviation». Згідно нього Ryanair має право блокувати або вимагати дотримання умов інтернет-сайтами для порівняння цін, які копіюють дані з вебсайту авіакомпанії без її дозволу.
PR Aviation — оператор вебсайту, що дозволяє користувачам шукати дані польотів low-cost-авіакомпаній. Він отримує необхідні дані за допомогою автоматизованих засобів, в тому числі з вебсайту Ryanair. Перегляд вебсайту Ryanair передбачає, що відвідувач сайту приймає умови використання шляхом проставлення галочки. Відповідно до цих умов, інформація, що міститься на сайті, може бути використана тільки в приватних та некомерційних цілях, а використання автоматизованих систем або програмного забезпечення для отримання даних з сайту в комерційних цілях є забороненим, якщо таке не передбачено письмовою ліцензійною угодою з Ryanair. Ryanair заявив, що PR Aviation порушили закон про авторське право на унікальну базу даних, і що він діяв всупереч умовам використання вебсайту, які були прийняті компанією. Після того, як його позов був відхилений у судах першої та апеляційної інстанції Амстердама, Ryanair оскаржив рішення апеляційного суда Амстердама у Верховному суді Нідерландів. Верховний суд Нідерландів вирішив залишити апеляцію без задоволення.
Директиву 96/9/ЄС Європейського парламенту та Ради Європи від 11 березня 1996 року про правовий захист баз даних повинно бути витлумачено в тому сенсі, що його не можна застосовувати до бази даних, що не захищені відповідно до цієї Директиви або законом про авторське право, або права в своєму роді, в результаті чого стаття 6(1), 8 і 15 Директиви не забороняє творцю такої бази даних обмежувати договором — без шкоди для чинного національного законодавства — використання його третіми особами.
Посилання
- Roush, Wade (2012-07-25).
- Twitter закрив доступ до контенту неавторизованим користувачам. // Автор: Ігор Пилипів. 01.07.2023, 11:15
- Twitter обмежує кількість переглядів постів на добу. // Автор: Катерина Тищенко. 01.07.2023, 22:19
- Elon Musk’s Twitter sues four individuals for illegal data scrapping. // By Anurag. Jul 14, 2023
- Twitter подав до суду на чотирьох осіб за незаконне видалення даних. 14.07.2023
- . www.cnil.fr (Французькою) . 5 липня 2020. Архів оригіналу за 13 грудня 2020.
- . 5 липня 2020. Архів оригіналу за 28 січня 2021.
- . Архів оригіналу за 27 лютого 2017. Процитовано 20 травня 2017.
- . Архів оригіналу за 24 березня 2017. Процитовано 20 травня 2017.
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Vebskrejping angl scraping vishkribannya vebzbirannya abo vityagnennya vebdanih peretvorennya u strukturovani dani informaciyi z vebstorinok yaki priznacheni dlya pereglyadu lyudinoyu za dopomogoyu brauzera Web scraping Yak pravilo vikonuyetsya za dopomogoyu komp yuternih program sho imituyut povedinku lyudini v interneti abo z yednuyuchis z vebserverom napryamu po protokolu HTTP abo upravlyayuchi povnocinnim vebbrauzerom Ale buvaye i skrejping za dopomogoyu kopiyuvannya danih lyudinoyu Ce forma kopiyuvannya v yakij konkretni dani zbirayutsya ta kopiyuyutsya z internetu yak pravilo v bazu danih abo elektronnu tablicyu dlya podalshogo poshuku chi analizu Vebskrejping vklyuchaye v sebe zavantazhennya ta viluchennya Spochatku zavantazhuyetsya storinka sho robit brauzer koli vi pereglyadayete storinku pislya cogo mozhna dobuvati potribnu informaciyu Zmist storinki mozhe buti proanalizovano pereformatovano jogo dani skopijovani v elektronnu tablicyu tosho Vebskraperi yak pravilo berut shos iz storinki shob vikoristati ce dlya inshih cilej deinde Prikladom mozhe buti poshuk i kopiyuvannya imen ta telefonnih nomeriv abo kompanij ta yih URL adres do spisku kontaktne skanuvannya Vebstorinki pobudovani za dopomogoyu tekstovih mov rozmitki HTML ta XHTML i chasto mistyat veliku kilkist korisnih danih u tekstovij formi Odnak bilshist vebstorinok priznacheni dlya kincevih koristuvachiv a ne dlya zruchnosti avtomatichnogo vikoristannya Cherez ce buli stvoreni nabori instrumentiv yaki zbirayut vebvmist Vebskrejperi ce prikladnij programnij interfejs dlya viluchennya danih z vebsajtu Isnuyut metodi yaki deyaki vebsajti vikoristovuyut dlya zapobigannya vebskrejpingu Napriklad viyavlennya ta zaborona botiv vid skanuvannya pereglyadu svoyih storinok U vidpovid na ce isnuyut vebskrejpingovi sistemi yaki spirayutsya na vikoristannya metodiv analizu ob yektnoyi modeli dokumenta komp yuternogo bachennya ta obrobku tekstu prirodnoyu movoyu shob imituvati poshuk lyudini shob dozvoliti zbirati vmist vebstorinok dlya avtonomnogo sintaksichnogo analizu Pov yazani terminiVebskrejping vebkrauling ta indeksaciya vebavtomatizaciya Vebskrejping tisno pov yazanij z kraulingom ta indeksaciyeyu crawling ta indexing Indeksaciya uporyadkuvannya informaciyi z metoyu sproshennya poshuku za neyu Indeksaciya vikonuyetsya za dopomogoyu bota pavuka vebskanera i ye universalnoyu metodikoyu prijnyatoyu bilshistyu poshukovih sistem Na protivagu comu vebskrejping bilshe fokusuyetsya na peretvorenni nestrukturovanih danih v merezhi yak pravilo v formati HTML v strukturovani dani yaki mozhut zberigatisya i analizuvatisya v centralnij lokalnij bazi danih abo tablici Vebskrejping takozh pov yazanij z vebavtomatizaciyeyu sho yavlyaye soboyu avtomatizaciyu dij lyudini za dopomogoyu komp yuternogo programnogo zabezpechennya Sferi zastosuvannya vebskrejpingu vklyuchayut porivnyannya cin onlajn stvorennya bazi kontaktnih danih monitoring danih pro pogodu viyavlennya zmin vebsajtu doslidzhennya vebkolazhi i integraciyu vebdanih Mashinozchituvani dani ta API Slid rozriznyati vebstorinki u formati HTML sho priznacheni dlya interpretaciyi brauzerom ta podalshogo pereglyadu lyudinoyu vid danih u mashinozchituvanih formatah ta programnogo interfejsu Web API Ponyattya skrejping nemozhlivo zastosuvati dlya mashinozchituvanih danih sho takozh zavantazhuyutsya po protokolu HTTP bo voni vzhe znahodyatsya u tomu formati sho ye kincevim dlya procesu skrejpingu TehnologiyiVebskrejping ce proces avtomatichnogo zboru informaciyi iz vsesvitnoyi pavutini Ce pole z aktivnimi rozrobkami sho mayut spilnu metu z semantichnoyi vebbachennya i ye ambitnoyu iniciativoyu sho yak i ranishe vimagaye proriviv v obrobci tekstu semantichnogo rozuminnya shtuchnogo intelektu i lyudino komp yuternoyi vzayemodiyi Potochni rishennya vebskrejpingu variyuyutsya vid Ad Hoc vimagayuchi lyudskih zusil shob povnistyu avtomatizovanih sistemi yaki zdatni peretvoriti cili sajti v strukturovanu informaciyu z obmezhennyami Ruchne kopiyuvannya ta vstavka inodi navit najkrashi tehnologiyi vebskrejpingu ne mozhut zaminiti ruchnu ocinku lyudinoyu i kopiyuvannya vstaviti i inodi ce mozhe buti yedinim prijnyatnim rishennyam koli na vebsajtah svidomo vstanovlyuyutsya bar yeri CAPTCHA dlya pereshkodzhannya avtomatizovanij obrobci Shabloni regulyarni virazi prostij ale efektivnij pidhid dlya dobuvannya informaciyi z vebstorinok Vikoristovuyutsya funkciyi poshuku tekstu za shablonami regulyarnimi virazami sho pidtrimuyutsya bagatma movami programuvannya HTTP programuvannya statichni i dinamichni vebstorinki mozhut buti vilucheni shlyahom rozmishennya HTTP zapiti na viddalenomu vebserveri za dopomogoyu programuvannya soketiv HTML analizatori bagato vebsajtiv mayut veliki kolekciyi storinok generuyetsya dinamichno z bazovogo strukturovanoyi dzherela yak bazi danih proyasniti Dani tiyeyi zh kategoriyi yak pravilo koduyetsya v podibnih storinok zagalnim scenariyem abo shablonu V intelektualnomu analizi danih programa yaka viyavlyaye taki shabloni v pevnomu dzhereli informaciyi vityaguye yiyi zmist i peretvoryuye jogo v relyacijnoyi formi nazivayetsya obolonkoyu Algoritmi generaciyi obgortki pripustiti sho vhidni storinki v sistemi indukciyi obgortki vidpovidati zagalnomu zrazkom i sho voni mozhut buti legko identifikovani z tochki zoru zagalnoyi shemi URL Bilsh togo deyaki napivstrukturovani movi zapitiv danih taki yak XQuery i HTQL mozhut buti vikoristani dlya analizu HTML storinok i dlya viluchennya i peretvorennya vmistu storinki DOM analiz Vbudovuyuchis u povnocinnij vebbrauzer napriklad Internet Explorer abo Mozilla programi mozhut otrimati dinamichnij vmist zgenerovanij kliyentskimi scenariyami Ci elementi upravlinnya brauzera takozh analizuyut vebstorinki v DOM derevi na osnovi yakih programi mozhut otrimati chastini storinok Vebskrejping PZ Ye bagato instrumentiv programnogo zabezpechennya yaki mozhut buti vikoristani dlya nastrojki vebskrejping rishen Ce programne zabezpechennya mozhe sprobuvati avtomatichno rozpiznavati strukturu danih storinki abo zabezpechuvati interfejs zapisi sho usuvaye neobhidnist vruchnu pisati vebskrejpingovij kod abo deyaki skriptovi funkciyi yaki mozhut buti vikoristani dlya viluchennya i peretvorennya vmistu i interfejsi baz danih yakij mozhe zberigati poshkodzheni dani v lokalnih bazah danih Platformi vertikalnoyi agregaciyi Ye kilka kompanij yaki rozrobili konkretni platformi dlya vertikalnoyi zbirki Ci platformi stvoryuyut i kontrolyuyutsya chislennimi botami dlya konkretnih vertikalej bez lyudini v cikli bez bezposerednoyi uchasti lyudini i bez roboti pov yazanoyi z konkretnim cilovim sajtom Pidgotovka vklyuchaye v sebe vstanovlennya bazu znan dlya vsiyeyi vertikali a potim platforma stvoryuye botiv avtomatichno Nadijnist platformi vimiryuyetsya yakistyu informaciyi yaku vin otrimuye zazvichaj kilkist poliv i jogo masshtabovanosti yak shvidko vin mozhe masshtabuvatis do soten abo tisyach sajtiv Cya masshtabovanist v osnovnomu vikoristovuyetsya dlya cilovih sajtiv z dovgim hvostom sho zagalni agregatori znajti skladno abo voni ye zanadto trudomistkim dlya zbirannya kontentu Rozpiznavannya semantichnih anotacij Storinki pislya vikonannya skrejpingu mozhut ohoplyuvati metadani abo semantichni poznachki i anotaciyi yaki mozhut buti vikoristani dlya poshuku konkretnih pomistivshi danih Yaksho anotaciyi vprovadzheni v storinkah a mikroformativ robit cej metod mozhna rozglyadati yak specialnij vipadok DOM rozboru V inshomu vipadku anotaciyi organizovanih v semantichnij shar zberigayutsya i upravlyayutsya okremo vid vebstorinok tak sho skrebki mozhut otrimati shemu danih i instrukciyi z cogo sharu pered skrejpingom storinok Analizatori vebstorinki z vikoristannyam komp yuternogo zoru ye sprobi vikoristovuvati mashinne navchannya i komp yuternij zir yaki namagayutsya viznachiti i otrimati informaciyu z vebstorinok za dopomogoyu proyasniti Pravovi pitannyaLegalnist vebskrejpingu u sviti riznitsya Deyaki vebsajti zaboronyayut skrejping u pravilah vikoristannya ale yuridichni naslidki takoyi zaboroni ne ye chitkimi U sviti Twitter proti skrejpingu danih 1 lipnya 2023 roku Twitter povidomiv sho timchasovo obmezhuye dlya koristuvachiv kilkist pereglyadiv postiv na dobu Za slovami Ilona Maska ce bulo zrobleno dlya togo shob protistoyati ekstremalnomu rivnyu zboru danih ta manipulyaciyam iz sistemoyu mi zastosuvali taki timchasovi obmezhennya perevireni akaunti obmezheni v chitanni 6000 povidomlen na den neperevireni akaunti 600 povidomlen na den novi neperevireni akaunti 300 povidomlen na den Pereduvalo takim diyam te sho naperedodni 30 chervnya 2023 roku stalo vidomo rishennya Twitter vimagati vid koristuvachiv mati oblikovij zapis u socialnij platformi dlya pereglyadu tvitiv Mask nazvav ce timchasovim nadzvichajnim zahodom Zgidno povidomlennya CNBC Ilon Mask zaprovadiv ci timchasovi obmezhennya na vikoristannya Twitter dlya borotbi z ekstremalnimi rivnyami viluchennya danih i manipulyacij na platformi Vidpovidno kompaniya X Corp yaka bula zasnovana Maskom 9 bereznya 2023 roku na zminu kompaniyi Twitter Inc pochala suditisya z chotirma nenazvanimi osobami za zvinuvachennyami yih v nezakonnomu viluchenni danih pov yazanih z zhitelyami Tehasu SShA z Twitter Pozov podanij 6 lipnya 2023 roku do sudu okrugu Dallas shtat Tehas vimagaye vidshkoduvannya zbitkiv na sumu ponad 1 miljon dolariv U materialah spravi jdetsya pro te sho vidpovidachi nibito uklali kontrakti z operatorami centriv obrobki danih v okruzi Dallas shtat Tehas Zgidno z zayavoyu kompaniya ne zmogla vstanoviti osobi cih lyudej Odnak zamist imen advokati X Corp nadali spisok z chotiroh IP adres V danomu vipadku mozhlivo buv zastosovanij same skrejping danih koli komp yuterna programa vityaguye dani z veb sajtu abo inshogo onlajn dzherela Ci dani potim mozhut buti vikoristani dlya riznih cilej takih yak doslidzhennya rinku porivnyannya cin abo navit monitoring socialnih merezh Vidpovidno X Corp stavit za metu pripiniti viluchennya danih obmezhivshi kilkist tvitiv yaki koristuvachi mozhut chitati shodnya U Yevropejskomu Soyuzi 30 kvitnya 2020 roku Francuzkij organ za zahist danih CNIL opublikuvav novi pravila shodo parsingu vebstorinok Keruyuchi principi CNIL chitko dayut rozuminnya togo sho zagalnodostupni dani za poperednim perelikom ye osobistimi danimi i ne mozhut buti zmineni bez providnih lic kotrim ci dani nalezhat Ryanair proti PR Aviation 15 sichnya 2015 roku vineseno verdiktYevropejskogo Sudu spravedlivosti u spravi Ryanair proti PR Aviation Zgidno nogo Ryanair maye pravo blokuvati abo vimagati dotrimannya umov internet sajtami dlya porivnyannya cin yaki kopiyuyut dani z vebsajtu aviakompaniyi bez yiyi dozvolu PR Aviation operator vebsajtu sho dozvolyaye koristuvacham shukati dani polotiv low cost aviakompanij Vin otrimuye neobhidni dani za dopomogoyu avtomatizovanih zasobiv v tomu chisli z vebsajtu Ryanair Pereglyad vebsajtu Ryanair peredbachaye sho vidviduvach sajtu prijmaye umovi vikoristannya shlyahom prostavlennya galochki Vidpovidno do cih umov informaciya sho mistitsya na sajti mozhe buti vikoristana tilki v privatnih ta nekomercijnih cilyah a vikoristannya avtomatizovanih sistem abo programnogo zabezpechennya dlya otrimannya danih z sajtu v komercijnih cilyah ye zaboronenim yaksho take ne peredbacheno pismovoyu licenzijnoyu ugodoyu z Ryanair Ryanair zayaviv sho PR Aviation porushili zakon pro avtorske pravo na unikalnu bazu danih i sho vin diyav vsuperech umovam vikoristannya vebsajtu yaki buli prijnyati kompaniyeyu Pislya togo yak jogo pozov buv vidhilenij u sudah pershoyi ta apelyacijnoyi instanciyi Amsterdama Ryanair oskarzhiv rishennya apelyacijnogo suda Amsterdama u Verhovnomu sudi Niderlandiv Verhovnij sud Niderlandiv virishiv zalishiti apelyaciyu bez zadovolennya Direktivu 96 9 YeS Yevropejskogo parlamentu ta Radi Yevropi vid 11 bereznya 1996 roku pro pravovij zahist baz danih povinno buti vitlumacheno v tomu sensi sho jogo ne mozhna zastosovuvati do bazi danih sho ne zahisheni vidpovidno do ciyeyi Direktivi abo zakonom pro avtorske pravo abo prava v svoyemu rodi v rezultati chogo stattya 6 1 8 i 15 Direktivi ne zaboronyaye tvorcyu takoyi bazi danih obmezhuvati dogovorom bez shkodi dlya chinnogo nacionalnogo zakonodavstva vikoristannya jogo tretimi osobami PosilannyaRoush Wade 2012 07 25 Twitter zakriv dostup do kontentu neavtorizovanim koristuvacham Avtor Igor Pilipiv 01 07 2023 11 15 Twitter obmezhuye kilkist pereglyadiv postiv na dobu Avtor Katerina Tishenko 01 07 2023 22 19 Elon Musk s Twitter sues four individuals for illegal data scrapping By Anurag Jul 14 2023 Twitter podav do sudu na chotiroh osib za nezakonne vidalennya danih 14 07 2023 www cnil fr Francuzkoyu 5 lipnya 2020 Arhiv originalu za 13 grudnya 2020 5 lipnya 2020 Arhiv originalu za 28 sichnya 2021 Arhiv originalu za 27 lyutogo 2017 Procitovano 20 travnya 2017 Arhiv originalu za 24 bereznya 2017 Procitovano 20 travnya 2017