YaCy (вимовляється "ya see") вільна пошукова машина та пошукова система, побудована на принципах однорангової (P2P) мережі. Пошукова система складається з окремих вузлів — примірників програмного забезпечення, написаного на Java, яке користувачі встановлюють на свої комп'ютери з доступом до Інтернет. Кожен вузол самостійно збирає, аналізує та індексує сторінки Інтернет та обмінюється результатами індексації в мережі, формуючи загальну базу даних (так званий індекс), яка зберігається розподілено та використовується разом з іншими вузлами. За допомогою YaCY також можна створити пошуковий портал для внутрішньої мережі або пошуковий портал для власних вебсторінок.
Тип | пошукова машина, проксі |
---|---|
Розробник | d[1] |
Стабільний випуск | 1.82 (19 січня 2015 ) |
Платформа | віртуальна машина Java |
Операційна система | багатоплатформна |
Мова програмування | Java |
Доступні мови | багатомовна |
Українська мова | так |
Ліцензія | GPL v2 |
Репозиторій | github.com/yacy/yacy_search_server |
Вебсайт | www.yacy.net |
|
У порівнянні з напів-розподіленими пошуковими системами, YaCy-мережа має децентралізовану будову. Усі вузли рівні, а центральний сервер відсутній. Вузол YaCy може бути запущений в режимі індексування сторінок. Окрім того, вузол може працювати як локальний проксі-сервер для індексації вебсторінок, відвіданих користувачем, який встановив YaCy на своєму комп'ютері; при цьому передбачено механізми для захисту конфіденційності користувача.
Доступ до функції пошуку здійснюється через вебсторінку, доступну локально на комп'ютері, де встановлено програму. Введення критеріїв пошуку та отримання результатів відбувається подібно до інших пошукових систем.
Оскільки програма працює в JVM, то її можна встановити на комп'ютерах з різними операційними системами, такими як MS Windows, Unix, (GNU/Linux) тощо.
Компоненти системи
Пошукова система YaCy складається з чотирьох елементів:
- Пошуковий робот переходить з вебсторінки на вебсторінку й аналізує їх вміст.
- Індексатор створює обернений індекс слів, Reverse Word Index (RWI). Кожне слово в RWI має перелік URL адрес, які йому відповідають. Слова зберігаються у формі їх хешей.
- Пошуковий та адміністративний інтерфейси, доступні через вебінтерфейс, забезпечений локальним HTTP сервлетом.
- Банк даних, що зберігає RWI із застосуванням розподіленої хеш-таблиці.
Філософія
Інформаційне суспільство 21-го століття засноване на вільному доступі до публічної інформації. Особлива увага приділяється прозорості, підзвітності та доступності інформації. YaCy прагне забезпечити безкоштовний доступ до інформації ефективно й реалістично. У той час як традиційні пошукові системи міжнародних компаній є закритими системами та їх технології пошуку не є прозорими та зрозумілими, YaCy має відкритий початковий код і є вільною пошуковою машиною. Кожен може пересвідчитися, яким чином отримується інформація для пошукової системи та відображається в результатах пошуку користувачу.
Вільний пошук: відсутні посилання
Існує багато вільного вмісту в Інтернеті, такого як Wikipedia, вільна музика, дані під Creative Commons та іншими вільними ліцензіями, тощо. Однак наявність цих вільних продуктів в Інтернеті не забезпечує їх вільності в повній мірі. У разі використання пропрієтарних пошукових систем у, більшою мірою, монопольній інфраструктурі Інтернету власники цих монополій вирішують, яку інформацію видно. YaCy дотримується позиції, що вільна інформація є дійсно вільної, якщо вона доступна за допомогою вільного програмного забезпечення. YaCy заповнює відсутню ланку між вільною інформацією та користувачем, надаючи вільний пошук.
Децентралізована пошукова система
Інфраструктура Інтернет була побудована на філософії «все для всіх», а не лише на з'єднаннях прийому-передачі. З такої точки зору, кожен споживач вмісту в Інтернеті повинен мати таку ж можливість виробляти вміст, як і споживати. Мета YaCy в тому, щоб допомогти виробникам і споживачам інформації в Інтернеті робити вміст, доступний для всіх людей, незалежно від централізованого пошуку.
Переваги YaCy філософії
Громадянські права та приватність
- Результати пошуку незалежні, виключена цензура.
- Унеможливлення централізованої оцінки та моніторингу пошукових запитів.
- Недоступність даних про історію пошукових запитів. Крім захисту приватності, це має значення й для бізнесу з огляду на промислове шпигунство.
Екологічність
- Не потрібна робота центрів обробки даних з величезним енергоспоживанням (а іноді й їх власними електростанціями) для центрального вебпошуку. Розподілений пошук вимагає роботи тільки комп'ютерів вузлів пошуку.
Соціологічні
- Всі учасники мають однакові права, зокрема при додаванні нового вмісту.
- Вміст пошуку визначається користувачами незалежно від комерційних інтересів оператора вебпорталу.
- Індивідуалізація релевантності: кожен може оцінити якість і важливість вебсторінок за їх власними правилами та індивідуально пристосовувати значущість з використанням методів ранжирування (популярних і наукових).
Інші функції
- YaCy забезпечує всіх користувачів проксі-функцією, яка надає доступ до колег за особливою адресою PEERNAME.yacy (тобто, ім'я цього вузла з розширенням ".yacy") або PEERHASH.yacyh (тобто геш цього вузла з розширенням ".yacyh"). www.PEERNAME.yacy може бути домашньою сторінкою користувача, під share.PEERNAME.yacy знаходиться файлообмінник, а PEERNAME.yacy це звичайна http-оболонка доступу. Інші піддомени можуть бути спеціально створені шляхом створення теки з ім'ям піддомену. не підтримується.
- Вузол доступний для YaCy користувачів, незалежно від того, чи YaCy-домен надає місце для домашньої сторінки та тек, які можуть бути зв'язані з поточною IP-адресою або адресою динамічного DNS.
- YaCy має вбудовану функцію повідомлень, за допомогою якої можна відправляти текстові повідомлення (з форматуванням вікі), і залежно від настройки приймача також відправляти файли.
- YaCy має вбудовані wiki і блог.
- Є керування закладками, які можуть бути загальнодоступними та особистими.
- Є можливість внесення окремих областей до чорних списків.
- Є OpenSearch-інтерфейс. Кожен вузол забезпечує доступність цієї адреси http://<адреса-вузла>:<порт-вузла>/opensearchdescription.xml, наприклад
Технологія
Основу програми становить вебсервер, який також є кешуючим-проксі-сервером. Користувач має доступ до сторінок пошуку та керування своїм вузлом. Проксі має спільний код зі сканером, а це означає, що, якщо проксі задіяний, всі відвідані сторінки, які не є особистими, автоматично записуються в індекс. Крім того, YaCy надає власний домен у YaCy-мережі, який доступний через проксі-сервер.
Розподілений індекс
Пошукові запити здійснюються через P2P-пошук та мають бути доступними негайно. Для цього YaCy використовує розподілену хеш-таблицю. Це означає, що після індексування всі знайдені URL адреси та слова відправляються до вузлів, які найбільше підходять для зберігання відповідних контрольних сум (хешів) слів, вузлів чи посилань. При пошуку все працює навпаки: для пошуку залучаються вузли, які можуть видати хеші URL адрес для слів пошукового запиту. Таким чином, для отримання гарних результатів необхідно задіяти тільки частину вузлів.
Типи вузлів
YaCy розрізняє чотири типи вузлів:
- Новенький: такі вузли не доступні, оскільки не мають зв'язку з мережею, та бачать лише себе.
- Молодший вузол знаходиться за файрволом. Інші відносять його до молодших або потенційних вузлів, вони бачать тільки те, коли він був останній раз зареєстрований, і не мають ніякого способу визначити, чи він досі в мережі.
- Старший доступний ззовні та є повноправним членом мережі YaCy.
- Головний — старший, який надає список вузлів, який використовується для початкового зв'язку з іншими вузлами.
Протокол
Протокол YaCy складається з текстових сервлетів, які забезпечують вбудований вебсервер за адресами /yacy/servletname.html. Інші вузли передають дані через GET-властивості і отримують простий уривок тексту, точний формат відрізняється для сервлетів.
Початкове завантаження
При початковому завантаженні вузол намагається зв'язатися з іншими вузлами YaCy-мережі. Спочатку шукаються списки вузлів. Перша адреса в superseed.txt слугує для завантаження стійких YaCy-вузлів. У seeds.txt є також посиланнями на інші вузли, так що таким чином контакт з YaCy-мережею може бути налагоджено. При наступному запуску YaCy, gebootstrapt створює перелік з відомих з попереднього разу вузлів мережі, а списки вузлів необхідні лише тоді, коли багато посилань більше не дійсні.
Джерела
- Peter Schüler: Web-Erkundung per PC. In: c’t. Eigener Webindex mit YaCy Nr. 21, September 2008, ISSN 0724-8679, S. 180–185.
- M. Christen: Peer-to-Peer: Eigenes Suchportal mit Yacy einrichten in iX 02/2008, S. 102 ff.
- M. Schlenker: Gemeinsam gegen Google in OpenSource [ 10 травня 2013 у Wayback Machine.], 01/2007, November 2006, S. 94-97
- J. Bager: Europäische Gegenströmung in c't, 2006/10, 2. Mai 2006, S.172-174 (Onlinetext [ 21 грудня 2008 у Wayback Machine.])
- R. Sietmann: Wider die Monokultur. P2P-Strategien gegen die Suchmaschinen-Monopolisierung. in c't, 2005/16, 25. Juli 2005, S.52-53 (Onlinetext [ 5 грудня 2008 у Wayback Machine.])
- M. Schwarze: Jedermanns Suchmaschine in: HAZ (Artikel als PDF [ 9 травня 2013 у Wayback Machine.] 107 kB)
- Michael Christen: YaCy — Peer-to-Peer Web-Suchmaschine in Die Datenschleuder, #86, 2005, S.54-57 (gesamtes Heft als PDF [ 6 лютого 2012 у Wayback Machine.] 1,7 MB)
Посилання
- Сторінка проекту [ 25 січня 2012 у Wayback Machine.]
- Wiki проекту [ 11 квітня 2012 у Wayback Machine.]
- Блог проекту [ 1 січня 2012 у Wayback Machine.]
- Статистика проекту [ 17 лютого 2012 у Wayback Machine.]
- Демонстративний пошуковий портал YaCy Web Search [ 30 січня 2012 у Wayback Machine.] — балансир для публічно доступних вузлів.
Примітки
- https://yacy.net/impressum/
- 00:03, 29 Nov 2011 at; Nsa, Iain Thomson tweet_btn() Iain Thomson Get email alert when this author posts Common Topics. . Архів оригіналу за 24 грудня 2015. Процитовано 10 січня 2016.
- . PCWorld. Архів оригіналу за 8 липня 2012. Процитовано 10 січня 2016.
- YaCy.net. . Архів оригіналу за 5 лютого 2012.
- . yacy.net. Архів оригіналу за 4 грудня 2015. Процитовано 10 січня 2016.
- . CyberCalm. 27 березня 2019. Архів оригіналу за 5 жовтня 2019. Процитовано 6 жовтня 2019.
- . yacy.net. Архів оригіналу за 7 травня 2016. Процитовано 7 травня 2016.
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
YaCy vimovlyayetsya ya see vilna poshukova mashina ta poshukova sistema pobudovana na principah odnorangovoyi P2P merezhi Poshukova sistema skladayetsya z okremih vuzliv primirnikiv programnogo zabezpechennya napisanogo na Java yake koristuvachi vstanovlyuyut na svoyi komp yuteri z dostupom do Internet Kozhen vuzol samostijno zbiraye analizuye ta indeksuye storinki Internet ta obminyuyetsya rezultatami indeksaciyi v merezhi formuyuchi zagalnu bazu danih tak zvanij indeks yaka zberigayetsya rozpodileno ta vikoristovuyetsya razom z inshimi vuzlami Za dopomogoyu YaCY takozh mozhna stvoriti poshukovij portal dlya vnutrishnoyi merezhi abo poshukovij portal dlya vlasnih vebstorinok YaCyTipposhukova mashina proksiRozrobnikd 1 Stabilnij vipusk1 82 19 sichnya 2015 9 rokiv tomu 2015 01 19 Platformavirtualna mashina JavaOperacijna sistemabagatoplatformnaMova programuvannyaJavaDostupni movibagatomovnaUkrayinska movatakLicenziyaGPL v2Repozitorijgithub com yacy yacy search serverVebsajtwww yacy net Mediafajli u Vikishovishi U porivnyanni z napiv rozpodilenimi poshukovimi sistemami YaCy merezha maye decentralizovanu budovu Usi vuzli rivni a centralnij server vidsutnij Vuzol YaCy mozhe buti zapushenij v rezhimi indeksuvannya storinok Okrim togo vuzol mozhe pracyuvati yak lokalnij proksi server dlya indeksaciyi vebstorinok vidvidanih koristuvachem yakij vstanoviv YaCy na svoyemu komp yuteri pri comu peredbacheno mehanizmi dlya zahistu konfidencijnosti koristuvacha Dostup do funkciyi poshuku zdijsnyuyetsya cherez vebstorinku dostupnu lokalno na komp yuteri de vstanovleno programu Vvedennya kriteriyiv poshuku ta otrimannya rezultativ vidbuvayetsya podibno do inshih poshukovih sistem Oskilki programa pracyuye v JVM to yiyi mozhna vstanoviti na komp yuterah z riznimi operacijnimi sistemami takimi yak MS Windows Unix GNU Linux tosho Komponenti sistemiPoshukova sistema YaCy skladayetsya z chotiroh elementiv Poshukovij robot perehodit z vebstorinki na vebstorinku j analizuye yih vmist Indeksator stvoryuye obernenij indeks sliv Reverse Word Index RWI Kozhne slovo v RWI maye perelik URL adres yaki jomu vidpovidayut Slova zberigayutsya u formi yih heshej Poshukovij ta administrativnij interfejsi dostupni cherez vebinterfejs zabezpechenij lokalnim HTTP servletom Bank danih sho zberigaye RWI iz zastosuvannyam rozpodilenoyi hesh tablici FilosofiyaInformacijne suspilstvo 21 go stolittya zasnovane na vilnomu dostupi do publichnoyi informaciyi Osobliva uvaga pridilyayetsya prozorosti pidzvitnosti ta dostupnosti informaciyi YaCy pragne zabezpechiti bezkoshtovnij dostup do informaciyi efektivno j realistichno U toj chas yak tradicijni poshukovi sistemi mizhnarodnih kompanij ye zakritimi sistemami ta yih tehnologiyi poshuku ne ye prozorimi ta zrozumilimi YaCy maye vidkritij pochatkovij kod i ye vilnoyu poshukovoyu mashinoyu Kozhen mozhe peresvidchitisya yakim chinom otrimuyetsya informaciya dlya poshukovoyi sistemi ta vidobrazhayetsya v rezultatah poshuku koristuvachu Vilnij poshuk vidsutni posilannya Isnuye bagato vilnogo vmistu v Interneti takogo yak Wikipedia vilna muzika dani pid Creative Commons ta inshimi vilnimi licenziyami tosho Odnak nayavnist cih vilnih produktiv v Interneti ne zabezpechuye yih vilnosti v povnij miri U razi vikoristannya propriyetarnih poshukovih sistem u bilshoyu miroyu monopolnij infrastrukturi Internetu vlasniki cih monopolij virishuyut yaku informaciyu vidno YaCy dotrimuyetsya poziciyi sho vilna informaciya ye dijsno vilnoyi yaksho vona dostupna za dopomogoyu vilnogo programnogo zabezpechennya YaCy zapovnyuye vidsutnyu lanku mizh vilnoyu informaciyeyu ta koristuvachem nadayuchi vilnij poshuk Decentralizovana poshukova sistema Infrastruktura Internet bula pobudovana na filosofiyi vse dlya vsih a ne lishe na z yednannyah prijomu peredachi Z takoyi tochki zoru kozhen spozhivach vmistu v Interneti povinen mati taku zh mozhlivist viroblyati vmist yak i spozhivati Meta YaCy v tomu shob dopomogti virobnikam i spozhivacham informaciyi v Interneti robiti vmist dostupnij dlya vsih lyudej nezalezhno vid centralizovanogo poshuku Perevagi YaCy filosofiyi Gromadyanski prava ta privatnist Rezultati poshuku nezalezhni viklyuchena cenzura Unemozhlivlennya centralizovanoyi ocinki ta monitoringu poshukovih zapitiv Nedostupnist danih pro istoriyu poshukovih zapitiv Krim zahistu privatnosti ce maye znachennya j dlya biznesu z oglyadu na promislove shpigunstvo Ekologichnist Ne potribna robota centriv obrobki danih z velicheznim energospozhivannyam a inodi j yih vlasnimi elektrostanciyami dlya centralnogo vebposhuku Rozpodilenij poshuk vimagaye roboti tilki komp yuteriv vuzliv poshuku Sociologichni Vsi uchasniki mayut odnakovi prava zokrema pri dodavanni novogo vmistu Vmist poshuku viznachayetsya koristuvachami nezalezhno vid komercijnih interesiv operatora vebportalu Individualizaciya relevantnosti kozhen mozhe ociniti yakist i vazhlivist vebstorinok za yih vlasnimi pravilami ta individualno pristosovuvati znachushist z vikoristannyam metodiv ranzhiruvannya populyarnih i naukovih Inshi funkciyi YaCy zabezpechuye vsih koristuvachiv proksi funkciyeyu yaka nadaye dostup do koleg za osoblivoyu adresoyu PEERNAME yacy tobto im ya cogo vuzla z rozshirennyam yacy abo PEERHASH yacyh tobto gesh cogo vuzla z rozshirennyam yacyh www PEERNAME yacy mozhe buti domashnoyu storinkoyu koristuvacha pid share PEERNAME yacy znahoditsya fajloobminnik a PEERNAME yacy ce zvichajna http obolonka dostupu Inshi piddomeni mozhut buti specialno stvoreni shlyahom stvorennya teki z im yam piddomenu ne pidtrimuyetsya Vuzol dostupnij dlya YaCy koristuvachiv nezalezhno vid togo chi YaCy domen nadaye misce dlya domashnoyi storinki ta tek yaki mozhut buti zv yazani z potochnoyu IP adresoyu abo adresoyu dinamichnogo DNS YaCy maye vbudovanu funkciyu povidomlen za dopomogoyu yakoyi mozhna vidpravlyati tekstovi povidomlennya z formatuvannyam viki i zalezhno vid nastrojki prijmacha takozh vidpravlyati fajli YaCy maye vbudovani wiki i blog Ye keruvannya zakladkami yaki mozhut buti zagalnodostupnimi ta osobistimi Ye mozhlivist vnesennya okremih oblastej do chornih spiskiv Ye OpenSearch interfejs Kozhen vuzol zabezpechuye dostupnist ciyeyi adresi http lt adresa vuzla gt lt port vuzla gt opensearchdescription xml naprikladTehnologiyaOsnovu programi stanovit vebserver yakij takozh ye keshuyuchim proksi serverom Koristuvach maye dostup do storinok poshuku ta keruvannya svoyim vuzlom Proksi maye spilnij kod zi skanerom a ce oznachaye sho yaksho proksi zadiyanij vsi vidvidani storinki yaki ne ye osobistimi avtomatichno zapisuyutsya v indeks Krim togo YaCy nadaye vlasnij domen u YaCy merezhi yakij dostupnij cherez proksi server Rozpodilenij indeks Poshukovi zapiti zdijsnyuyutsya cherez P2P poshuk ta mayut buti dostupnimi negajno Dlya cogo YaCy vikoristovuye rozpodilenu hesh tablicyu Ce oznachaye sho pislya indeksuvannya vsi znajdeni URL adresi ta slova vidpravlyayutsya do vuzliv yaki najbilshe pidhodyat dlya zberigannya vidpovidnih kontrolnih sum heshiv sliv vuzliv chi posilan Pri poshuku vse pracyuye navpaki dlya poshuku zaluchayutsya vuzli yaki mozhut vidati heshi URL adres dlya sliv poshukovogo zapitu Takim chinom dlya otrimannya garnih rezultativ neobhidno zadiyati tilki chastinu vuzliv Tipi vuzliv YaCy rozriznyaye chotiri tipi vuzliv Novenkij taki vuzli ne dostupni oskilki ne mayut zv yazku z merezheyu ta bachat lishe sebe Molodshij vuzol znahoditsya za fajrvolom Inshi vidnosyat jogo do molodshih abo potencijnih vuzliv voni bachat tilki te koli vin buv ostannij raz zareyestrovanij i ne mayut niyakogo sposobu viznachiti chi vin dosi v merezhi Starshij dostupnij zzovni ta ye povnopravnim chlenom merezhi YaCy Golovnij starshij yakij nadaye spisok vuzliv yakij vikoristovuyetsya dlya pochatkovogo zv yazku z inshimi vuzlami Protokol Protokol YaCy skladayetsya z tekstovih servletiv yaki zabezpechuyut vbudovanij vebserver za adresami yacy servletname html Inshi vuzli peredayut dani cherez GET vlastivosti i otrimuyut prostij urivok tekstu tochnij format vidriznyayetsya dlya servletiv Pochatkove zavantazhennya Pri pochatkovomu zavantazhenni vuzol namagayetsya zv yazatisya z inshimi vuzlami YaCy merezhi Spochatku shukayutsya spiski vuzliv Persha adresa v superseed txt sluguye dlya zavantazhennya stijkih YaCy vuzliv U seeds txt ye takozh posilannyami na inshi vuzli tak sho takim chinom kontakt z YaCy merezheyu mozhe buti nalagodzheno Pri nastupnomu zapusku YaCy gebootstrapt stvoryuye perelik z vidomih z poperednogo razu vuzliv merezhi a spiski vuzliv neobhidni lishe todi koli bagato posilan bilshe ne dijsni DzherelaPeter Schuler Web Erkundung per PC In c t Eigener Webindex mit YaCy Nr 21 September 2008 ISSN 0724 8679 S 180 185 M Christen Peer to Peer Eigenes Suchportal mit Yacy einrichten in iX 02 2008 S 102 ff M Schlenker Gemeinsam gegen Google in OpenSource 10 travnya 2013 u Wayback Machine 01 2007 November 2006 S 94 97 J Bager Europaische Gegenstromung in c t 2006 10 2 Mai 2006 S 172 174 Onlinetext 21 grudnya 2008 u Wayback Machine R Sietmann Wider die Monokultur P2P Strategien gegen die Suchmaschinen Monopolisierung in c t 2005 16 25 Juli 2005 S 52 53 Onlinetext 5 grudnya 2008 u Wayback Machine M Schwarze Jedermanns Suchmaschine in HAZ Artikel als PDF 9 travnya 2013 u Wayback Machine 107 kB Michael Christen YaCy Peer to Peer Web Suchmaschine in Die Datenschleuder 86 2005 S 54 57 gesamtes Heft als PDF 6 lyutogo 2012 u Wayback Machine 1 7 MB PosilannyaStorinka proektu 25 sichnya 2012 u Wayback Machine Wiki proektu 11 kvitnya 2012 u Wayback Machine Blog proektu 1 sichnya 2012 u Wayback Machine Statistika proektu 17 lyutogo 2012 u Wayback Machine Demonstrativnij poshukovij portal YaCy Web Search 30 sichnya 2012 u Wayback Machine balansir dlya publichno dostupnih vuzliv Primitkihttps yacy net impressum 00 03 29 Nov 2011 at Nsa Iain Thomson tweet btn Iain Thomson Get email alert when this author posts Common Topics Arhiv originalu za 24 grudnya 2015 Procitovano 10 sichnya 2016 PCWorld Arhiv originalu za 8 lipnya 2012 Procitovano 10 sichnya 2016 YaCy net Arhiv originalu za 5 lyutogo 2012 yacy net Arhiv originalu za 4 grudnya 2015 Procitovano 10 sichnya 2016 CyberCalm 27 bereznya 2019 Arhiv originalu za 5 zhovtnya 2019 Procitovano 6 zhovtnya 2019 yacy net Arhiv originalu za 7 travnya 2016 Procitovano 7 travnya 2016