Поясненний Штучний Інтелект, або Інтерпретовний Штучний Інтелект, або Зрозуміле Машинне Навчання, — це штучний інтелект (ШІ), в якому результати рішення можуть бути зрозумілі людині. Це контрастує з концепцією «чорного ящика» в машинному навчанні, де навіть його розробники не можуть пояснити, чому ШІ прийшов до конкретного рішення. Удосконалюючи ментальні моделі користувачів систем на базі штучного інтелекту та розбираючи їхні помилкові уявлення, Поясненний ШІ обіцяє допомогти користувачам працювати більш ефективно. Поясненний ШІ може бути реалізацією соціального [en]. Поясненний ШІ актуальний, навіть якщо немає юридичних прав або нормативних вимог — наприклад, Поясненний ШІ може покращити користувацьку взаємодію з продуктом або послугою, допомагаючи кінцевим користувачам вірити, що ШІ приймає правильні рішення. Таким чином, мета Поясненного ШІ — пояснити, що було зроблено, що зроблено зараз, що буде зроблено далі, та розкрити інформацію, на якій базуються дії. Ці характеристики дозволяють (i) підтвердити наявні знання (ii) кинути виклик існуючим знанням і (iii) створити нові припущення.
Алгоритми, що використовуються в ШІ, можна розрізнити на алгоритми машинного навчання(МН) білого ящика і чорного ящика. Моделі білого ящика — це моделі машинного навчання, які забезпечують результати, зрозумілі для експертів у даній області. З іншого боку, моделі «чорних ящиків» надзвичайно важко пояснити і навряд чи можуть бути зрозумілі навіть експертам в області. Вважається, що алгоритми Поясненного ШІ дотримуються трьох принципів прозорості, інтерпретації та пояснення. Прозорість надається, «якщо процеси, які витягують параметри моделі з навчальних даних і генерують мітки з даних тестування, можуть бути описані та мотивовані розробником підходу». Інтерпретація описує можливість зрозуміти модель машинного навчання і представити основну основу для прийняття рішень у спосіб, зрозумілий для людей. Пояснення — це поняття, яке визнається важливим, але спільного визначення поки немає. Припускається, що пояснюваність у машинному навчанні можна розглядати як «набір ознак інтерпретованого домену, які внесли для даного прикладу внесок у прийняття рішення (наприклад, класифікацію чи регресію)». Якщо алгоритми відповідають цим вимогам, вони забезпечують основу для обґрунтування рішень, відстеження та, таким чином, їх перевірки, вдосконалення алгоритмів та дослідження нових фактів.
Іноді також можна досягти результату з високою точністю за допомогою алгоритму машинного навчання з білим ящиком, який сам по собі інтерпретується. Це особливо важливо в таких галузях, як медицина, оборона, фінанси та право, де дуже важливо розуміти рішення та зміцнювати довіру до алгоритмів.
Системи штучного інтелекту оптимізують поведінку, щоб задовольнити математично визначену систему цілей, вибрану розробниками системи, наприклад команду «максимізувати точність оцінки позитивних рецензій на фільми в тестовому наборі даних». ШІ може засвоїти корисні загальні правила з тестового набору, наприклад, «відгуки, що містять слово „жахливий“, імовірно, будуть негативними». Однак він також може засвоїти невідповідні правила, наприклад, «відгуки, що містять» Дніел Дей-Льюїс «, зазвичай позитивні»; такі правила можуть бути небажаними, якщо вважається, що вони не зможуть узагальнити за межами тестового набору, або якщо люди вважають правило «шахрайським» або «несправедливим». Людина може перевіряти правила в Поясненному ШІ, щоб отримати уявлення про те, наскільки ймовірно, що система узагальнить майбутні дані реального світу за межами тестового набору.
Цілі
Співпраця між агентами, в даному випадку алгоритмами та людьми, залежить від довіри. Якщо люди хочуть прийняти алгоритмічні приписи, вони повинні їм довіряти. Неповнота формалізації критеріїв довіри є перешкодою для прямих підходів до оптимізації. З цієї причини інтерпретація та пояснюваність поставлені як проміжні цілі для перевірки інших критеріїв.
Системи штучного інтелекту іноді вивчають небажані трюки, які оптимально виконують завдання, щоб задовольнити явні заздалегідь запрограмовані цілі на даних навчання, але які не відображають складних неявних бажань розробників людських систем. Наприклад, система 2017 року, якій поставлено завдання розпізнавання зображень, навчилася «шахрайства», шукаючи тег авторського права, який був пов'язаний із зображеннями коней, замість того, щоб дізнатися, чи дійсно кінь зображений. В іншій системі 2017 року штучний інтелект із керованим навчанням, якому було поставлено завдання захоплювати предмети у віртуальному світі, навчився обманювати, розташувавши свій маніпулятор між об'єктом і глядачем таким чином, що здавалося, що він помилково захоплює об'єкт.
Один із проектів прозорості, програма DARPA XAI, має на меті створити моделі «скляної коробки», які можна пояснити «людині в петлі», без значної шкоди для роботи ШІ. Користувачі-люди повинні мати можливість розуміти пізнання ШІ (як у реальному часі, так і після факту) і повинні мати можливість визначити, коли довіряти ШІ, а коли — недовіряти. Іншими застосуваннями XAI є вилучення знань із моделей чорного ящика та порівняння моделей. Термін «скляна коробка» також використовувався для інструментів, які відстежують вхідні та вихідні дані системи, з метою перевірки дотримання системи етичним і соціально-правовим цінностям і, отже, створення пояснень на основі цінностей. Крім того, цей самий термін використовувався для назви голосового помічника, який видає контрфактичні заяви як пояснення.
Історія та методи
Протягом 1970-1990-х років були досліджені символічні системи міркування, такі як MYCIN, GUIDON, SOPHIE, і PROTOS,
які могли представляти, міркувати та пояснювати свої міркування для діагностики., цілі навчання або машинного навчання (навчання на основі пояснень). MYCIN, розроблений на початку 1970-х років як дослідницький прототип для діагностики бактеріємних інфекцій кровотоку, міг би пояснити, які з його закодованих вручну правил сприяли встановленню діагнозу в конкретному випадку. Дослідження інтелектуальних систем репетиторства призвело до розробки таких систем, як SOPHIE, які могли б діяти як «виразний експерт», пояснюючи стратегію вирішення проблем на рівні, зрозумілому студентам, щоб вони знали, які дії слід зробити далі. Наприклад, SOPHIE могла б пояснити якісні міркування, які стоять за її усуненням несправностей в електроніці, навіть незважаючи на те, що вона в кінцевому підсумку покладалася на симулятор схеми SPICE . Аналогічно, GUIDON додав навчальні правила, щоб доповнити правила на рівні домену MYCIN, щоб пояснити стратегію медичної діагностики. Символічні підходи до машинного навчання, особливо ті, що покладаються на навчання на основі пояснень, такі як PROTOS, явно покладалися на уявлення пояснень, як для пояснення своїх дій, так і для отримання нових знань.
З 1980-х до початку 1990-х років були розроблені системи підтримки істини (TMS), щоб розширити можливості причинно-наслідкових, заснованих на правилах і логічних систем висновків. експертних систем, які створюють підтримку прийняття рішень на основі нейронних мереж для клініцистів, намагалися розробити динамічні пояснення, які дозволять цим технологіям бути більш довіреними та надійними на практиці. У 2010-х роках занепокоєння громадськості з приводу расової та іншої упередженості у використанні штучного інтелекту для ухвалення кримінальних вироків і висновків про кредитоспроможність, можливо, призвели до збільшення попиту на прозорий штучний інтелект. У результаті багато науковців та організацій розробляють інструменти, які допомагають виявляти упередженість у своїх системах.
TMS діє, щоб чітко відстежувати альтернативні лінії міркувань, обґрунтування висновків і лінії міркувань, які призводять до суперечностей, дозволяючи майбутнім міркуванням уникнути цих тупиків. Щоб надати пояснення, вони відстежують міркування від висновків до припущень за допомогою операцій правил або логічних висновків, що дозволяє генерувати пояснення на основі слідів міркувань. Як приклад розглянемо розв'язувач задач на основі правил із лише кількома правилами про Сократа, який робить висновок, що він помер від отрути: Просто простеживши структуру залежностей, розв'язувач задачі може побудувати таке пояснення: «Сократ помер, тому що він був смертним і випив отруту, і всі смертні вмирають, коли п'ють отруту. Сократ був смертним, тому що він був людиною, а всі люди смертні. Сократ пив отруту, тому що він дотримувався дисидентських переконань, уряд був консервативним, а ті, хто дотримується консервативних дисидентських переконань при консервативних урядах, повинні пити отруту». У 1990-х роках дослідники також почали вивчати, чи можна осмислено витягти не закодовані вручну правила, які генеруються непрозорими навченими нейронними мережами. Дослідники клінічнихМарвін Мінський та ін. підняв питання про те, що ШІ може функціонувати як форма спостереження з упередженнями, властивими нагляду, запропонувавши HI (гуманістичний інтелект) як спосіб створити більш справедливий і збалансований ШІ «людина в петлі».
Сучасні складні методи штучного інтелекту, такі як глибоке навчання та генетичні алгоритми, природно непрозорі. Для вирішення цієї проблеми було розроблено багато нових методів, щоб зробити нові моделі більш зрозумілими та інтерпретованими.
Це включає багато методів, таких як Layerwise relevance propagation (LRP), метод визначення того, які ознаки в певному вхідному векторі найбільше сприяють виведенню нейронної мережі.
Інші методи були розроблені для пояснення одного конкретного прогнозу, зробленого (нелінійною) моделлю чорного ящика, ціль, яку називають «локальною інтерпретацією».
Варто зазначити, що просто перенесення концепцій локальної інтерпретації у віддалений контекст (де модель чорного ящика виконується третьою стороною) зараз перебуває під прицілом.
Крім того, була робота над створенням моделей скляних коробок, які були б більш прозорими для огляду.
Це включає дерева рішень, байєсівські мережі, розріджені лінійні моделі тощо. Конференція Асоціації обчислювальної техніки з питань справедливості, підзвітності та прозорості (ACM FAccT) була заснована в 2018 році для вивчення прозорості та зрозумілості в контексті соціально-технічних систем, багато з яких включають штучний інтелект.
Деякі методи дозволяють візуалізувати вхідні дані, на які найсильніше реагують окремі програмні нейрони . Декілька груп виявили, що нейрони можуть бути об'єднані в схеми, які виконують зрозумілі людині функції, деякі з яких надійно виникають у різних мережах, які навчаються незалежно.
На вищому рівні існують різні методи для вилучення стислих представлень характеристик заданих вхідних даних, які потім можна аналізувати за допомогою стандартних методів кластеризації . Крім того, мережі можна навчити виводити лінгвістичні пояснення своєї поведінки, які потім безпосередньо інтерпретуються людиною. Поведінку моделі також можна пояснити з посиланням на навчальні дані, наприклад, оцінивши, які вхідні дані для навчання найбільше вплинули на дану поведінку.
Регулювання
Оскільки регуляторні органи, офіційні органи та звичайні користувачі починають залежати від динамічних систем на основі штучного інтелекту, буде потрібна чіткіша підзвітність для автоматизованих процесів прийняття рішень, щоб забезпечити довіру та прозорість. Свідченням того, що ця вимога набирає все більше обертів, можна побачити запуск першої глобальної конференції, виключно присвяченої цій новітній дисципліні, Міжнародної спільної конференції зі штучного інтелекту: семінар з пояснюваного ШІ.
Європейський Союз запровадив право на роз'яснення в Загальному праві на захист даних (GDPR) як спробу вирішити потенційні проблеми, пов'язані зі зростанням важливості алгоритмів. Реалізація розпорядження розпочалася у 2018 році. Однак право на пояснення в GDPR охоплює лише місцевий аспект інтерпретації. У Сполучених Штатах страхові компанії повинні мати можливість пояснити свої рішення щодо тарифів і покриття.
Нещодавні дослідження припускають, що прагнення до пояснення методів ШІ слід вважати другорядною метою для досягнення ефективності ШІ, і що заохочення ексклюзивного розвитку Поясненного ШІ може ширше обмежити функціональність ШІ. Критика Поясненного ШІ спирається на розроблені концепції механістичного та емпіричного міркування з доказової медицини, щоб припустити, що технології ШІ можуть бути клінічно підтверджені, навіть якщо їх функції не можуть бути зрозумілі їхніми операторами.
Більше того, системи Поясненного ШІ в першу чергу зосереджені на тому, щоб зробити системи штучного інтелекту зрозумілими для практиків AI, а не для кінцевих користувачів, і їхні результати щодо сприйняття користувачами цих систем були дещо фрагментовані. Деякі дослідники також виступають за використання інтерпретованих моделей машинного навчання, а не використання пост-хос пояснень, коли для пояснення першої створюється друга модель. Почасти це пов'язано з тим, що пост-спеціальні моделі збільшують складність на шляху прийняття рішень, а почасти тому, що часто неясно, наскільки достовірно спеціальне пояснення може імітувати обчислення цілком окремої моделі.
Див. також
Поясненного ШІ досліджували в багатьох секторах, включаючи:
- Конструкція антени (удосконалена антена)
- Алгоритмічна торгівля (високочастотна торгівля)
- Автоматизоване прийняття рішень
- Медичні діагнози
- Автономні транспортні засоби
- Текстова аналітика
- Кримінальне правосуддя
Примітки
- Janssen, Femke M.; Aben, Katja K. H.; Heesterman, Berdine L.; Voorham, Quirinus J. M.; Seegers, Paul A.; Moncada-Torres, Arturo (February 2022). Using Explainable Machine Learning to Explore the Impact of Synoptic Reporting on Prostate Cancer. Algorithms (англ.). 15 (2): 49. doi:10.3390/a15020049. ISSN 1999-4893.
- Sample, Ian (5 листопада 2017). Computer says no: why making AIs fair, accountable and transparent is crucial. The Guardian (англ.). Процитовано 30 січня 2018.
- Alizadeh, Fatemeh (2021). I Don't Know, Is AI Also Used in Airbags?: An Empirical Study of Folk Concepts and People's Expectations of Current and Future Artificial Intelligence. Icom. doi:10.1515/icom-2021-0009. S2CID 233328352.
- Edwards, Lilian; Veale, Michael (2017). Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For. Duke Law and Technology Review. 16: 18. SSRN 2972855.
- Gunning, D.; Stefik, M.; Choi, J.; Miller, T.; Stumpf, S.; Yang, G.-Z. (18 грудня 2019). XAI-Explainable artificial intelligence. Science Robotics (англ.). 4 (37): eaay7120. doi:10.1126/scirobotics.aay7120. ISSN 2470-9476. PMID 33137719.
- Rieg, Thilo; Frick, Janek; Baumgartl, Hermann; Buettner, Ricardo (17 грудня 2020). Demonstration of the potential of white-box machine learning approaches to gain insights from cardiovascular disease electrocardiograms. PLOS ONE (англ.). 15 (12): e0243615. Bibcode:2020PLoSO..1543615R. doi:10.1371/journal.pone.0243615. ISSN 1932-6203. PMC 7746264. PMID 33332440.
- Loyola-González, O. (2019). Black-Box vs. White-Box: Understanding Their Advantages and Weaknesses From a Practical Point of View. IEEE Access. 7: 154096—154113. doi:10.1109/ACCESS.2019.2949286. ISSN 2169-3536.
- Roscher, R.; Bohn, B.; Duarte, M. F.; Garcke, J. (2020). Explainable Machine Learning for Scientific Insights and Discoveries. IEEE Access. 8: 42200—42216. arXiv:1905.08883. doi:10.1109/ACCESS.2020.2976199. ISSN 2169-3536.
- Murdoch, W. James; Singh, Chandan; Kumbier, Karl; Abbasi-Asl, Reza; Yu, Bin (14 січня 2019). Interpretable machine learning: definitions, methods, and applications. Proceedings of the National Academy of Sciences of the United States of America. 116 (44): 22071—22080. arXiv:1901.04592. Bibcode:2019arXiv190104592M. doi:10.1073/pnas.1900654116. PMC 6825274. PMID 31619572.
- Lipton, Zachary C. (June 2018). The Mythos of Model Interpretability: In machine learning, the concept of interpretability is both important and slippery. Queue (англ.). 16 (3): 31—57. doi:10.1145/3236386.3241340. ISSN 1542-7730.
- Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI. DeepAI. 22 жовтня 2019. Процитовано 13 січня 2021.
- Montavon, Grégoire; Samek, Wojciech; (1 лютого 2018). Methods for interpreting and understanding deep neural networks. Digital Signal Processing (англ.). 73: 1—15. doi:10.1016/j.dsp.2017.10.011. ISSN 1051-2004.
- Adadi, A.; Berrada, M. (2018). Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI). IEEE Access. 6: 52138—52160. doi:10.1109/ACCESS.2018.2870052. ISSN 2169-3536.
- Rudin, Cynthia (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence (англ.). 1 (5): 206—215. arXiv:1811.10154. doi:10.1038/s42256-019-0048-x. ISSN 2522-5839.
- How AI detectives are cracking open the black box of deep learning. Science (англ.). 5 липня 2017. Процитовано 30 січня 2018..
- Dosilovic, Filip; Brcic, Mario; Hlupic, Nikica (25 травня 2018). (PDF). MIPRO 2018 - 41st International Convention Proceedings. MIPRO 2018. Opatija, Croatia. с. 210—215. doi:10.23919/MIPRO.2018.8400040. ISBN . Архів оригіналу (PDF) за 10 грудня 2018. Процитовано 9 грудня 2018.
- DeepMind Has Simple Tests That Might Prevent Elon Musk's AI Apocalypse. Bloomberg.com (англ.). 11 грудня 2017. Процитовано 30 січня 2018.
- Learning from Human Preferences. OpenAI Blog. 13 червня 2017. Процитовано 30 січня 2018.
- Explainable Artificial Intelligence (XAI). DARPA. DARPA. Процитовано 17 липня 2017.
- Biecek, Przemyslaw (23 червня 2018). DALEX: explainers for complex predictive models. Journal of Machine Learning Research. 19: 1—5. arXiv:1806.08915. Bibcode:2018arXiv180608915B.
- Aler Tubella, Andrea; Theodorou, Andreas; Dignum, Frank; Dignum, Virginia (2019). Governance by Glass-Box: Implementing Transparent Moral Bounds for AI Behaviour. Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence. California: International Joint Conferences on Artificial Intelligence Organization. с. 5787—5793. doi:10.24963/ijcai.2019/802. ISBN .
- Sokol, Kacper; Flach, Peter (2018). Glass-Box: Explaining AI Decisions With Counterfactual Statements Through Conversation With a Voice-enabled Virtual Assistant. Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence. с. 5868—5870. doi:10.24963/ijcai.2018/865. ISBN .
- Fagan, L. M.; Shortliffe, E. H.; Buchanan, B. G. (1980). Computer-based medical decision making: from MYCIN to VM. Automedica. 3 (2): 97—108.
- Clancey, William (1987). Knowledge-Based Tutoring: The GUIDON Program. Cambridge, Massachusetts: The MIT Press.
- Brown, John S.; Burton, R. R.; De Kleer, Johan (1982). Pedagogical, natural language, and knowledge engineering techniques in SOPHIE I, II, and III. Intelligent Tutoring Systems. Academic Press. ISBN .
- Bareiss, Ray; Porter, Bruce; Weir, Craig; Holte, Robert (1990). Protos: An Exemplar-Based Learning Apprentice. Machine Learning. Т. 3. Morgan Kaufmann Publishers Inc. с. 112—139. ISBN .
- Bareiss, Ray. Exemplar-Based Knowledge Acquisition: A Unified Approach to Concept Representation, Classification, and Learning. Perspectives in Artificial Intelligence.
- Van Lent, M.; Fisher, W.; Mancuso, M. (July 2004). An explainable artificial intelligence system for small-unit tactical behavior. Proceedings of the National Conference on Artificial Intelligence. San Jose, CA: AAAI Press. с. 900—907. ISBN .
- Russell, Stuart; Norvig, Peter (2003). Artificial Intelligence: A Modern Approach. Prentice Hall Series in Artificial Intelligence (вид. Second). Upper Saddle River, New Jersey: Prentice Hall, Pearson Education. ISBN .
- Tickle, A. B.; Andrews, R.; Golea, M.; Diederich, J. (November 1998). The truth will come to light: directions and challenges in extracting the knowledge embedded within trained artificial neural networks. IEEE Transactions on Neural Networks. 9 (6): 1057—1068. doi:10.1109/72.728352. ISSN 1045-9227. PMID 18255792.
- Accenture Unveils Tool to Help Companies Insure Their AI Is Fair. Bloomberg.com (англ.). June 2018. Процитовано 5 серпня 2018.
- Minsky, et al., «The Society of Intelligent Veillance» IEEE ISTAS2013, pages 13-17.
- Mukherjee, Siddhartha (27 березня 2017). A.I. Versus M.D. The New Yorker. Процитовано 30 січня 2018.
- Csiszár, Orsolya; Csiszár, Gábor; Dombi, József (8 липня 2020). Interpretable neural networks based on continuous-valued logic and multicriteria decision operators. Knowledge-Based Systems (англ.). 199: 105972. arXiv:1910.02486. doi:10.1016/j.knosys.2020.105972. ISSN 0950-7051.
- Murdoch, W. James; Singh, Chandan; Kumbier, Karl; Abbasi-Asl, Reza; Yu, Bin (14 січня 2019). Interpretable machine learning: definitions, methods, and applications. Proceedings of the National Academy of Sciences of the United States of America. 116 (44): 22071—22080. arXiv:1901.04592. Bibcode:2019arXiv190104592M. doi:10.1073/pnas.1900654116. PMC 6825274. PMID 31619572.
- Dombi, József; Csiszár, Orsolya (2021). Explainable Neural Networks Based on Fuzzy Logic and Multi-criteria Decision Tools. Studies in Fuzziness and Soft Computing (en-gb) . 408. doi:10.1007/978-3-030-72280-7. ISBN . ISSN 1434-9922.
- Shiebler, Dan (16 квітня 2017). Understanding Neural Networks with Layerwise Relevance Propagation and Deep Taylor Series. Dan Shiebler. Процитовано 3 листопада 2017.
- Bach, Sebastian; Binder, Alexander; Montavon, Grégoire; Klauschen, Frederick; ; Samek, Wojciech (10 липня 2015). Suarez, Oscar Deniz (ред.). On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation. PLOS ONE. 10 (7): e0130140. Bibcode:2015PLoSO..1030140B. doi:10.1371/journal.pone.0130140. ISSN 1932-6203. PMC 4498753. PMID 26161953.
- Sample, Ian (5 листопада 2017). Computer says no: why making AIs fair, accountable and transparent is crucial. The Guardian (англ.). Процитовано 5 серпня 2018.
- Martens, David; Provost, Foster (2014). Explaining data-driven document classifications (PDF). MIS Quarterly. 38: 73—99. doi:10.25300/MISQ/2014/38.1.04.
- "Why Should I Trust You?" | Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (EN) . doi:10.1145/2939672.2939778.
- Lundberg, Scott M; Lee, Su-In (2017), Guyon, I.; Luxburg, U. V.; Bengio, S.; Wallach, H. (ред.), A Unified Approach to Interpreting Model Predictions (PDF), Advances in Neural Information Processing Systems 30, Curran Associates, Inc.: 4765—4774, arXiv:1705.07874, Bibcode:2017arXiv170507874L, процитовано 13 березня 2020
- Carter, Brandon; Mueller, Jonas; Jain, Siddhartha; Gifford, David (11 квітня 2019). What made you do this? Understanding black-box decisions with sufficient input subsets. The 22nd International Conference on Artificial Intelligence and Statistics (англ.): 567—576.
- Shrikumar, Avanti; Greenside, Peyton; Kundaje, Anshul (17 липня 2017). Learning Important Features Through Propagating Activation Differences. International Conference on Machine Learning (англ.): 3145—3153.
- Axiomatic attribution for deep networks | Proceedings of the 34th International Conference on Machine Learning — Volume 70. Icml'17 (EN) . 6 серпня 2017: 3319—3328. Процитовано 13 березня 2020.
- Aivodji, Ulrich; Arai, Hiromi; Fortineau, Olivier; Gambs, Sébastien; Hara, Satoshi; Tapp, Alain (24 травня 2019). Fairwashing: the risk of rationalization. International Conference on Machine Learning (англ.). PMLR: 161—170. arXiv:1901.09749.
- Le Merrer, Erwan; Trédan, Gilles (September 2020). Remote explainability faces the bouncer problem. Nature Machine Intelligence (англ.). 2 (9): 529—539. arXiv:1910.01432. doi:10.1038/s42256-020-0216-z. ISSN 2522-5839.
- Rudin, Cynthia (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence (англ.). 1 (5): 206—215. arXiv:1811.10154. doi:10.1038/s42256-019-0048-x. ISSN 2522-5839.
- Singh, Chandan; Nasseri, Keyan; Tan, Yan Shuo; Tang, Tiffany; Yu, Bin (4 травня 2021). imodels: a python package for fitting interpretable models. Journal of Open Source Software (англ.). 6 (61): 3192. Bibcode:2021JOSS....6.3192S. doi:10.21105/joss.03192. ISSN 2475-9066.
- Vidal, Thibaut; Schiffer, Maximilian (2020). Born-Again Tree Ensembles. International Conference on Machine Learning (англ.). PMLR. 119: 9743—9753. arXiv:2003.11132.
- Ustun, Berk; Rudin, Cynthia (1 березня 2016). Supersparse linear integer models for optimized medical scoring systems. Machine Learning (англ.). 102 (3): 349—391. doi:10.1007/s10994-015-5528-6. ISSN 1573-0565.
- Bostrom, N., & Yudkowsky, E. (2014). The ethics of artificial intelligence. The Cambridge Handbook of Artificial Intelligence, 316—334.
- FAT* Conference.
- Computer programs recognise white men better than black women. The Economist (англ.). 2018. Процитовано 5 серпня 2018.
- Olah, Chris; Cammarata, Nick; Schubert, Ludwig; Goh, Gabriel; Petrov, Michael; Carter, Shan (10 березня 2020). Zoom In: An Introduction to Circuits. Distill (англ.). 5 (3): e00024.001. doi:10.23915/distill.00024.001. ISSN 2476-0757.
- Li, Yixuan; Yosinski, Jason; Clune, Jeff; Lipson, Hod; Hopcroft, John (8 грудня 2015). Convergent Learning: Do different neural networks learn the same representations?. Feature Extraction: Modern Questions and Challenges (англ.). PMLR: 196—212.
- Hendricks, Lisa Anne; Akata, Zeynep; Rohrbach, Marcus; Donahue, Jeff; Schiele, Bernt; Darrell, Trevor (2016). Generating Visual Explanations. Computer Vision – ECCV 2016. Lecture Notes in Computer Science (англ.). Springer International Publishing. 9908: 3—19. arXiv:1603.08507. doi:10.1007/978-3-319-46493-0_1. ISBN .
- Koh, Pang Wei; Liang, Percy (17 липня 2017). Understanding Black-box Predictions via Influence Functions. International Conference on Machine Learning (англ.). PMLR: 1885—1894. arXiv:1703.04730.
- (PDF). Earthlink. IJCAI. Архів оригіналу (PDF) за 4 April 2019. Процитовано 17 липня 2017.
- Kahn, Jeremy (12 грудня 2018). Artificial Intelligence Has Some Explaining to Do. Bloomberg Businessweek. Процитовано 17 грудня 2018.
- McCoy, Liam G.; Brenna, Connor T. A.; Chen, Stacy S.; Vold, Karina; Das, Sunit (5 листопада 2021). Believing in black boxes: machine learning for healthcare does not need explainability to be evidence-based. Journal of Clinical Epidemiology (English) . 142 (Online ahead of print): 252—257. doi:10.1016/j.jclinepi.2021.11.001. ISSN 0895-4356. PMID 34748907.
- Ghassemi, Marzyeh; Oakden-Rayner, Luke; Beam, Andrew L. (1 листопада 2021). The false hope of current approaches to explainable artificial intelligence in health care. The Lancet Digital Health (English) . 3 (11): e745—e750. doi:10.1016/S2589-7500(21)00208-9. ISSN 2589-7500. PMID 34711379.
- Alizadeh, Fatemeh (2020). eXplainable AI: take one step back, move two steps forward. Mensch und Computer.
- . NASA. NASA. Архів оригіналу за 8 серпня 2017. Процитовано 17 липня 2017.
- The Flash Crash: The Impact of High Frequency Trading on an Electronic Market (PDF). CFTC. CFTC. Процитовано 17 липня 2017.
- Weng, Stephen F; Reps, Jenna; Kai, Joe; Garibaldi, Jonathan M; Qureshi, Nadeem (2017). Can machine-learning improve cardiovascular risk prediction using routine clinical data?. PLOS ONE. 12 (4): e0174944. Bibcode:2017PLoSO..1274944W. doi:10.1371/journal.pone.0174944. PMC 5380334. PMID 28376093.
- Lakkaraju, Himabindu; Rudin, Cynthia. Learning Cost-Effective and Interpretable Treatment Regimes (PDF). International Conference on Artificial Intelligence and Statistics (AISTATS). 2017.
- Tosun, Akif (2020). Explainable AI (xAI) for Anatomic Pathology. Advances in Anatomic Pathology. July 2020 - Volume 27 - Issue 4 - p 241-250 (4): 241—250. doi:10.1097/PAP.0000000000000264. PMID 32541594.
- https://www.spintellx.com/
- Tesla says it has 'no way of knowing' if autopilot was used in fatal Chinese crash. Guardian. 14 вересня 2016. Процитовано 17 липня 2017.
- Abrams, Rachel; Kurtz, Annalyn (July 2016). Joshua Brown, Who Died in Self-Driving Accident, Tested Limits of His Tesla. New York Times. Процитовано 17 липня 2017.
- Qureshi, M. Atif; Greene, Derek (4 червня 2018). EVE: explainable vector based embedding technique using Wikipedia. Journal of Intelligent Information Systems (англ.). 53: 137—165. arXiv:1702.06891. doi:10.1007/s10844-018-0511-x. ISSN 0925-9902.
- Galhotra, Sainyam; Pradhan, Romila; Salimi, Babak (2021). Explaining black-box algorithms using probabilistic contrastive counterfactuals}. ACM Sigmod. 2021: 577—590. arXiv:2103.11972. doi:10.1145/3448016.3458455. ISBN .
Література
- Molnar, Christoph. Interpretable Machine Learning.
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Poyasnennij Shtuchnij Intelekt abo Interpretovnij Shtuchnij Intelekt abo Zrozumile Mashinne Navchannya ce shtuchnij intelekt ShI v yakomu rezultati rishennya mozhut buti zrozumili lyudini Ce kontrastuye z koncepciyeyu chornogo yashika v mashinnomu navchanni de navit jogo rozrobniki ne mozhut poyasniti chomu ShI prijshov do konkretnogo rishennya Udoskonalyuyuchi mentalni modeli koristuvachiv sistem na bazi shtuchnogo intelektu ta rozbirayuchi yihni pomilkovi uyavlennya Poyasnennij ShI obicyaye dopomogti koristuvacham pracyuvati bilsh efektivno Poyasnennij ShI mozhe buti realizaciyeyu socialnogo en Poyasnennij ShI aktualnij navit yaksho nemaye yuridichnih prav abo normativnih vimog napriklad Poyasnennij ShI mozhe pokrashiti koristuvacku vzayemodiyu z produktom abo poslugoyu dopomagayuchi kincevim koristuvacham viriti sho ShI prijmaye pravilni rishennya Takim chinom meta Poyasnennogo ShI poyasniti sho bulo zrobleno sho zrobleno zaraz sho bude zrobleno dali ta rozkriti informaciyu na yakij bazuyutsya diyi Ci harakteristiki dozvolyayut i pidtverditi nayavni znannya ii kinuti viklik isnuyuchim znannyam i iii stvoriti novi pripushennya Algoritmi sho vikoristovuyutsya v ShI mozhna rozrizniti na algoritmi mashinnogo navchannya MN bilogo yashika i chornogo yashika Modeli bilogo yashika ce modeli mashinnogo navchannya yaki zabezpechuyut rezultati zrozumili dlya ekspertiv u danij oblasti Z inshogo boku modeli chornih yashikiv nadzvichajno vazhko poyasniti i navryad chi mozhut buti zrozumili navit ekspertam v oblasti Vvazhayetsya sho algoritmi Poyasnennogo ShI dotrimuyutsya troh principiv prozorosti interpretaciyi ta poyasnennya Prozorist nadayetsya yaksho procesi yaki vityaguyut parametri modeli z navchalnih danih i generuyut mitki z danih testuvannya mozhut buti opisani ta motivovani rozrobnikom pidhodu Interpretaciya opisuye mozhlivist zrozumiti model mashinnogo navchannya i predstaviti osnovnu osnovu dlya prijnyattya rishen u sposib zrozumilij dlya lyudej Poyasnennya ce ponyattya yake viznayetsya vazhlivim ale spilnogo viznachennya poki nemaye Pripuskayetsya sho poyasnyuvanist u mashinnomu navchanni mozhna rozglyadati yak nabir oznak interpretovanogo domenu yaki vnesli dlya danogo prikladu vnesok u prijnyattya rishennya napriklad klasifikaciyu chi regresiyu Yaksho algoritmi vidpovidayut cim vimogam voni zabezpechuyut osnovu dlya obgruntuvannya rishen vidstezhennya ta takim chinom yih perevirki vdoskonalennya algoritmiv ta doslidzhennya novih faktiv Inodi takozh mozhna dosyagti rezultatu z visokoyu tochnistyu za dopomogoyu algoritmu mashinnogo navchannya z bilim yashikom yakij sam po sobi interpretuyetsya Ce osoblivo vazhlivo v takih galuzyah yak medicina oborona finansi ta pravo de duzhe vazhlivo rozumiti rishennya ta zmicnyuvati doviru do algoritmiv Sistemi shtuchnogo intelektu optimizuyut povedinku shob zadovolniti matematichno viznachenu sistemu cilej vibranu rozrobnikami sistemi napriklad komandu maksimizuvati tochnist ocinki pozitivnih recenzij na filmi v testovomu nabori danih ShI mozhe zasvoyiti korisni zagalni pravila z testovogo naboru napriklad vidguki sho mistyat slovo zhahlivij imovirno budut negativnimi Odnak vin takozh mozhe zasvoyiti nevidpovidni pravila napriklad vidguki sho mistyat Dniel Dej Lyuyis zazvichaj pozitivni taki pravila mozhut buti nebazhanimi yaksho vvazhayetsya sho voni ne zmozhut uzagalniti za mezhami testovogo naboru abo yaksho lyudi vvazhayut pravilo shahrajskim abo nespravedlivim Lyudina mozhe pereviryati pravila v Poyasnennomu ShI shob otrimati uyavlennya pro te naskilki jmovirno sho sistema uzagalnit majbutni dani realnogo svitu za mezhami testovogo naboru CiliSpivpracya mizh agentami v danomu vipadku algoritmami ta lyudmi zalezhit vid doviri Yaksho lyudi hochut prijnyati algoritmichni pripisi voni povinni yim doviryati Nepovnota formalizaciyi kriteriyiv doviri ye pereshkodoyu dlya pryamih pidhodiv do optimizaciyi Z ciyeyi prichini interpretaciya ta poyasnyuvanist postavleni yak promizhni cili dlya perevirki inshih kriteriyiv Sistemi shtuchnogo intelektu inodi vivchayut nebazhani tryuki yaki optimalno vikonuyut zavdannya shob zadovolniti yavni zazdalegid zaprogramovani cili na danih navchannya ale yaki ne vidobrazhayut skladnih neyavnih bazhan rozrobnikiv lyudskih sistem Napriklad sistema 2017 roku yakij postavleno zavdannya rozpiznavannya zobrazhen navchilasya shahrajstva shukayuchi teg avtorskogo prava yakij buv pov yazanij iz zobrazhennyami konej zamist togo shob diznatisya chi dijsno kin zobrazhenij V inshij sistemi 2017 roku shtuchnij intelekt iz kerovanim navchannyam yakomu bulo postavleno zavdannya zahoplyuvati predmeti u virtualnomu sviti navchivsya obmanyuvati roztashuvavshi svij manipulyator mizh ob yektom i glyadachem takim chinom sho zdavalosya sho vin pomilkovo zahoplyuye ob yekt Odin iz proektiv prozorosti programa DARPA XAI maye na meti stvoriti modeli sklyanoyi korobki yaki mozhna poyasniti lyudini v petli bez znachnoyi shkodi dlya roboti ShI Koristuvachi lyudi povinni mati mozhlivist rozumiti piznannya ShI yak u realnomu chasi tak i pislya faktu i povinni mati mozhlivist viznachiti koli doviryati ShI a koli nedoviryati Inshimi zastosuvannyami XAI ye viluchennya znan iz modelej chornogo yashika ta porivnyannya modelej Termin sklyana korobka takozh vikoristovuvavsya dlya instrumentiv yaki vidstezhuyut vhidni ta vihidni dani sistemi z metoyu perevirki dotrimannya sistemi etichnim i socialno pravovim cinnostyam i otzhe stvorennya poyasnen na osnovi cinnostej Krim togo cej samij termin vikoristovuvavsya dlya nazvi golosovogo pomichnika yakij vidaye kontrfaktichni zayavi yak poyasnennya Istoriya ta metodiProtyagom 1970 1990 h rokiv buli doslidzheni simvolichni sistemi mirkuvannya taki yak MYCIN GUIDON SOPHIE i PROTOS yaki mogli predstavlyati mirkuvati ta poyasnyuvati svoyi mirkuvannya dlya diagnostiki cili navchannya abo mashinnogo navchannya navchannya na osnovi poyasnen MYCIN rozroblenij na pochatku 1970 h rokiv yak doslidnickij prototip dlya diagnostiki bakteriyemnih infekcij krovotoku mig bi poyasniti yaki z jogo zakodovanih vruchnu pravil spriyali vstanovlennyu diagnozu v konkretnomu vipadku Doslidzhennya intelektualnih sistem repetitorstva prizvelo do rozrobki takih sistem yak SOPHIE yaki mogli b diyati yak viraznij ekspert poyasnyuyuchi strategiyu virishennya problem na rivni zrozumilomu studentam shob voni znali yaki diyi slid zrobiti dali Napriklad SOPHIE mogla b poyasniti yakisni mirkuvannya yaki stoyat za yiyi usunennyam nespravnostej v elektronici navit nezvazhayuchi na te sho vona v kincevomu pidsumku pokladalasya na simulyator shemi SPICE Analogichno GUIDON dodav navchalni pravila shob dopovniti pravila na rivni domenu MYCIN shob poyasniti strategiyu medichnoyi diagnostiki Simvolichni pidhodi do mashinnogo navchannya osoblivo ti sho pokladayutsya na navchannya na osnovi poyasnen taki yak PROTOS yavno pokladalisya na uyavlennya poyasnen yak dlya poyasnennya svoyih dij tak i dlya otrimannya novih znan Z 1980 h do pochatku 1990 h rokiv buli rozrobleni sistemi pidtrimki istini TMS shob rozshiriti mozhlivosti prichinno naslidkovih zasnovanih na pravilah i logichnih sistem visnovkiv 360 362 TMS diye shob chitko vidstezhuvati alternativni liniyi mirkuvan obgruntuvannya visnovkiv i liniyi mirkuvan yaki prizvodyat do superechnostej dozvolyayuchi majbutnim mirkuvannyam uniknuti cih tupikiv Shob nadati poyasnennya voni vidstezhuyut mirkuvannya vid visnovkiv do pripushen za dopomogoyu operacij pravil abo logichnih visnovkiv sho dozvolyaye generuvati poyasnennya na osnovi slidiv mirkuvan Yak priklad rozglyanemo rozv yazuvach zadach na osnovi pravil iz lishe kilkoma pravilami pro Sokrata yakij robit visnovok sho vin pomer vid otruti Prosto prostezhivshi strukturu zalezhnostej rozv yazuvach zadachi mozhe pobuduvati take poyasnennya Sokrat pomer tomu sho vin buv smertnim i vipiv otrutu i vsi smertni vmirayut koli p yut otrutu Sokrat buv smertnim tomu sho vin buv lyudinoyu a vsi lyudi smertni Sokrat piv otrutu tomu sho vin dotrimuvavsya disidentskih perekonan uryad buv konservativnim a ti hto dotrimuyetsya konservativnih disidentskih perekonan pri konservativnih uryadah povinni piti otrutu U 1990 h rokah doslidniki takozh pochali vivchati chi mozhna osmisleno vityagti ne zakodovani vruchnu pravila yaki generuyutsya neprozorimi navchenimi nejronnimi merezhami Doslidniki klinichnih ekspertnih sistem yaki stvoryuyut pidtrimku prijnyattya rishen na osnovi nejronnih merezh dlya klinicistiv namagalisya rozrobiti dinamichni poyasnennya yaki dozvolyat cim tehnologiyam buti bilsh dovirenimi ta nadijnimi na praktici U 2010 h rokah zanepokoyennya gromadskosti z privodu rasovoyi ta inshoyi uperedzhenosti u vikoristanni shtuchnogo intelektu dlya uhvalennya kriminalnih virokiv i visnovkiv pro kreditospromozhnist mozhlivo prizveli do zbilshennya popitu na prozorij shtuchnij intelekt U rezultati bagato naukovciv ta organizacij rozroblyayut instrumenti yaki dopomagayut viyavlyati uperedzhenist u svoyih sistemah Marvin Minskij ta in pidnyav pitannya pro te sho ShI mozhe funkcionuvati yak forma sposterezhennya z uperedzhennyami vlastivimi naglyadu zaproponuvavshi HI gumanistichnij intelekt yak sposib stvoriti bilsh spravedlivij i zbalansovanij ShI lyudina v petli Suchasni skladni metodi shtuchnogo intelektu taki yak gliboke navchannya ta genetichni algoritmi prirodno neprozori Dlya virishennya ciyeyi problemi bulo rozrobleno bagato novih metodiv shob zrobiti novi modeli bilsh zrozumilimi ta interpretovanimi Ce vklyuchaye bagato metodiv takih yak Layerwise relevance propagation LRP metod viznachennya togo yaki oznaki v pevnomu vhidnomu vektori najbilshe spriyayut vivedennyu nejronnoyi merezhi Inshi metodi buli rozrobleni dlya poyasnennya odnogo konkretnogo prognozu zroblenogo nelinijnoyu modellyu chornogo yashika cil yaku nazivayut lokalnoyu interpretaciyeyu Varto zaznachiti sho prosto perenesennya koncepcij lokalnoyi interpretaciyi u viddalenij kontekst de model chornogo yashika vikonuyetsya tretoyu storonoyu zaraz perebuvaye pid pricilom Krim togo bula robota nad stvorennyam modelej sklyanih korobok yaki buli b bilsh prozorimi dlya oglyadu Ce vklyuchaye dereva rishen bajyesivski merezhi rozridzheni linijni modeli tosho Konferenciya Asociaciyi obchislyuvalnoyi tehniki z pitan spravedlivosti pidzvitnosti ta prozorosti ACM FAccT bula zasnovana v 2018 roci dlya vivchennya prozorosti ta zrozumilosti v konteksti socialno tehnichnih sistem bagato z yakih vklyuchayut shtuchnij intelekt Deyaki metodi dozvolyayut vizualizuvati vhidni dani na yaki najsilnishe reaguyut okremi programni nejroni Dekilka grup viyavili sho nejroni mozhut buti ob yednani v shemi yaki vikonuyut zrozumili lyudini funkciyi deyaki z yakih nadijno vinikayut u riznih merezhah yaki navchayutsya nezalezhno Na vishomu rivni isnuyut rizni metodi dlya viluchennya stislih predstavlen harakteristik zadanih vhidnih danih yaki potim mozhna analizuvati za dopomogoyu standartnih metodiv klasterizaciyi Krim togo merezhi mozhna navchiti vivoditi lingvistichni poyasnennya svoyeyi povedinki yaki potim bezposeredno interpretuyutsya lyudinoyu Povedinku modeli takozh mozhna poyasniti z posilannyam na navchalni dani napriklad ocinivshi yaki vhidni dani dlya navchannya najbilshe vplinuli na danu povedinku RegulyuvannyaOskilki regulyatorni organi oficijni organi ta zvichajni koristuvachi pochinayut zalezhati vid dinamichnih sistem na osnovi shtuchnogo intelektu bude potribna chitkisha pidzvitnist dlya avtomatizovanih procesiv prijnyattya rishen shob zabezpechiti doviru ta prozorist Svidchennyam togo sho cya vimoga nabiraye vse bilshe obertiv mozhna pobachiti zapusk pershoyi globalnoyi konferenciyi viklyuchno prisvyachenoyi cij novitnij disciplini Mizhnarodnoyi spilnoyi konferenciyi zi shtuchnogo intelektu seminar z poyasnyuvanogo ShI Yevropejskij Soyuz zaprovadiv pravo na roz yasnennya v Zagalnomu pravi na zahist danih GDPR yak sprobu virishiti potencijni problemi pov yazani zi zrostannyam vazhlivosti algoritmiv Realizaciya rozporyadzhennya rozpochalasya u 2018 roci Odnak pravo na poyasnennya v GDPR ohoplyuye lishe miscevij aspekt interpretaciyi U Spoluchenih Shtatah strahovi kompaniyi povinni mati mozhlivist poyasniti svoyi rishennya shodo tarifiv i pokrittya Neshodavni doslidzhennya pripuskayut sho pragnennya do poyasnennya metodiv ShI slid vvazhati drugoryadnoyu metoyu dlya dosyagnennya efektivnosti ShI i sho zaohochennya eksklyuzivnogo rozvitku Poyasnennogo ShI mozhe shirshe obmezhiti funkcionalnist ShI Kritika Poyasnennogo ShI spirayetsya na rozrobleni koncepciyi mehanistichnogo ta empirichnogo mirkuvannya z dokazovoyi medicini shob pripustiti sho tehnologiyi ShI mozhut buti klinichno pidtverdzheni navit yaksho yih funkciyi ne mozhut buti zrozumili yihnimi operatorami Bilshe togo sistemi Poyasnennogo ShI v pershu chergu zoseredzheni na tomu shob zrobiti sistemi shtuchnogo intelektu zrozumilimi dlya praktikiv AI a ne dlya kincevih koristuvachiv i yihni rezultati shodo sprijnyattya koristuvachami cih sistem buli desho fragmentovani Deyaki doslidniki takozh vistupayut za vikoristannya interpretovanih modelej mashinnogo navchannya a ne vikoristannya post hos poyasnen koli dlya poyasnennya pershoyi stvoryuyetsya druga model Pochasti ce pov yazano z tim sho post specialni modeli zbilshuyut skladnist na shlyahu prijnyattya rishen a pochasti tomu sho chasto neyasno naskilki dostovirno specialne poyasnennya mozhe imituvati obchislennya cilkom okremoyi modeli Div takozhPoyasnennogo ShI doslidzhuvali v bagatoh sektorah vklyuchayuchi Konstrukciya anteni udoskonalena antena Algoritmichna torgivlya visokochastotna torgivlya Avtomatizovane prijnyattya rishen Medichni diagnozi Avtonomni transportni zasobi Tekstova analitika Kriminalne pravosuddyaPrimitkiJanssen Femke M Aben Katja K H Heesterman Berdine L Voorham Quirinus J M Seegers Paul A Moncada Torres Arturo February 2022 Using Explainable Machine Learning to Explore the Impact of Synoptic Reporting on Prostate Cancer Algorithms angl 15 2 49 doi 10 3390 a15020049 ISSN 1999 4893 Sample Ian 5 listopada 2017 Computer says no why making AIs fair accountable and transparent is crucial The Guardian angl Procitovano 30 sichnya 2018 Alizadeh Fatemeh 2021 I Don t Know Is AI Also Used in Airbags An Empirical Study of Folk Concepts and People s Expectations of Current and Future Artificial Intelligence Icom doi 10 1515 icom 2021 0009 S2CID 233328352 Edwards Lilian Veale Michael 2017 Slave to the Algorithm Why a Right to an Explanation Is Probably Not the Remedy You Are Looking For Duke Law and Technology Review 16 18 SSRN 2972855 Gunning D Stefik M Choi J Miller T Stumpf S Yang G Z 18 grudnya 2019 XAI Explainable artificial intelligence Science Robotics angl 4 37 eaay7120 doi 10 1126 scirobotics aay7120 ISSN 2470 9476 PMID 33137719 Rieg Thilo Frick Janek Baumgartl Hermann Buettner Ricardo 17 grudnya 2020 Demonstration of the potential of white box machine learning approaches to gain insights from cardiovascular disease electrocardiograms PLOS ONE angl 15 12 e0243615 Bibcode 2020PLoSO 1543615R doi 10 1371 journal pone 0243615 ISSN 1932 6203 PMC 7746264 PMID 33332440 Loyola Gonzalez O 2019 Black Box vs White Box Understanding Their Advantages and Weaknesses From a Practical Point of View IEEE Access 7 154096 154113 doi 10 1109 ACCESS 2019 2949286 ISSN 2169 3536 Roscher R Bohn B Duarte M F Garcke J 2020 Explainable Machine Learning for Scientific Insights and Discoveries IEEE Access 8 42200 42216 arXiv 1905 08883 doi 10 1109 ACCESS 2020 2976199 ISSN 2169 3536 Murdoch W James Singh Chandan Kumbier Karl Abbasi Asl Reza Yu Bin 14 sichnya 2019 Interpretable machine learning definitions methods and applications Proceedings of the National Academy of Sciences of the United States of America 116 44 22071 22080 arXiv 1901 04592 Bibcode 2019arXiv190104592M doi 10 1073 pnas 1900654116 PMC 6825274 PMID 31619572 Lipton Zachary C June 2018 The Mythos of Model Interpretability In machine learning the concept of interpretability is both important and slippery Queue angl 16 3 31 57 doi 10 1145 3236386 3241340 ISSN 1542 7730 Explainable Artificial Intelligence XAI Concepts Taxonomies Opportunities and Challenges toward Responsible AI DeepAI 22 zhovtnya 2019 Procitovano 13 sichnya 2021 Montavon Gregoire Samek Wojciech 1 lyutogo 2018 Methods for interpreting and understanding deep neural networks Digital Signal Processing angl 73 1 15 doi 10 1016 j dsp 2017 10 011 ISSN 1051 2004 Adadi A Berrada M 2018 Peeking Inside the Black Box A Survey on Explainable Artificial Intelligence XAI IEEE Access 6 52138 52160 doi 10 1109 ACCESS 2018 2870052 ISSN 2169 3536 Rudin Cynthia 2019 Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead Nature Machine Intelligence angl 1 5 206 215 arXiv 1811 10154 doi 10 1038 s42256 019 0048 x ISSN 2522 5839 How AI detectives are cracking open the black box of deep learning Science angl 5 lipnya 2017 Procitovano 30 sichnya 2018 Dosilovic Filip Brcic Mario Hlupic Nikica 25 travnya 2018 PDF MIPRO 2018 41st International Convention Proceedings MIPRO 2018 Opatija Croatia s 210 215 doi 10 23919 MIPRO 2018 8400040 ISBN 978 953 233 095 3 Arhiv originalu PDF za 10 grudnya 2018 Procitovano 9 grudnya 2018 DeepMind Has Simple Tests That Might Prevent Elon Musk s AI Apocalypse Bloomberg com angl 11 grudnya 2017 Procitovano 30 sichnya 2018 Learning from Human Preferences OpenAI Blog 13 chervnya 2017 Procitovano 30 sichnya 2018 Explainable Artificial Intelligence XAI DARPA DARPA Procitovano 17 lipnya 2017 Biecek Przemyslaw 23 chervnya 2018 DALEX explainers for complex predictive models Journal of Machine Learning Research 19 1 5 arXiv 1806 08915 Bibcode 2018arXiv180608915B Aler Tubella Andrea Theodorou Andreas Dignum Frank Dignum Virginia 2019 Governance by Glass Box Implementing Transparent Moral Bounds for AI Behaviour Proceedings of the Twenty Eighth International Joint Conference on Artificial Intelligence California International Joint Conferences on Artificial Intelligence Organization s 5787 5793 doi 10 24963 ijcai 2019 802 ISBN 978 0 9992411 4 1 Sokol Kacper Flach Peter 2018 Glass Box Explaining AI Decisions With Counterfactual Statements Through Conversation With a Voice enabled Virtual Assistant Proceedings of the Twenty Seventh International Joint Conference on Artificial Intelligence s 5868 5870 doi 10 24963 ijcai 2018 865 ISBN 9780999241127 Fagan L M Shortliffe E H Buchanan B G 1980 Computer based medical decision making from MYCIN to VM Automedica 3 2 97 108 Clancey William 1987 Knowledge Based Tutoring The GUIDON Program Cambridge Massachusetts The MIT Press Brown John S Burton R R De Kleer Johan 1982 Pedagogical natural language and knowledge engineering techniques in SOPHIE I II and III Intelligent Tutoring Systems Academic Press ISBN 0 12 648680 8 Bareiss Ray Porter Bruce Weir Craig Holte Robert 1990 Protos An Exemplar Based Learning Apprentice Machine Learning T 3 Morgan Kaufmann Publishers Inc s 112 139 ISBN 1 55860 119 8 Bareiss Ray Exemplar Based Knowledge Acquisition A Unified Approach to Concept Representation Classification and Learning Perspectives in Artificial Intelligence Van Lent M Fisher W Mancuso M July 2004 An explainable artificial intelligence system for small unit tactical behavior Proceedings of the National Conference on Artificial Intelligence San Jose CA AAAI Press s 900 907 ISBN 0262511835 Russell Stuart Norvig Peter 2003 Artificial Intelligence A Modern Approach Prentice Hall Series in Artificial Intelligence vid Second Upper Saddle River New Jersey Prentice Hall Pearson Education ISBN 0 13 790395 2 Tickle A B Andrews R Golea M Diederich J November 1998 The truth will come to light directions and challenges in extracting the knowledge embedded within trained artificial neural networks IEEE Transactions on Neural Networks 9 6 1057 1068 doi 10 1109 72 728352 ISSN 1045 9227 PMID 18255792 Accenture Unveils Tool to Help Companies Insure Their AI Is Fair Bloomberg com angl June 2018 Procitovano 5 serpnya 2018 Minsky et al The Society of Intelligent Veillance IEEE ISTAS2013 pages 13 17 Mukherjee Siddhartha 27 bereznya 2017 A I Versus M D The New Yorker Procitovano 30 sichnya 2018 Csiszar Orsolya Csiszar Gabor Dombi Jozsef 8 lipnya 2020 Interpretable neural networks based on continuous valued logic and multicriteria decision operators Knowledge Based Systems angl 199 105972 arXiv 1910 02486 doi 10 1016 j knosys 2020 105972 ISSN 0950 7051 Murdoch W James Singh Chandan Kumbier Karl Abbasi Asl Reza Yu Bin 14 sichnya 2019 Interpretable machine learning definitions methods and applications Proceedings of the National Academy of Sciences of the United States of America 116 44 22071 22080 arXiv 1901 04592 Bibcode 2019arXiv190104592M doi 10 1073 pnas 1900654116 PMC 6825274 PMID 31619572 Dombi Jozsef Csiszar Orsolya 2021 Explainable Neural Networks Based on Fuzzy Logic and Multi criteria Decision Tools Studies in Fuzziness and Soft Computing en gb 408 doi 10 1007 978 3 030 72280 7 ISBN 978 3 030 72279 1 ISSN 1434 9922 Shiebler Dan 16 kvitnya 2017 Understanding Neural Networks with Layerwise Relevance Propagation and Deep Taylor Series Dan Shiebler Procitovano 3 listopada 2017 Bach Sebastian Binder Alexander Montavon Gregoire Klauschen Frederick Samek Wojciech 10 lipnya 2015 Suarez Oscar Deniz red On Pixel Wise Explanations for Non Linear Classifier Decisions by Layer Wise Relevance Propagation PLOS ONE 10 7 e0130140 Bibcode 2015PLoSO 1030140B doi 10 1371 journal pone 0130140 ISSN 1932 6203 PMC 4498753 PMID 26161953 Sample Ian 5 listopada 2017 Computer says no why making AIs fair accountable and transparent is crucial The Guardian angl Procitovano 5 serpnya 2018 Martens David Provost Foster 2014 Explaining data driven document classifications PDF MIS Quarterly 38 73 99 doi 10 25300 MISQ 2014 38 1 04 Why Should I Trust You Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining EN doi 10 1145 2939672 2939778 Lundberg Scott M Lee Su In 2017 Guyon I Luxburg U V Bengio S Wallach H red A Unified Approach to Interpreting Model Predictions PDF Advances in Neural Information Processing Systems 30 Curran Associates Inc 4765 4774 arXiv 1705 07874 Bibcode 2017arXiv170507874L procitovano 13 bereznya 2020 Carter Brandon Mueller Jonas Jain Siddhartha Gifford David 11 kvitnya 2019 What made you do this Understanding black box decisions with sufficient input subsets The 22nd International Conference on Artificial Intelligence and Statistics angl 567 576 Shrikumar Avanti Greenside Peyton Kundaje Anshul 17 lipnya 2017 Learning Important Features Through Propagating Activation Differences International Conference on Machine Learning angl 3145 3153 Axiomatic attribution for deep networks Proceedings of the 34th International Conference on Machine Learning Volume 70 Icml 17 EN 6 serpnya 2017 3319 3328 Procitovano 13 bereznya 2020 Aivodji Ulrich Arai Hiromi Fortineau Olivier Gambs Sebastien Hara Satoshi Tapp Alain 24 travnya 2019 Fairwashing the risk of rationalization International Conference on Machine Learning angl PMLR 161 170 arXiv 1901 09749 Le Merrer Erwan Tredan Gilles September 2020 Remote explainability faces the bouncer problem Nature Machine Intelligence angl 2 9 529 539 arXiv 1910 01432 doi 10 1038 s42256 020 0216 z ISSN 2522 5839 Rudin Cynthia 2019 Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead Nature Machine Intelligence angl 1 5 206 215 arXiv 1811 10154 doi 10 1038 s42256 019 0048 x ISSN 2522 5839 Singh Chandan Nasseri Keyan Tan Yan Shuo Tang Tiffany Yu Bin 4 travnya 2021 imodels a python package for fitting interpretable models Journal of Open Source Software angl 6 61 3192 Bibcode 2021JOSS 6 3192S doi 10 21105 joss 03192 ISSN 2475 9066 Vidal Thibaut Schiffer Maximilian 2020 Born Again Tree Ensembles International Conference on Machine Learning angl PMLR 119 9743 9753 arXiv 2003 11132 Ustun Berk Rudin Cynthia 1 bereznya 2016 Supersparse linear integer models for optimized medical scoring systems Machine Learning angl 102 3 349 391 doi 10 1007 s10994 015 5528 6 ISSN 1573 0565 Bostrom N amp Yudkowsky E 2014 The ethics of artificial intelligence The Cambridge Handbook of Artificial Intelligence 316 334 FAT Conference Computer programs recognise white men better than black women The Economist angl 2018 Procitovano 5 serpnya 2018 Olah Chris Cammarata Nick Schubert Ludwig Goh Gabriel Petrov Michael Carter Shan 10 bereznya 2020 Zoom In An Introduction to Circuits Distill angl 5 3 e00024 001 doi 10 23915 distill 00024 001 ISSN 2476 0757 Li Yixuan Yosinski Jason Clune Jeff Lipson Hod Hopcroft John 8 grudnya 2015 Convergent Learning Do different neural networks learn the same representations Feature Extraction Modern Questions and Challenges angl PMLR 196 212 Hendricks Lisa Anne Akata Zeynep Rohrbach Marcus Donahue Jeff Schiele Bernt Darrell Trevor 2016 Generating Visual Explanations Computer Vision ECCV 2016 Lecture Notes in Computer Science angl Springer International Publishing 9908 3 19 arXiv 1603 08507 doi 10 1007 978 3 319 46493 0 1 ISBN 978 3 319 46492 3 Koh Pang Wei Liang Percy 17 lipnya 2017 Understanding Black box Predictions via Influence Functions International Conference on Machine Learning angl PMLR 1885 1894 arXiv 1703 04730 PDF Earthlink IJCAI Arhiv originalu PDF za 4 April 2019 Procitovano 17 lipnya 2017 Kahn Jeremy 12 grudnya 2018 Artificial Intelligence Has Some Explaining to Do Bloomberg Businessweek Procitovano 17 grudnya 2018 McCoy Liam G Brenna Connor T A Chen Stacy S Vold Karina Das Sunit 5 listopada 2021 Believing in black boxes machine learning for healthcare does not need explainability to be evidence based Journal of Clinical Epidemiology English 142 Online ahead of print 252 257 doi 10 1016 j jclinepi 2021 11 001 ISSN 0895 4356 PMID 34748907 Ghassemi Marzyeh Oakden Rayner Luke Beam Andrew L 1 listopada 2021 The false hope of current approaches to explainable artificial intelligence in health care The Lancet Digital Health English 3 11 e745 e750 doi 10 1016 S2589 7500 21 00208 9 ISSN 2589 7500 PMID 34711379 Alizadeh Fatemeh 2020 eXplainable AI take one step back move two steps forward Mensch und Computer NASA NASA Arhiv originalu za 8 serpnya 2017 Procitovano 17 lipnya 2017 The Flash Crash The Impact of High Frequency Trading on an Electronic Market PDF CFTC CFTC Procitovano 17 lipnya 2017 Weng Stephen F Reps Jenna Kai Joe Garibaldi Jonathan M Qureshi Nadeem 2017 Can machine learning improve cardiovascular risk prediction using routine clinical data PLOS ONE 12 4 e0174944 Bibcode 2017PLoSO 1274944W doi 10 1371 journal pone 0174944 PMC 5380334 PMID 28376093 Lakkaraju Himabindu Rudin Cynthia Learning Cost Effective and Interpretable Treatment Regimes PDF International Conference on Artificial Intelligence and Statistics AISTATS 2017 Tosun Akif 2020 Explainable AI xAI for Anatomic Pathology Advances in Anatomic Pathology July 2020 Volume 27 Issue 4 p 241 250 4 241 250 doi 10 1097 PAP 0000000000000264 PMID 32541594 https www spintellx com Tesla says it has no way of knowing if autopilot was used in fatal Chinese crash Guardian 14 veresnya 2016 Procitovano 17 lipnya 2017 Abrams Rachel Kurtz Annalyn July 2016 Joshua Brown Who Died in Self Driving Accident Tested Limits of His Tesla New York Times Procitovano 17 lipnya 2017 Qureshi M Atif Greene Derek 4 chervnya 2018 EVE explainable vector based embedding technique using Wikipedia Journal of Intelligent Information Systems angl 53 137 165 arXiv 1702 06891 doi 10 1007 s10844 018 0511 x ISSN 0925 9902 Galhotra Sainyam Pradhan Romila Salimi Babak 2021 Explaining black box algorithms using probabilistic contrastive counterfactuals ACM Sigmod 2021 577 590 arXiv 2103 11972 doi 10 1145 3448016 3458455 ISBN 9781450383431 LiteraturaMolnar Christoph Interpretable Machine Learning