Оцінювання складності розробки ПЗ — процес передбачування найбільш ймовірного використання зусиль необхідних для розробки чи підтримки програмного забезпечення на основі неповних, неточних та зашумлених даних. Оцінка необхідних зусиль може використовуватись як вхідні дані планів проєкту, планів ітерації, бюджету, аналізу інвестицій, формування ціни, та раундів аукціону.
Практичні результати
Опубліковані опитування практики оцінювання стверджують що експертна оцінка є основною стратегією при оцінюванні зусиль необхідних для розробки ПЗ.
Зазвичай оцінки зусиль є надто оптимістичними і присутня надмірна впевненість в їх точності. Середнє перевищення оцінених зусиль дорівнює приблизно 30 % та не зменшується з часом. Для огляду опитувань про оцінку складності розробки, дивіться. Щоправда, вимірювання помилки в оцінці не є проблемою, див Обчислення точності оцінки. Надмірна впевненість щодо точності оцінки зусиль ілюструється виявленням того факту що в середньому якщо інженер на 90 % або «майже впевнений» що необхідні зусилля увійдуть в інтервал мінімум-максимум, насправді частота попадання витрачених зусиль в інтервал оцінювання є лише 60-70 %.
Зараз термін «оцінка зусиль» використовується для позначення різних понять, таких як найбільш ймовірне використання зусиль (модальне значення), зусилля що відповідають 50 % ймовірності не перевищення (медіана) запланованих зусиль, зусиль що покриті бюджетом чи зусиль що використовуються для пропозиції ціни клієнту. Вважають що такі оцінки переважно неуспішні, через проблеми в комунікації що можуть виникнути та тому що ці поняття створені з різною метою.
Історія
Дослідники та практики звертали увагу на проблеми оцінки складності розробки для проєктів щонайменше з 1960-тих, дивіться наприклад роботи Фарра та Нельсона.
Більшість досліджень фокусувались на створенні формальних моделей оцінки. Ранні моделі зазвичай базувались на регресійному аналізі чи математично запозичувались від теорій з інших предметних областей. Відтоді було опробувано багато підходів до моделювання, такі як [en], класифікація та регресійні дерева, симуляція, штучні нейронні мережі, Баєсівска статистика, лексичний аналіз специфікації вимог, генетичне програмування, лінійне програмування, нечітка логіка, статистичний бутстреп, та комбінація двох чи більше таких моделей. Можливо найбільш поширеними сьогодні методами оцінки є параметричні моделі оцінки та SLIM. Обидві моделі беруть за основу дослідження проведені в 1970-тих та 1980-тих та відтоді відкалібровані новими даними. Останнім серйозним оновленням було COCOMO II в 2000-му році. Розробка обидвох моделей проводиться консультаційними фірмами. Підходи до оцінки що базуються на вимірюванні розміру функціональності, наприклад функційні точки, також беруть за основу дослідження 70-тих — 80-тих, але були перекалібровані а також змінено підходи для вимірювання, як наприклад «точки історії користувача» в 1990-тих та COSMIC в 2000-них.
Підходи до оцінювання
Існує багато способів категоризації підходів до оцінювання складності. Основними категоріями є наступні:
- Експертна оцінка: Крок квантифікації, тобто крок на якому створюється оцінка, заснований на людських судженнях.
- Формальна модель оцінки: Крок квантифікації базується на механічних процесах, наприклад використанні формули що походить від історичних даних.
- Комбінована оцінка: Крок квантифікації проводиться за допомогою комбінації механічних та людських оцінок з різних джерел.
Нижче подано приклади підходів до оцінювання з кожної категорії.
Підхід до оцінювання | Категорія | Приклади втілення підходу до оцінювання |
---|---|---|
Оцінка на основі аналогії | Формальна модель оцінки | ANGEL, |
На основі WBS (оцінка знизу вверх) | Експертна оцінка | Системи управління проєктами, шаблони активності специфічні для компанії |
Параметричні моделі | Формальна модель оцінки | , SLIM, |
Моделі оцінки на основі розміру | Формальна модель оцінки | Аналіз функціональних точок, аналіз сценаріїв використання, SSU (Software Size Unit), аналіз очок історії користувача в гнучкій розробці |
Групова оцінка | Експертна оцінка | Покер планування, [en] |
Механічна комбінація | Комбінована оцінка | Середнє оцінки на основі аналогії, та на основі структури декомпозиції робіт |
Комбінація судженням | Комбінована оцінка | Судження експерта на основі оцінок з параметричної моделі та групової оцінки |
Вибір підходу до оцінювання
Цей розділ потребує доповнення. (січень 2017) |
Обчислення точності оцінки
Найбільш поширеною мірою середньої точності оцінювання є середня величина відносної помилки MMRE (англ. Mean Magnitude of Relative Error), де величина відносної помилки MRE кожної оцінки описується як:
MRE =
Ця міра критикувалась і існує кілька альтернативних мір, таких як більш симетричні , Зважене середнє квартилів відносних помилок (англ. Weighted Mean of Quartiles of relative errors, WMQ) та Mean Variation from Estimate (MVFE).
Велику помилку в оцінці не можна одразу інтерпретувати як індикатор поганої здатності до оцінювання. Додатковими причинами можуть бути поганий контроль витрат проєкту, висока складність розробки, та випуск більшого функціоналу ніж планувалося. Фреймворк для покращеного використання та інтерпретації вимірювань помилки оцінюцвання подають в.
Психологічні проблеми
Існує багато психологічних факторів що потенційно пояснюють сильну тенденцію щодо надто оптимістичних оцінок, з якими треба справлятись зля збільшення точності оцінок. Ці фактори є суттєвими навіть при використанні формальних моделей оцінювання, тому що багато вхідних даних до цих моделей базуються на людських судженнях. Фактори що виявились важливими: прийняття бажаного за дійсне, ефект прив'язки, омана планування та когнітивний дисонанс. Обговорення цих та інших факторів може бути знайдене в роботах Йорґенсена та Грімстада.
- Легко оцінити те що ти знаєш.
- Важко оцінити те що ти не знаєш.
- Дуже важко оцінити те що ти не знаєш що ти не знаєш.
Див. також
Зноски
- Jørgensen, M. (англ.). Архів оригіналу за 27 квітня 2014. Процитовано 27 квітня 2014.
- Molokken, K. Jorgensen, M. A review of software surveys on software effort estimation (англ.).
- Jørgensen, M. Teigen, K.H.Ribu, K. Better sure than safe? Over-confidence in judgement based software development effort prediction intervals (англ.).
- Edwards, J.S. Moores, T.T. (1994), «A conflict between the use of estimating and planning tools in the management of information systems.». 3(2): 139—147.
- Goodwin, P. (1998). Enhancing judgmental sales forecasting: The role of laboratory research. Forecasting with judgment. G. Wright and P. Goodwin. New York, John Wiley & Sons: 91-112. Hi
- Farr, L.Nanus, B. Factors that affect the cost of computer programming.[недоступне посилання з липня 2019]
- Nelson, E. A. (1966). Management Handbook for the Estimation of Computer Programming Costs. AD-A648750, Systems Development Corp.
- COCOMO використовується фірмою Cost Xpert [Архівовано 14 вересня 2002 у Library of Congress] а SLIM — QSM.
- Anda, B.Angelvik, E.Ribu, K. Improving Estimation Practices by Applying Use Case Models.[недоступне посилання з грудня 2021]
- Briand, L. C. and I. Wieczorek (2002). Resource estimation in software engineering. Encyclopedia of software engineering. J. J. Marcinak. New York, John Wiley & Sons: 1160—1196.
- Jørgensen, M.Shepperd, M. . Архів оригіналу за 13 квітня 2021. Процитовано 27 квітня 2014.
- Hill Peter (ISBSG) — Estimation Workbook 2 — published by International Software Benchmarking Standards Group ISBSG — Estimation and Benchmarking Resource Centre [ 29 серпня 2008 у Wayback Machine.]
- Morris Pam — Overview of Function Point Analysis Total Metrics — Function Point Resource Centre [Архівовано 2012-09-12 у Archive.is]
- Foss, T.Stensrud, E.Kitchenham, B. Myrtveit, I. A Simulation Study of the Model Evaluation Criterion MMRE. IEEE.
- Miyazaki, Y.Terakado, M.Ozaki, K.Nozaki, H. Robust regression for developing software estimation models.
- Lo, B.Gao, X. . Архів оригіналу за 27 квітня 2014. Процитовано 27 квітня 2014.
- Hughes, R.T.Cunliffe, A.Young-Martos, F. Evaluating software development effort model-building techniquesfor application in a real-time telecommunications environment.
- Grimstad, S.Jørgensen, M. . Архів оригіналу за 18 серпня 2009. Процитовано 27 квітня 2014.
- Jørgensen, M.Grimstad, S. . Архів оригіналу за 23 жовтня 2016. Процитовано 27 квітня 2014.
Посилання
- Jungmann, Dr Sven; Loijos, Alex. How to fix agile teams that are notoriously bad at hitting release dates. TechCrunch. Процитовано 4 січня 2017. - стаття про застосування методу [en] для оцінки складності розробки
- Evans, Jon. On the dark art of software estimation. TechCrunch. Процитовано 6 листопада 2016.
- , .. «Mastering Software Estimation: Best Practices, Tools and Techniques for Software Project Estimators», .
- Industry Productivity data for Input into Software Development Estimates and guidance and tools for Estimation — International Software Benchmarking Standards Group: http://www.isbsg.org
- Free first-order benchmarking utility from Software Benchmarking Organization:
- General forecasting principles: http://www.forecastingprinciples.com
- Mike Cohn's Estimating With Use Case Points from article from Methods & Tools: http://www.methodsandtools.com/archive/archive.php?id=25
- Ресурси з оцінювання від : http://www.construx.com/Estimation/
- Resources on Software Estimation from :
- Estimation in Software Development (article): http://www.targetprocess.com/articles/estimates-software-development.html
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Ocinyuvannya skladnosti rozrobki PZ proces peredbachuvannya najbilsh jmovirnogo vikoristannya zusil neobhidnih dlya rozrobki chi pidtrimki programnogo zabezpechennya na osnovi nepovnih netochnih ta zashumlenih danih Ocinka neobhidnih zusil mozhe vikoristovuvatis yak vhidni dani planiv proyektu planiv iteraciyi byudzhetu analizu investicij formuvannya cini ta raundiv aukcionu Praktichni rezultatiOpublikovani opituvannya praktiki ocinyuvannya stverdzhuyut sho ekspertna ocinka ye osnovnoyu strategiyeyu pri ocinyuvanni zusil neobhidnih dlya rozrobki PZ Zazvichaj ocinki zusil ye nadto optimistichnimi i prisutnya nadmirna vpevnenist v yih tochnosti Serednye perevishennya ocinenih zusil dorivnyuye priblizno 30 ta ne zmenshuyetsya z chasom Dlya oglyadu opituvan pro ocinku skladnosti rozrobki divitsya Shopravda vimiryuvannya pomilki v ocinci ne ye problemoyu div Obchislennya tochnosti ocinki Nadmirna vpevnenist shodo tochnosti ocinki zusil ilyustruyetsya viyavlennyam togo faktu sho v serednomu yaksho inzhener na 90 abo majzhe vpevnenij sho neobhidni zusillya uvijdut v interval minimum maksimum naspravdi chastota popadannya vitrachenih zusil v interval ocinyuvannya ye lishe 60 70 Zaraz termin ocinka zusil vikoristovuyetsya dlya poznachennya riznih ponyat takih yak najbilsh jmovirne vikoristannya zusil modalne znachennya zusillya sho vidpovidayut 50 jmovirnosti ne perevishennya mediana zaplanovanih zusil zusil sho pokriti byudzhetom chi zusil sho vikoristovuyutsya dlya propoziciyi cini kliyentu Vvazhayut sho taki ocinki perevazhno neuspishni cherez problemi v komunikaciyi sho mozhut viniknuti ta tomu sho ci ponyattya stvoreni z riznoyu metoyu IstoriyaDoslidniki ta praktiki zvertali uvagu na problemi ocinki skladnosti rozrobki dlya proyektiv shonajmenshe z 1960 tih divitsya napriklad roboti Farra ta Nelsona Bilshist doslidzhen fokusuvalis na stvorenni formalnih modelej ocinki Ranni modeli zazvichaj bazuvalis na regresijnomu analizi chi matematichno zapozichuvalis vid teorij z inshih predmetnih oblastej Vidtodi bulo oprobuvano bagato pidhodiv do modelyuvannya taki yak en klasifikaciya ta regresijni dereva simulyaciya shtuchni nejronni merezhi Bayesivska statistika leksichnij analiz specifikaciyi vimog genetichne programuvannya linijne programuvannya nechitka logika statistichnij butstrep ta kombinaciya dvoh chi bilshe takih modelej Mozhlivo najbilsh poshirenimi sogodni metodami ocinki ye parametrichni modeli ocinki ta SLIM Obidvi modeli berut za osnovu doslidzhennya provedeni v 1970 tih ta 1980 tih ta vidtodi vidkalibrovani novimi danimi Ostannim serjoznim onovlennyam bulo COCOMO II v 2000 mu roci Rozrobka obidvoh modelej provoditsya konsultacijnimi firmami Pidhodi do ocinki sho bazuyutsya na vimiryuvanni rozmiru funkcionalnosti napriklad funkcijni tochki takozh berut za osnovu doslidzhennya 70 tih 80 tih ale buli perekalibrovani a takozh zmineno pidhodi dlya vimiryuvannya yak napriklad tochki istoriyi koristuvacha v 1990 tih ta COSMIC v 2000 nih Pidhodi do ocinyuvannyaIsnuye bagato sposobiv kategorizaciyi pidhodiv do ocinyuvannya skladnosti Osnovnimi kategoriyami ye nastupni Ekspertna ocinka Krok kvantifikaciyi tobto krok na yakomu stvoryuyetsya ocinka zasnovanij na lyudskih sudzhennyah Formalna model ocinki Krok kvantifikaciyi bazuyetsya na mehanichnih procesah napriklad vikoristanni formuli sho pohodit vid istorichnih danih Kombinovana ocinka Krok kvantifikaciyi provoditsya za dopomogoyu kombinaciyi mehanichnih ta lyudskih ocinok z riznih dzherel Nizhche podano prikladi pidhodiv do ocinyuvannya z kozhnoyi kategoriyi Pidhid do ocinyuvannya Kategoriya Prikladi vtilennya pidhodu do ocinyuvannya Ocinka na osnovi analogiyi Formalna model ocinki ANGEL Na osnovi WBS ocinka znizu vverh Ekspertna ocinka Sistemi upravlinnya proyektami shabloni aktivnosti specifichni dlya kompaniyi Parametrichni modeli Formalna model ocinki SLIM Modeli ocinki na osnovi rozmiru Formalna model ocinki Analiz funkcionalnih tochok analiz scenariyiv vikoristannya SSU Software Size Unit analiz ochok istoriyi koristuvacha v gnuchkij rozrobci Grupova ocinka Ekspertna ocinka Poker planuvannya en Mehanichna kombinaciya Kombinovana ocinka Serednye ocinki na osnovi analogiyi ta na osnovi strukturi dekompoziciyi robit Kombinaciya sudzhennyam Kombinovana ocinka Sudzhennya eksperta na osnovi ocinok z parametrichnoyi modeli ta grupovoyi ocinkiVibir pidhodu do ocinyuvannyaCej rozdil potrebuye dopovnennya sichen 2017 Obchislennya tochnosti ocinkiNajbilsh poshirenoyu miroyu serednoyi tochnosti ocinyuvannya ye serednya velichina vidnosnoyi pomilki MMRE angl Mean Magnitude of Relative Error de velichina vidnosnoyi pomilki MRE kozhnoyi ocinki opisuyetsya yak MRE actual effort estimated effort actual effort displaystyle frac text actual effort text estimated effort text actual effort Cya mira kritikuvalas i isnuye kilka alternativnih mir takih yak bilsh simetrichni Zvazhene serednye kvartiliv vidnosnih pomilok angl Weighted Mean of Quartiles of relative errors WMQ ta Mean Variation from Estimate MVFE Veliku pomilku v ocinci ne mozhna odrazu interpretuvati yak indikator poganoyi zdatnosti do ocinyuvannya Dodatkovimi prichinami mozhut buti poganij kontrol vitrat proyektu visoka skladnist rozrobki ta vipusk bilshogo funkcionalu nizh planuvalosya Frejmvork dlya pokrashenogo vikoristannya ta interpretaciyi vimiryuvan pomilki ocinyucvannya podayut v Psihologichni problemiIsnuye bagato psihologichnih faktoriv sho potencijno poyasnyuyut silnu tendenciyu shodo nadto optimistichnih ocinok z yakimi treba spravlyatis zlya zbilshennya tochnosti ocinok Ci faktori ye suttyevimi navit pri vikoristanni formalnih modelej ocinyuvannya tomu sho bagato vhidnih danih do cih modelej bazuyutsya na lyudskih sudzhennyah Faktori sho viyavilis vazhlivimi prijnyattya bazhanogo za dijsne efekt priv yazki omana planuvannya ta kognitivnij disonans Obgovorennya cih ta inshih faktoriv mozhe buti znajdene v robotah Jorgensena ta Grimstada Legko ociniti te sho ti znayesh Vazhko ociniti te sho ti ne znayesh Duzhe vazhko ociniti te sho ti ne znayesh sho ti ne znayesh Div takozhFunkcionalna tochkaZnoskiJorgensen M angl Arhiv originalu za 27 kvitnya 2014 Procitovano 27 kvitnya 2014 Molokken K Jorgensen M A review of software surveys on software effort estimation angl Jorgensen M Teigen K H Ribu K Better sure than safe Over confidence in judgement based software development effort prediction intervals angl Edwards J S Moores T T 1994 A conflict between the use of estimating and planning tools in the management of information systems 3 2 139 147 Goodwin P 1998 Enhancing judgmental sales forecasting The role of laboratory research Forecasting with judgment G Wright and P Goodwin New York John Wiley amp Sons 91 112 Hi Farr L Nanus B Factors that affect the cost of computer programming nedostupne posilannya z lipnya 2019 Nelson E A 1966 Management Handbook for the Estimation of Computer Programming Costs AD A648750 Systems Development Corp COCOMO vikoristovuyetsya firmoyu Cost Xpert Arhivovano 14 veresnya 2002 u Library of Congress a SLIM QSM Anda B Angelvik E Ribu K Improving Estimation Practices by Applying Use Case Models nedostupne posilannya z grudnya 2021 Briand L C and I Wieczorek 2002 Resource estimation in software engineering Encyclopedia of software engineering J J Marcinak New York John Wiley amp Sons 1160 1196 Jorgensen M Shepperd M Arhiv originalu za 13 kvitnya 2021 Procitovano 27 kvitnya 2014 Hill Peter ISBSG Estimation Workbook 2 published by International Software Benchmarking Standards Group ISBSG Estimation and Benchmarking Resource Centre 29 serpnya 2008 u Wayback Machine Morris Pam Overview of Function Point Analysis Total Metrics Function Point Resource Centre Arhivovano 2012 09 12 u Archive is Foss T Stensrud E Kitchenham B Myrtveit I A Simulation Study of the Model Evaluation Criterion MMRE IEEE Miyazaki Y Terakado M Ozaki K Nozaki H Robust regression for developing software estimation models Lo B Gao X Arhiv originalu za 27 kvitnya 2014 Procitovano 27 kvitnya 2014 Hughes R T Cunliffe A Young Martos F Evaluating software development effort model building techniquesfor application in a real time telecommunications environment Grimstad S Jorgensen M Arhiv originalu za 18 serpnya 2009 Procitovano 27 kvitnya 2014 Jorgensen M Grimstad S Arhiv originalu za 23 zhovtnya 2016 Procitovano 27 kvitnya 2014 PosilannyaJungmann Dr Sven Loijos Alex How to fix agile teams that are notoriously bad at hitting release dates TechCrunch Procitovano 4 sichnya 2017 stattya pro zastosuvannya metodu en dlya ocinki skladnosti rozrobki Evans Jon On the dark art of software estimation TechCrunch Procitovano 6 listopada 2016 Mastering Software Estimation Best Practices Tools and Techniques for Software Project Estimators Industry Productivity data for Input into Software Development Estimates and guidance and tools for Estimation International Software Benchmarking Standards Group http www isbsg org Free first order benchmarking utility from Software Benchmarking Organization General forecasting principles http www forecastingprinciples com Mike Cohn s Estimating With Use Case Points from article from Methods amp Tools http www methodsandtools com archive archive php id 25 Resursi z ocinyuvannya vid http www construx com Estimation Resources on Software Estimation from Estimation in Software Development article http www targetprocess com articles estimates software development html