Postup pro statistické potvrzení spolehlivosti provedeného výzkumu * Pomoc pro studenty

Provádění jakéhokoli výzkumu je doprovázeno různými nuancemi a obtížemi, které vedou k malé chybě. Navzdory tomu se každý badatel snaží získat co nejpřesnější a nejspolehlivější výsledky vědecké práce. Ale aby bylo možné doložit svůj postoj a správnost, prokázat platnost předložené hypotézy, je důležité mít jistotu kvality a spolehlivosti výzkumu. V tomto případě přichází na pomoc statistické hodnocení spolehlivosti výzkumu.

Дата: 10 2022 июня

Provádění jakéhokoli výzkumu je doprovázeno různými nuancemi a obtížemi, které vedou k malé chybě. Navzdory tomu se každý badatel snaží získat co nejpřesnější a nejspolehlivější výsledky vědecké práce. Ale aby bylo možné doložit svůj postoj a správnost, prokázat platnost předložené hypotézy, je důležité mít jistotu kvality a spolehlivosti výzkumu. V tomto případě přichází na pomoc statistické hodnocení spolehlivosti výzkumu.

Co je to?

Statistické potvrzení spolehlivosti studie je „ověřovací etapa“ určená k zajištění správnosti a přesnosti získaných výsledků a možnosti jejich další aplikace. Jak již vyplynulo z definice, implementuje se po provedení výzkumu a získání konkrétních konečných dat.

Za prvé, pojďme pochopit tak důležité pojmy, jako je spolehlivost a validita. Tyto kategorie jsou propojené a důležité pro každého autora. Spolehlivost je třeba chápat jako míru shody získaných výsledků s realitou, reálnými podmínkami a parametry. To znamená, že jde o stejné srovnání „pocitu a reality“, ale ve vědeckém kontextu.

Validita studie vyžaduje jasnou a přesnou základnu důkazů, která zdůrazňuje konkrétní trend nebo symptomatologii.

Posouzení platnosti vědecké práce zahrnuje určení vyhlídek a zodpovězení otázek, jako jsou:

• Jak přesné jsou výsledky studie?
• Můžeme se na ně dlouhodobě spolehnout, jak a kde je aplikovat?
• Je možné rozšířit „spektrum účinku“ získaných výsledků, tedy rozšířit škálu účinnosti z uvažované úzké roviny na významnější vzorek nebo celou populaci jako celek?

Ukazatel spolehlivosti nám tedy umožňuje posoudit správnost realizované vědecké práce a možnost uplatnění získaných výsledků v budoucnu. Posláním tak důležité etapy je určit následující bod: je možné na základě části studie (vzorku) posuzovat celý fenomén jako celek?

Potřebujete pomoc učitele?

Vždy vám rádi pomůžeme!

Kontrola spolehlivosti výzkumné práce umožňuje autorovi zajistit, aby nedošlo k žádným hrubým chybám nebo porušení stávajících vědeckých kánonů a norem, a minimalizovat riziko dalších chyb a pochybností. Čím vyšší je míra spolehlivosti, tím vyšší je kvalita projektu a míra kompetence řešitele.

Mezi klíčové znaky spolehlivosti vědecké studie (a jejích výsledků) patří:

• Získané výsledky musí být přísně jednoznačné a z vědeckého hlediska podložené;
• Výsledky vědecké práce musí hodnotit konkrétní problém a téma, tj. splňovat kritéria platnosti a přiměřenosti, účelnosti;
• Výsledky výzkumu musí být neutrální a hodnotit jev z jednoho úhlu, pozice, za stejných nebo maximálně podobných podmínek (pro větší přesnost a přesvědčivost);
• Výsledky vědeckého myšlení musí plně pokrýt všechny zamýšlené úkoly a nejdůležitější charakteristiky, odpovídat vědeckému aparátu a studovanému procesu jako celku.

Spolehlivost výsledků vědecké práce se tedy projevuje v takových principech, jako je přesnost, relevance, účelnost a jednoznačnost (jednosměrnost).

Metody kontroly spolehlivosti výzkumu

Posoudit míru spolehlivosti vědecké práce není tak jednoduché. Existuje mnoho možností, jak tuto důležitou kontrolu provést. Studenti se nejčastěji uchylují k následujícím typům:

• Srovnávací nebo věcná analýza. V tomto případě musí autor nebo odborník pečlivě prostudovat text vědecké práce a identifikovat významné ukazatele a trendy a následně je porovnat s podobnými studiemi. Souhlasíte, pokud je úsudek správný nebo je pozorován stejný problémový trend, pak výsledky budou přinejmenším podobné a nastiňují stejný charakter. V tomto případě výzkumníkovi pomáhají relevantní podobné studie provedené jinými autory, to znamená, že stačí posoudit stupeň rozvoje témat, porovnat výsledky a pochopit: jak se projekty liší, jaké jsou jejich podobnosti, co naznačují obecné výsledky (trend atd.).

Upozorňujeme, že celkově by neměly existovat přesné shody. Hlavní věc je, že se obecné body, trendy, povaha důkazní základny a změny atd. shodují, ale i když se některé body radikálně liší, neznamená to, že se něco udělalo špatně. Je důležité vzít tento bod v úvahu a zohlednit jej v budoucnu;

• Analytická metoda. V tomto případě autor studie nebo kvalifikovaný odborník analyzuje získané výsledky a porovnává je s obecně uznávanými normami, zavedenými vědeckými fakty a zákony, průmyslovými ukazateli a právními předpisy, výsledky podobných studií atd. Čím více shod (v přírodě), tím vyšší je přesnost výsledků.
• Testování výsledků. Tato metoda je považována za nejspolehlivější a nejdůvěryhodnější, umožňuje vyhodnocovat získané výsledky, doporučení a závěry v praxi. V tomto případě je nutné experiment opakovat nebo postupovat po cestě popsané autorem a získané výsledky porovnat a zároveň vyhodnotit proveditelnost, správnost a spolehlivost studie;
• Statistické testování dat. Tato metoda zahrnuje provedení řady matematických operací s cílem určit přítomnost odchylek, přítomnost náhodných momentů a odchylek, stabilní indikátory atd. O této kombinaci technik budeme hovořit podrobněji.

Poslední skupina metod pro kontrolu spolehlivosti výsledků vědeckého výzkumu jako celku může nahradit (z hlediska role a významu, správnosti a objektivity) testování výsledků. Pojďme se na to podívat blíže.

Potřebujete pomoc učitele?

Vždy vám rádi pomůžeme!

Specifika statistického hodnocení spolehlivosti výsledků vědeckovýzkumné práce

Statistické metody pro kontrolu objektivity, validity a spolehlivosti výsledků výzkumu jsou aplikovatelné především na aplikovaný výzkum. Je také přípustné je použít ve vztahu k těm projektům, které lze transformovat do matematického, statistického nebo jiného numerického modelu, tj. posuzovat z kvantitativního hlediska pomocí jednoduchých matematických operací, speciálních metod a vzorců.

Statistické metody pro ověřování spolehlivosti výsledků výzkumu jsou aplikovatelné především na aplikovaný nebo experimentální výzkum, kde byl jev nebo problém posuzován v rámci konkrétního vzorku. Abychom rozšířili efekt získaného výsledku na „problém jako celek“ (tedy přenesli jej mimo vzorek), je důležité zajistit spolehlivost výsledků (tedy shodu dat s realitou).

V praxi se používají dva typy statistického hodnocení spolehlivosti studie: parametrické a neparametrické. První skupina zahrnuje specifické techniky založené na zákonech distribuce a zahrnuje studium celého mechanismu jako celku, identifikaci hlavních rysů z obecné populace. Druhým jsou metody, které nevyžadují pochopení a zvládnutí distribučního zákona. To znamená, že klíčovým rozdílem mezi těmito technikami budou vzorce a pořadí výpočtu s přihlédnutím k jednotlivým ukazatelům. Tato záležitost se neobejde bez matematických a statistických přístupů.

Využití parametrických a neparametrických metod statistického hodnocení spolehlivosti studie zahrnuje výpočet určitých ukazatelů a odvození jediného (nejdůležitějšího) koeficientu, který bude porovnán se stávajícími standardy. Pokud konečná hodnota spadá do „přijatelné rozmezí“, kde je odchylka nevýznamná, pak je výzkum považován za spolehlivý.

Klíčové parametrické ukazatele potřebné k posouzení spolehlivosti studie

V praxi existují dva hlavní parametry, které nám umožňují určit možnosti využití výsledků realizovaného výzkumu. Patří mezi ně střední hodnota a rozptyl. Tyto indikátory jsou základem nejoblíbenějších a nejuznávanějších metod mezi výzkumníky, o kterých jsme psali dříve: Studentské kritérium a Fisherovo kritérium.

Hodnocení spolehlivosti výzkumu na základě specifikovaných přístupů je založeno na takových ukazatelích, jako jsou:

• Průměrné chyby aritmetických průměrů a relativních hodnot (chyba reprezentativnosti). Tento indikátor umožňuje stanovit stejnou dobu platnosti výsledků pro daný počet pozorování. Tento parametr je vždy přesný a pomáhá stanovit konkrétní hranice pro přenos konkrétních výsledků na celou populaci jako celek. Ukazatel se počítá v případech, kdy byl problém hodnocen po částech a pro celkové posouzení je nutné zajistit správnost a spolehlivost výsledků a jejich celkový efekt. Pomocí chyb reprezentativnosti je možné určit, jak moc se výsledky výběrové studie liší od výsledků získaných realizací kontinuálního šetření.

• Hodnocení spolehlivosti rozdílu ve výsledcích výzkumu. Tento přístup je vhodný při posuzování výskytu problémového faktoru: výsledky jsou náhodné nebo spolehlivé. V tomto případě přichází na pomoc srovnání průměrných a relativních ukazatelů. Pro použití této techniky je důležité dodržet specifické podmínky: vzorek musí být reprezentativní, mezi hlavními porovnávanými daty musí existovat vztahy příčiny a následku a porozumění faktorům, které vyvolávají změny.

Potřebujete pomoc učitele?

Vždy vám rádi pomůžeme!

Neparametrické přístupy k hodnocení spolehlivosti výsledků výzkumu

Neparametrická kritéria se vztahují na situace, kdy výzkumník nemá jasné představy nebo fakta týkající se studovaného jevu nebo problému. V tomto případě není potřeba vypočítávat průměry nebo směrodatné odchylky k popisu studovaného jevu nebo veličiny.

Neparametrické techniky jsou použitelné ve studiích, kde je velikost vzorku malá a neexistují jasná data týkající se studovaného problému. Při použití této skupiny technik se opíráme o následující princip: pro jakékoli parametrické kritérium můžeme vybrat podobný neparametrický analog, který bude patřit do jedné z kategorií:

• Kritéria pro rozdíly mezi nezávislými vzorky. V tomto případě je vhodná Mann-Whitney U-metoda, Kruskal-Wallisův test, Spearmanův test atd., které jsme dříve popsali;
• Kritéria pro rozdíly mezi závislými vzorky. Nejoblíbenějšími přístupy tohoto typu jsou Wilcoxonův test, Friedmanova analýza, Cochranův Q-test atd.

Jak zvolit statistickou metodu pro kontrolu spolehlivosti výsledků výzkumu: parametrickou nebo neparametrickou?

Neparametrické metody pro hodnocení míry spolehlivosti výsledků vědecké studie jsou použitelné pouze pro ty studie, kde je studován malý vzorek. Pokud se studuje velký soubor dat a kritérií, pak se používají parametrické metody (považované za validnější a přesnější).

Parametrické přístupy zahrnují stanovení konkrétních hranic a styčných bodů, závislostí. Převažují zde tedy přesnější výpočty, je nutné dodržovat konkrétní pravidla a zákony atd. To vše je potřeba k otestování konkrétní hypotézy či předpokladů o povaze či charakteristikách rozložení získaných dat.

Využití statistického vyhodnocování výsledků výzkumu bude každopádně založeno na realizaci konkrétních matematických výpočtů a analytických operací, komparace, znalosti vědeckých kánonů, kritického myšlení autora a jeho představ o tématu (jak jej chápe a vidí). Navíc není třeba znovu vynalézat kolo pro dvojitou kontrolu výsledků výzkumu a vývoje: stačí jednoduše použít dříve schválený algoritmus, správně do něj dosadit dostupné parametry a porovnat je s měřítkem.

Jak zajistit spolehlivost prováděného výzkumu?

Statistické metody pro kontrolu spolehlivosti výsledků výzkumu jsou považovány za jedny z nejpřesnějších. Aby se však zvýšila efektivita prováděného výzkumu a rozšířila se oblast použití získaných výsledků, lze se postarat o zajištění spolehlivosti výzkumu následujícím způsobem:

• Je důležité stanovit jasné hranice výzkumu a schválit co nejpřesnější vědecký aparát: co bude autor zkoumat, jaké faktory vzít v úvahu, a pokud možno specifikovat všechny nuance;
• K výběru dat přistupujte s maximální odpovědností a pozorností: zohledněte vědecké zákonitosti a omezení, možnosti a charakteristiky objektu, zdůvodněte každý krok atd.;

• V ideálním případě by se měl výzkumník spoléhat pouze na ověřený materiál, tedy ne pouze na data získaná během primárního experimentu. Aby byl výzkum přesnější a spolehlivější, je nutné zajistit správnost a efektivitu výsledků. Často je v tomto případě nutné použít opakovaný experiment nebo testování (k porovnání výsledků a analýzy dat, k určení chyb, obecného směru a povahy výsledků atd.);
• Při realizaci experimentu je důležité správně kombinovat teoretické body a kategorie s výzkumným programem. K tomu musí autor výzkumu porozumět pravidlům, termínům, vědeckým zákonitostem a přístupům a následně je na základě dostupných dat (vztažených ke vzorku nebo zkoumanému objektu) správně použít. To znamená, že již v počáteční fázi (během plánování výzkumu) je důležité vyjasnit si vhodnost, proveditelnost a proveditelnost plánovaného přístupu nebo cesty.

Obecně platí, že při provádění vědeckého výzkumu experimentální povahy je důležité zajistit, aby úsudky byly správné, získané výsledky byly přesné a aby mohly být aplikovány v budoucnu. V tomto případě přichází na pomoc klasický princip „důvěřuj, ale prověřuj“ založený na matematických a statistických modelech.

Aplikace statistických metod pro hodnocení spolehlivosti výzkumu je založena na matematických (někdy složitých) operacích: výpočty v rámci konkrétních vzorců, korelace, disperze, rozdíl hodnot (relativních a absolutních) atd. Pro jejich úspěšné použití je důležité, aby autor výzkumu ovládal základní kategorie a pojmy, měl dobrou znalost matematických zákonitostí a vyvaroval se extrémně triviálních „chybách“ (tzv. „triviální“ chyby).

Statistické posouzení spolehlivosti výsledků výzkumu umožňuje dvojí kontrolu a zdůvodnění postoje autora, zvýšení přesnosti získaných výsledků, více podložení projektu a přiblížení realitě, stanovení možností využití získaných výsledků ve velkém měřítku nebo v jiných oblastech činnosti. Při provádění takového ověřování je důležité vzít v úvahu všechny nuance, povahu výzkumu a data, která má autor k dispozici, jejich dostatečnost a spolehlivost.

Potíže se studiem?

Pomoc při psaní studentských prací a
postgraduální práce!

Ruská vláda schválila parametry experimentu na zavedení dobrovolného systému ověřování kompetencí pro vývojáře softwaru. Pro zaměstnavatele a vzdělávací instituce je to příležitost přesněji určit úroveň IT kompetencí a vybrat vhodné zaměstnance a pro specialisty otestovat své znalosti a získat certifikát potvrzující jejich úroveň. Od 31. května 2025 bude moci každý bez ohledu na dosažené vzdělání skládat testy a plnit praktické úkoly. V letošním roce plánuje platforma hostit materiály k 21 tématům (Python, Java, Git a další).

Od 14. února 2025 do 31. prosince 2026 Rusko provede experiment s implementací systému dobrovolného ověřování kompetencí pro vývojáře softwaru.

Podstatou experimentu je poskytnout specialistům bezplatný nástroj k testování vlastní úrovně znalostí v různých IT kompetencích. Hovoříme o digitální platformě, kterou mohou programátoři používat k testování a plnění praktických úkolů.

Pokud testy úspěšně složí, obdrží certifikát potvrzující znalosti a pracovní dovednosti. Bude zasláno na váš osobní účet na portálu Státní služby. Jeho platnost bude 1 rok.

V průběhu experimentu budou mít zaměstnavatelské firmy, vzdělávací instituce a další organizace, které se zúčastní, možnost vybrat vhodného programátora a také posoudit úroveň profesionality současných zaměstnanců.

Experimentu se budou moci zúčastnit vývojáři softwaru bez ohledu na úroveň jejich vzdělání.

Operátor experimentu bude vybrán na základě výběrového řízení do 31. března 2025. Za jeho stanovení bude odpovědné prezidium vládní komise pro digitální rozvoj.

Praktická fáze experimentu začne 31. května 2025, kdy IT specialisté získají přístup k platformě pro potvrzení svých kompetencí a budou moci skládat testy a plnit úkoly.

Práce na tomto projektu probíhají pod vedením Ministerstva pro digitální rozvoj v rámci nového národního projektu „Datová ekonomika a digitální transformace státu“.

Již dříve odborníci vysvětlili, že systém potvrzování kompetencí a dovedností pro vývojáře softwaru v Ruské federaci, který ministerstvo pro digitální rozvoj plánuje spustit, bude integrován s Gosuslugi.

Ministerstvo pro digitální rozvoj médiím sdělilo, že přístupy k tomuto systému vyvíjejí společně s podniky a zatím obdrželi odpovídající návrh pouze od společnosti HeadHunter. Oddělení poznamenalo, že “jsou připraveni zvážit další možnosti testování a jsou otevření výběru partnerů.” Ministerstvo pro digitální rozvoj potenciální integraci systému s Gosuslugi nekomentovalo.

Případná integrace řešení ověřování kompetencí s „Gosuslugi“ může podle odborníků z oboru vést k nabídce většího počtu volných míst ve státních úřadech nebo možností studia na státních univerzitách s následným zaměstnáním.

Zájem Ministerstva pro digitální rozvoj o vytvoření personální platformy je pochopitelný, „umožňuje nám vytvořit databázi IT specialistů s potvrzenými kompetencemi,“ vysvětlil médiím generální ředitel CorpSoft24 Konstantin Renzyaev. Podle jeho názoru budou v tomto případě odborníci schopni „poskytnout odkaz nejen na životopis, ale na ověřený web“.

Je pozoruhodné, že Asociace podniků počítačových a informačních technologií (APKIT; zahrnuje VK, 1C, Softline) pracuje na dalším způsobu potvrzení IT kompetencí – prostřednictvím certifikace, podobně jako systémy prodejců společností, které opustily Ruskou federaci. Předsedkyně Rady APKIT pro rozvoj certifikace IT specialistů Natalia Pochinok médiím řekla, že sdružení se kromě tvorby vlastního systému jako expert podílí na vývoji podobného systému třetích stran. Iniciativa APKIT „zahrnuje harmonizaci požadavků na účastnické certifikáty, včetně identifikace pomocí SNILS, což v budoucnu umožní integraci se státními službami“.

Habr médiím vysvětlil, že vidí zájem publika webu o hodnocení dovedností na základě webu: “Věříme, že ruský trh by měl mít řadu různých možností hodnocení od různých hráčů.”

Každá společnost má své vlastní požadavky na kvalifikaci specialistů, vysvětlila médiím Ksenia Zamukhovskaya, personální ředitelka Postgres Professional. Podle ní „pokud budou IT společnosti požádány o poskytnutí takových dat, je nepravděpodobné, že by je někdo byl ochoten šířit – existuje riziko prozrazení citlivých informací.“

Zakladatel IT společnosti Tiqum Yuri Gizatullin se domnívá, že systém ověřování dovedností by měl být postaven nikoli na základě současného řešení jedné společnosti, ale ve formátu samostatné platformy.

Již dříve média uvedla, že ruská vláda plánuje v příštím roce vytvořit a spustit státní informační systém pro potvrzování kompetencí softwarových vývojářů v rámci národního projektu „Datová ekonomika“.

„Zejména za účelem vytvoření databáze o personální situaci v oboru vláda navrhuje vytvořit IT systém pro ‚potvrzení kompetencí softwarových vývojářů a dalších IT specialistů‘, podle pasportu projektu. Kontaktovat ji budou moci IT společnosti, průmyslová sdružení, vzdělávací organizace a specializované vývojové instituty. Systém poskytne státu aktuální informace o zaměstnancích v oboru a zaměstnavatelům umožní zkrátit průměrnou dobu obsazování volných míst na pozici developer, navrhují autoři projektu. Systém by měl pomoci samotným IT specialistům potvrdit úroveň jejich IT kompetencí,“ uvádí text federálního projektu „Personál pro digitální transformaci“.

Mediální zdroje vysvětlily, že nový certifikační systém bude dostupný regulátorům, IT společnostem i samotným vývojářům. Tato možnost umožní zaměstnancům rychle potvrdit své dovednosti a umožní HR oddělením společností rychleji obsadit požadovaná volná místa.

Mediální dokument nastiňuje opatření pro rozvoj potenciálu lidských zdrojů v IT průmyslu: od vzdělávání a rekvalifikace nových odborníků až po zaměstnávání personálu ve společnosti. V současné verzi projektu jsou náklady na program stanoveny na 41,3 miliardy rublů z rozpočtu a 630 milionů rublů na mimorozpočtové investice.

Očekává se, že systém ověřování dovedností pro vývojáře softwaru bude spuštěn v roce 2025. V počáteční fázi bude moci certifikaci využívat více než 20 tisíc IT specialistů a vývojářů a do roku 2030 se jejich počet zvýší na 250 tisíc vysoce kvalifikovaných zaměstnanců.

V říjnu 2023 média informovala, že ministerstvo pro digitální rozvoj diskutuje s IT průmyslem o vytvoření jednotného certifikačního centra pro IT specialisty v Ruské federaci. Dříve certifikaci vývojářů a inženýrů (pro Oracle, VMware, Cisco, Microsoft atd.) zajišťovala školicí střediska několika zahraničních společností, které opustily ruský trh. V současné době odborníci odhadují objem trhu s IT certifikací na 300 milionů rublů s potenciálem vzrůst na 1 miliardu rublů do roku 2024.

V září 2023 podepsaly IT společnosti, školicí střediska, průmyslová sdružení a velcí integrátoři v Inovačním centru Skolkovo memorandum o vytvoření a přípravě jednotných metod pro certifikaci domácích softwarových vývojářů a IT specialistů v Ruské federaci.

Ministerstvo digitálního rozvoje začalo koncem roku 2022 pracovat na vytvoření vlastního certifikačního systému pro ruské specialisty na informační a kybernetickou bezpečnost v rámci zavádění paralelní certifikace pro interní použití v zemi. Agentura zvažovala spuštění certifikačního projektu podobného zahraničním certifikátům informační bezpečnosti, jako jsou CISSP, CompTIA Security+, CCNA Security a další, jejichž získání nebo obnovení je nyní v Ruské federaci nemožné kvůli sankcím a odmítnutí prodejců a zahraničních certifikačních systémů spolupracovat a registrovat uživatele z Ruské federace.