Mapovanie pedagogického výskumu a vplyvu posudzovania

Zhrnutie





Výskum v oblasti vzdelávania je rozsiahla, multidisciplinárna oblasť. V snahe pochopiť to alebo urobiť úsudok o dôležitosti, vplyve alebo o tom, kde sa akcia nachádza, môže byť užitočné vidieť celkový obraz a nenechať sa ovplyvniť tým, kde v poli sedíme. Mapa výskumu vzdelávania odvodená z citačných údajov nám môže pomôcť vidieť celkový obraz. Odpovede na jeden z mojich nedávnych príspevkov Evidence Speaks a jeho vzťah k ročnému Vzdelávací týždeň Hodnotenie vplyvu Edu-Scholar slúži ako príklad toho, ako môže mapa pomôcť.



Úvod

Výskum vzdelávania je rozsiahlou oblasťou, do ktorej sa okrem iného zapájajú psychológovia, ekonómovia, sociológovia, antropológovia a politológovia, ktorí pracujú na rôznych problémoch a problémoch. Keď robíme úsudky o tejto oblasti, môžeme to robiť z hľadiska našej vlastnej výskumnej komunity. Mapa výskumu vzdelávania nám môže pomôcť oceniť iné perspektívy, čo nám umožní zmierniť a spresniť naše úsudky.



Odpovede na jeden z mojich vlastných príspevkov Evidence Speaks a nedávne Vzdelávací týždeň Rebríček vplyvu RHSU Edu-Scholar poskytuje príklady toho, ako môže mapa zobrazujúca celkový obraz rozšíriť naše chápanie. [i]



Vo svojom predchádzajúcom príspevku som na základe bibliometrickej analýzy vzdelávacej literatúry uviedol, že tromi najväčšími výskumnými komunitami v tejto oblasti sú vzdelávací dizajn (v tomto príspevku nazývaný teória kognitívnej záťaže), motivácia a vedecké vzdelávanie. Medzi najcitovanejších, najvplyvnejších a v súčasnosti aktívnych vedcov v týchto komunitách patrili John Sweller, Richard Mayer, Albert Bandura, Herbert Marsh a Michelene Chi. Dávalo mi to perfektný zmysel, pretože posledných 35 rokov sa na výskum vzdelávania pozerám z vlastnej perspektívy založenej na psychológii a kognitívnej vede.



Niektorí čitatelia poukázali na to, že mnohí výskumníci v oblasti vzdelávania možno nikdy nepočuli o teórii kognitívnej záťaže alebo o tom, ako mentálne reprezentácie ovplyvňujú riešenie fyzikálnych problémov. Toto je opodstatnená kritika.



Moje tvrdenia vyzerali obzvlášť pochybne v porovnaní s hodnotením verejného vplyvu RHSU Edu-Scholar. Rick Hess každý rok zostavuje poradie 200 vedcov (ďalej len vedcov, ktorí majú vplyv na verejnosť), ktorí najviac ovplyvnili národný diskurz o vzdelávaní počas predchádzajúceho roka. Inštruktážny dizajn a prírodovedné vzdelávanie nevychádzajú z mien na tomto zozname. Na čele zoznamu pre rok 2016 boli Diane Ravitch, Linda Darling-Hammond, Howard Gardner a Gary Orfield. Ani jeden z učencov, ktorých som spomínal, sa na ňom neobjavuje.

Mapa výskumu vzdelávania nám môže pomôcť pochopiť túto rozdielnosť pohľadu. Vytvára tiež niekoľko zaujímavých otázok o hodnotení vplyvu. Hodnotenia majú tendenciu nadmerne zastupovať vedcov pracujúcich v niektorých výskumných komunitách a nedostatočne zastupovať iné. Je zaujímavé, že nedostatočne zastupuje vedcov pracujúcich na výučbe a výučbe predmetov. Prečo by to tak mohlo byť?



Analýza

Mapa spolucitovania dokumentov predstavuje sémantickú a intelektuálnu štruktúru oblasti výskumu zobrazením vzťahov spolucitovania medzi citovanými dokumentmi. Mapa použitá v tejto analýze je založená na 2 327 článkoch publikovaných počas roku 2014 v najvyššom kvartile (podľa impakt faktora) časopisov Web of Science Education a Education Research (52 časopisov). Tieto články citujú 90 000 iných článkov, t. j. na mape spolucitovania je 90 000 uzlov. Všimnite si, že tieto citované články nemusia byť nevyhnutne publikované vo vzdelávacích výskumných časopisoch. Sú publikované v časopisoch zastupujúcich mnohé iné disciplíny ako vzdelávanie: psychológiu, sociológiu, antropológiu, politické štúdie, ekonómiu, lingvistiku a neurovedu. Mapa obsahuje 2 775 citácií, ktorých autorom je 195 z 200 autorov s verejným vplyvom. Algoritmus detekcie komunity aplikovaný na sieť spolucitovania identifikuje v nej viac ako 110 výskumných komunít. [ii] Najväčšie komunity obsahujú približne 5–6 percent citácií.



Je možné porovnať distribúciu citácií k práci autorov verejného vplyvu vo výskumných komunitách k distribúcii všetkých citácií v komunitách. To odhaľuje komunity, v ktorých sú autori vplyvu verejnosti viac, menej alebo porovnateľne zastúpení v porovnaní s oblasťou ako celkom. Jedna výskumná komunita obsahuje viac ako 16 percent z 2 775 citácií autorov s vplyvom na verejnosť.

Všimnite si, že údaje o citáciách sa používajú na mapovanie oblasti, na identifikáciu výskumných komunít a na určenie, ktorí učenci sa vyskytujú v ktorej komunite. Analýza nepredpokladá, že vysoko citovaní výskumníci sú nevyhnutne vplyvní mimo akademickej literatúry. Počet citácií alebo spolucitovania vedca nie je pri vytváraní mapy dôležitý. Nie je použitý žiadny prah citácie. Chceme vidieť, kde sa na mape objavujú vedci, dokonca aj tí, ktorí sú citovaní iba raz. Identifikácia vedcov, ktorí ovplyvňujú verejný diskurz, je iná úloha ako identifikácia vysoko citovaných alebo spolucitovaných vedcov v rámci komunity zaoberajúcej sa výskumom vzdelávania; aj keď by sa dalo dúfať alebo očakávať, že medzi akademicky popredných patrí aj veľa vedcov s vplyvom na verejnosť.



Tabuľka 1 ukazuje výsledky. Označenia Spoločenstva sú odvodené z kontroly citovaných odkazov (vrátane názvov kníh a správ) a časopisov, v ktorých boli publikované. Štítky majú zachytávať hlavnú tému každej komunity. Výskumné ohniská komunít sú až na dve výnimky zrejmé zo štítkov. Instructional Design sa zameriava na výskum, ktorý sa pokúša navrhnúť inštruktážne intervencie citlivé na obmedzenia ľudskej pracovnej pamäte (kognitívna záťaž). Politika a vzdelávanie obsahuje prácu o politických dôsledkoch a politických záväzkoch politiky vzdelávania a vzdelávania, t. j. spoločného základu alebo zapojenia štátu do ranej starostlivosti o deti a rodičovstva.



Stôl 1.

10 najlepších komunít pre výskum vzdelávania



Spoločenstva



% Eduk. Res. Citácie

% Učencov verejného vplyvu

Inštruktážny dizajn

6.2

2.0

Rané detstvo

6.1

7.1

Prírodovedné vzdelávanie

6.0

1.4

Čítanie

5.8

1.7

Vyučovanie, hodnotenie učiteľa

4.8

9.6

Organizácia, riadenie školy

4.7

13.6

Motivácia

3.7

2.6

Vzdelávanie druhého jazyka

3.6

0,1

Učenie v sociálnych súvislostiach

3.5

1.7

Politika a vzdelávanie

3.5

6.0

Najlepších 10 Vzdelávací týždeň výskumné komunity

Spoločenstva

% Eduk. Res. Citácie

% Učencov verejného vplyvu

Efektívnosť školy

16.5

3.0

Organizácia, riadenie školy

13.6

4.7

Učiteľstvo, Vzdelávanie učiteľov

9.6

4.8

Rasa a etnická príslušnosť

7.6

1.6

Desegregácia školy

7.5

1.9

Rané detstvo

7.1

6.1

Politika a vzdelávanie

6.0

3.5

Vzdelávacia technológia

3.0

3.9

Motivácia

2.6

3.7

Inštruktážny dizajn

2.0

6.2

Na hornom paneli je zoznam desiatich najväčších výskumných komunít v literatúre o výskume vzdelávania. Druhý stĺpec udáva percento citácií autorov s verejným vplyvom, ktoré sa objavujú v danej komunite. Sedem z 10 komunít obsahuje výskum priamo súvisiaci s učením sa a motiváciou študentov, najmä výskum v oblasti učenia sa špecifických predmetov (veda, čítanie a druhý jazyk). Tri komunity – učiteľstvo a vzdelávanie učiteľov, organizácia a správa školy, politika a vzdelávanie – sa zaoberajú otázkami a výskumnými otázkami o vzdelávaní ako inštitúcii alebo profesii.

Pre komunity raného detstva a motivácie sú percentá citácií v literatúre a percento citácií autorov s vplyvom verejnosti v týchto komunitách porovnateľné. Avšak v prípade inštruktážneho dizajnu a väčšiny tematických komunít sú autori s verejným vplyvom výrazne nedostatočne zastúpení. Instructional Design, jediná najväčšia komunita, obsahuje 6,2 percenta všetkých citácií, ale len 2 percentá citácií autorov s vplyvom verejnosti. Vedci s verejným vplyvom sú tiež nedostatočne zastúpení v prírodovednom vzdelávaní, čítaní a vzdelávaní druhého jazyka.

Spodný panel tabuľky zobrazuje desať najväčších vedeckých komunít s verejným vplyvom. School Effectiveness je najväčšia takáto komunita. Rasa a etnická príslušnosť je štvrtá najväčšia, nasleduje Desegregácia škôl. V týchto piatich najlepších komunitách sú vedci z oblasti verejného vplyvu veľmi nadmerne zastúpení, čo sa týka efektívnosti školy päťnásobne.

Kde sú štyria najlepší odborníci na vplyv verejnosti? Práca Diane Ravitch sa objavuje v rámci politiky a vzdelávania, hoci jej práca nie je v súbore článkov príliš citovaná. Ravitch má pravdepodobne väčšie zastúpenie vo vzdelávaní a všeobecných médiách ako v prísne akademickej literatúre. Darling-Hammond patrí medzi najcitovanejších autorov v súbore článkov. Jej práca sa objavuje vo viacerých komunitách, hoci jej primárnou komunitou je učiteľstvo a vzdelávanie učiteľov. Howard Gardner je v súbore článkov mierne citovaný a jeho práca sa objavuje predovšetkým v rámci výskumnej komunity o kreativite. Kreatívna komunita obsahuje približne 2 percentá z 90 000 citácií. Gary Orfield je najvyššie citovaným autorom v rámci School Desegregation a autorom jedného z jeho najdôležitejších článkov.

Implikácie a špekulácie

Tieto výsledky vysvetľujú zjavné nezrovnalosti medzi mojimi skoršími zisteniami a trochu odlišným obrazom implicitným v rebríčkoch vplyvu. Instructional Design a Science Education, výskumné komunity, ktorým dominuje psychológia, sa opäť objavujú ako dve z najväčších výskumných komunít. Celkovo však citácie obsiahnuté v týchto komunitách predstavujú iba 12 percent všetkých citácií nájdených v literatúre. Moji kritici mali pravdu. Môže sa stať, že vedci pracujúci v komunitách, ktoré obsahujú ďalších 88 percent citácií, nepoznajú prácu ani vedcov, ktorí sa objavujú v Instructional Design and Science Education. Moje závery boli zrejmé a dávali mi dokonalý zmysel, pretože posledných 35 rokov sledujem výskum vzdelávania z hľadiska psychológie a kognitívnej vedy. Podobne nebolo možné ľahko odvodiť dôležitosť vzdelávacieho dizajnu a prírodovedného vzdelávania vo výskume vzdelávania z preskúmania rebríčka učencov s vplyvom na verejnosť. Tieto výskumné komunity majú tendenciu byť nedostatočne zastúpené v rebríčkoch verejného vplyvu.

Mapa a distribúcia citácií medzi výskumnými komunitami vyvolávajú zaujímavú otázku: Prečo sú niektoré výskumné komunity nadmerne a nedostatočne zastúpené medzi odborníkmi na vplyv verejnosti v porovnaní s literatúrou o výskume vzdelávania ako celku? Samozrejme, neexistuje žiadny zjavný dôvod, prečo by zoznam 200 vedcov z oblasti vzdelávania s vysokým verejným vplyvom mal byť reprezentatívny pre oblasť vzdelávania ako celku, ale neexistuje ani zjavný dôvod, prečo by nemali byť.

Dalo by sa špekulovať, že práca niektorých výskumných komunít je vnímaná ako práca, ktorá má širšie politické dôsledky alebo má všeobecnejší záujem ako iné. Pravdepodobnými kandidátmi sú Desegregácia škôl, rasa a etnicita a politika a vzdelávanie. Do tejto kategórie môže patriť aj výskum efektívnosti škôl. Ak je to tak, je pravdepodobné, že vzdelávanie a všeobecné médiá tieto črty nielen preberú, ale aj umocnia prostredníctvom ich pokrytia. Môže sa tiež stať, že vedci, ktorí pracujú na spoločensky a politicky významných témach, ako je desegregácia škôl, cítia povinnosť alebo majú sklon zapojiť sa do verejnej diskusie. Vedci, ktorí pracujú na tom, ako mylné predstavy ovplyvňujú učenie sa prírodných vied alebo dôležitosť fonologického povedomia pri učení sa čítať, hoci sa chcú podeliť o svoje zistenia, nemusia cítiť rovnakú povinnosť alebo sklon. Ak je to tak, vedci z tých, ktorí sú vnímaní ako akademickejšie výskumné komunity, budú musieť buď prijať svoje sekundárne postavenie vo verejnej aréne, alebo zvážiť zmenu svojho kolektívneho myslenia a vynaložiť väčšie úsilie na zapojenie verejnosti.

Dalo by sa tiež špekulovať, že učenci pracujúci v oblasti výučbového dizajnu alebo výučby predmetov majú jednoducho menej prispievania do verejného dialógu ako vedci z tých, ktorí sú vnímaní ako sociálne a politicky relevantnejšie výskumné komunity. Myslím si, že je to nepravdepodobné vzhľadom na dôraz na vyučovanie a učenie sa predmetov, ktorý sa objavuje v literatúre o politike. Napríklad v nedávnom príspevku Evidence Speaks , Brain Jacob (učenec s verejným vplyvom, ktorého práca sa najčastejšie objavuje v komunite School Effectiveness) načrtol niekoľko výziev, ktoré je potrebné splniť, aby sa zlepšila počítačom podporovaná výučba a e-learningové prostredie. Vzdelávací dizajn je zdrojom základnej a aplikovanej vedy potrebnej na riešenie týchto výziev. Existuje tiež národný dôraz na zlepšenie vzdelávania STEM. Medzi najcitovanejšie a najvplyvnejšie publikácie v rámci komunity vedeckého vzdelávania patria správy Národnej rady pre výskum z rokov 1996, 2000 a 2011. [iii] Tieto správy sú určené na ovplyvnenie politiky. Je ťažké uveriť, že autori a prispievatelia do týchto správ môžu len málo prispieť k národnému dialógu. Dalo by sa povedať podobný nárok na gramotnosť a vzdelávanie v druhom jazyku, čo sú večné politické otázky.

Treťou možnosťou je, že v procese výberu učencov s vplyvom verejnosti existujú prvky, ktoré ovplyvňujú rovnováhu medzi výskumnými komunitami. Každý rok sa zachová 150 najlepších učencov z predchádzajúceho roka; 75 percent vedcov si prenesie z jedného roka do druhého. Akákoľvek počiatočná nerovnováha pri výbere vedcov s vplyvom na verejnosť bude pravdepodobne pretrvávať. Výberová komisia, zložená z ďalších vedeckých pracovníkov, nominuje nových kandidátov a hlasuje o nich. Títo kandidáti, ktorí zahlasovali medzi 50 najlepších, sa pridajú k zachovaným 150 a zoradia sa podľa kritérií, ako je h-index, knižné publikácie a prítomnosť médií. Všetci vedci zo zoznamu boli vybraní naraz.

Všimnite si, že učenci sú vyberaní podľa ich verejného vplyvu inými vedcami z oblasti verejného vplyvu a potom sú zoradení podľa kritérií. Zdá sa, že kritériá hodnotenia nezohrávajú vo výberovom procese žiadnu explicitnú úlohu.

Tohtoroční členovia výberovej komisie pochádzajú prevažne z troch výskumných komunít: Efektívnosť škôl, Organizácia a správa školy a Vzdelávanie učiteľov a učiteľov. [iv] Takmer 50 percent citácií selektorov sa objavuje v týchto komunitách. (Pre záznam, prispievatelia do Evidence Speaks sa zhromažďujú v školskej efektívnosti (34,5 percenta ich citácií) a ranom detstve (24,3 percenta).) Ak majú selektori tendenciu nominovať nových kandidátov z hľadiska ich vlastnej výskumnej komunity, dokonca aj s tými najlepšími výberový proces by mohol viesť k zoznamu vedcov s verejným vplyvom, ktorý nedostatočne zastupuje niektoré výskumné komunity a nadmerne zastupuje iné. Nedostatočne zastúpené komunity by sa dokonca mohli aktívne zapojiť do nášho národného diskurzu.

Kritériá hodnotenia nemôžu napraviť nedostatky vo výberovom konaní. Kritériá slúžia na zoradenie vedcov, ktorí boli vopred vybraní ako vplyvní. Mnohí učenci majú v týchto kritériách veľmi vysoké skóre, ale môžu alebo nemusia byť považovaní za vplyvných. Tabuľka 2 uvádza desať najvyššie citovaných autorov v mape spolucitovania. Všetky z nich majú h index vyšší ako 50, čo by im v rebríčku prinieslo maximálne skóre v službe Google Scholar 50. To by všetkých týchto autorov zaradilo medzi 100 najlepších iba na základe h-indexu Google Scholar. Za rok 2015 by Richard Mayer získal skóre okolo 99 na základe kritérií, čím by sa zaradil medzi 15 najlepších na zozname, ak bol vôbec vybraný, aby sa v ňom objavil. Spôsob, ako hrať systém, je v prvom rade byť vybraný na zaradenie, nie manipulovať so svojím skóre v metrikách. [v]

Tabuľka 2

Najvyššie citovaní americkí učenci

kedy bude ďalší dorastajúci gibbous mesiac

Vedec

Primárna komunita

Citácie

R.E. Mayer

Inštruktážny dizajn

259

A. Bandura

Organizácia školy

216

M.H.T. Chi

Inštruktážny dizajn

155

S.W. Raudenbush

Efektívnosť školy

127

P. R. Pintrich

Motivácia

126

L. Darling-Hammond

Vyučovanie

122

A. Takže.

Motivácia

100

C.A. Perfektné

Čítanie

93

R. Plant

Rané detstvo

84

J. Lava

Vyučovanie a vzdelávanie učiteľov

83

Prezentácia bodovacej rubriky RHSU Edu-Scholar Influence Rankings uznáva jej slabé stránky, priznáva, že hodnotenie má ďaleko od dokonalosti, a víta rady. Mapa výskumu vzdelávania nám umožňuje preskúmať, ako sú v rebríčkoch zastúpené rôzne výskumné komunity. To vyvoláva určité otázky o vnímanom význame niektorých výskumných komunít pre politiku a o tom, ako efektívne sa výskumné komunity angažujú vo verejnej správe. Pokiaľ ide o samotné hodnotenia, pochopenie štruktúry výskumnej komunity naznačuje, že proces výberu vedcov si zaslúži určitú pozornosť. Možno v tom pomôže aj mapa.


[i] http://blogs.edweek.org/edweek/rick_hess_straight_up/2016/01/the_2016_rhsu_edu-scholar_public_influence_rankings.html

[ii] Na identifikáciu výskumných komunít sa používa algoritmus Slow Local Moving aplikovaný na sieť spolucitovania dokumentov.

[iii] Pozri http://www.nap.edu/catalog/4962/national-science-education-standards , http://www.nap.edu/catalog/9596/inquiry-and-the-national-science-education-standards-a-guide-for a http://www.nap.edu/catalog/13165/a-framework-for-k-12-science-education-practices-crosscutting-concepts .

[iv] http://blogs.edweek.org/edweek/rick_hess_straight_up/2016/01/the_rhsu_edu-scholar_public_influence_scoring_rubric_1.html

[v] Stredné skóre pre metriky vplyvu sú: Google Scholar ≈ 30, Knižné body ≈ 4, najvyššie hodnotenie Amazonu = 0, zmienky o vzdelaní v tlači = 1, zmienky na webe = 5 – 6, zmienky v novinách = 3, zmienky v kongresovom rekorde = 0, skóre Klout = 0.