Toetsanalyse: learning analytics (P’-, Rit- Rir- waarde en standaardafwijking) in de afnameomgeving

In de afnameomgeving vind je de volgende analysegegevens: behaalde scores, percentage maximum score, percentage voldoendes en onvoldoendes, P’-waarde, Rit-waarde, Rir-waarde en de standdaardafwijking van de vraag. Vanaf stap 1 wordt uitgelegd waar je deze analysegegevens vindt (n.b. de waarden in de screenshots komen niet uit een reële toets).

• Tip! Meer inhoudelijke en praktische informatie over het analyseren (en opbouwen) van een toets vind je in de Online module over toetsing.

  In de module wordt qua analyse ingegaan op de onderwerpen:

  • Waarom een toetsanalyse?
  • Begrippen toetsanalyse uitgelegd (P/P’-waarde , Rir-waarde, Coëfficient alfa)
  • Een toets analyseren
  • Oefen met een toetsanalyse

• Stap 1

  • Log in op de afnameomgeving.
  • Klik op het tabblad Resultaten en kies vervolgens in het menu Analyses.
  • Filter van welke toets je de analysegegevens wilt zien. (Je kan filteren op toetsmatrijs of toetsmoment, door gebruik te maken van de tabbladen).
  • OF gebruik de shortcut om bij de Learning Analytics te komen.

  
×


• Stap 2

  Tabblad: Volledig overzicht

  • Je komt in het volgende scherm van de Learning Analytics uit.
  • In de lijngrafiek vind je een percentage van de behaalde scores en in het cirkeldiagram zie je, wanneer je er met de muis op gaat staan, het percentage onvoldoendes en voldoendes.
  • Onder de grafiekjes zie je alle studenten staan. Je kunt de studenten sorteren van voldoende naar onvoldoende of andersom, op begintijd of op Status. Als je hierop wilt sorteren, klik dan achter Begintijd, Cijfers of Status op de pijltjes. Zie afbeelding.
  • Als je een terugkoppeling hebt ingesteld, dat wil zeggen een terugkoppeling van de score op bepaalde onderdelen van de toets, dan verschijnt  in de tabel ook een kolom ‘Terugkoppeling + nummer’. Dit kunnen één of meerdere kolommen zijn, afhankelijk van het aantal ingestelde terugkoppelingen.
  • De terugkoppeling heeft ook een eigen tabblad boven de tabel. De soorten waardes die je onder dat tabblad vindt, zijn gelijk aan die onder het tabblad ‘Details van het resultaat’ (zie volgende stap).
  • Met Voer een actie uit kun je de gegevens naar Excel exporten.

  
×


• Stap 3

  Tabblad: Details van het resultaat

  • Klik rechtsboven in het overzicht van de studenten op het tabblad Details van het resultaat, wanneer je de P’-waarde, de STDev-waarde, Rir- waarde en de Rit-waarde per vraag wilt zien en direct wilt zien hoe iedere student dezelfde vraag beantwoord heeft (zie rode pijl).
  • Om te zien om welke vraag het gaat, ga je met de muis op een van de cijfers (in dit voorbeeld 1 tot en met 7) staan. De naam van de vraag wordt getoond. Wil je de hele vraag zien, inclusief wat de student heeft geantwoord, klik dan op een gekleurd vakje (rood of groen).
  • Met de optie Voer een actie uit kun je deze gegevens naar Excel exporteren.

  
×


• Stap 4

  Tabblad: Analyseer vragen

  • Klik op het tabblad Analyseer vragen. Bekijk het screenshot.
  • Onder ‘Code/kenmerk’ zie je de naam van de vraag, de ID uit de beheeromgeving en de gebruikte versie van de vraag.
  • In de volgende kolommen zie je de maximale score die per vraag te behalen is, hoeveel studenten de vraag beantwoord hebben (onder ‘Resultaten’) en wat de P’-waarde, de Rir-waarde en standaardafwijking per vraag is.
  • Waardes die gemarkeerd zijn met een rood driehoekje (zie screenshot) wijken af van de optimale waarde. Wanneer je met de muis op deze gemarkeerde waarde gaat staan, lees je de bijbehorende uitleg.
  • In de kolom met het tekstwolkje zie je of er een opmerking of opmerkingen bij een vraag is/zijn gemaakt. Lees hier de mogelijkheden voor het behandelen van opmerkingen.
  • Achter de vragen staan nog twee icoontjes. Klik je op het icoontje met de i (toon details), dan zie je de vraag, de algemene informatie over de vraag, de versie-informatie en de metadata informatie.
  • Klik je op het icoontje dat er uitziet als een lijstje (Toon gegeven antwoorden) dan verschijnt informatie (incl. statistieken) over hoe vaak studenten een bepaald antwoord hebben gegeven. Je kunt hier het antwoordmodel direct aanpassen, als bijvoorbeeld blijkt dat toch meerdere afleiders juist blijken te zijn.

  
×