Difference between revisions of "Digitaal toetsen"

From Cncz
Jump to: navigation, search
m ([Voor- en nadelen][Advantages and disadvantages])
([Digitale toetsomgeving][Digital testing environment])
Line 2: Line 2:
Er is een digitale toetsomgeving beschikbaar, gebaseerd op het open source product TAO Testing, welke voor zowel summatief als formatief toetsen gebruikt kan worden. De toetsomgeving ondersteunt een aantal vraagtypes, maar er is geen mogelijkheid om wiskundige of chemische formules in te voeren in de antwoorden.  Zulke formules kunnen op redelijke schaal wel gebruikt worden in de toetsvragen. Het is mogelijk om computer broncode in te voeren maar alleen in een vrij tekstveld, niet in een vorm die in de buurt komt van de programmeeromgevingen die we tegenwoordig gewend zijn. In het algemeen worden momenteel dus alleen open vragen en multiple choice vragen goed ondersteund. Plaatjes kunnen gebruikt worden in de vragen en het is ook beperkt mogelijk om studenten een plaatje te laten tekenen/uploaden als onderdeel van een antwoord, door gebruik te maken van een standaard applicatie op de desktop, zoals b.v. WIndows Paint. Deze mogelijkheid is al in de praktijk toegepast en functioneert redelijk, maar ideaal is het niet. Dit alles betekent dat de omgeving maar voor een deel van de cursussen kan worden gebruikt. Aanvullende functionaliteit moet worden ontwikkeld om de omgeving gebruikt te maken als algemeen digitaal toetsmiddel voor de hele faculteit.
De omgeving bestaat uit vier delen, allemaal web-gebaseerd:
# Een "database" omgeving waarin docenten vragen kunnen samenstellen en hun verzameling toetsvragen kunnen beheren.
# Een "authoring" omgeving waarin docenten tentamens kunnen samenstellen met de vragen uit de database.
# Een "testing" (toets)omgeving waarin tentamens worden afgenomen. The toetsen vinden plaats op de PC's in de computerruimtes die door C&CZ worden beheerd, in een zogenaamde "Safe Exam Browser" omgeving.
# Een "grading" (beoordelings)omgeving waarin de antwoorden kunnen worden bekeken en beoordeeld.
Op dit moment bestaat de "grading" omgeving nog niet.  In plaats daarvan worden de antwoorden van de toets ge-exporteerd in een spreadsheet. Voor multiple choice vragen is automatische puntentoekenning mogelijk. De overige drie omgevingen bestaan al en zijn operationeel.

Revision as of 19:05, 24 November 2015

Digital testing environment

We offer a digital testing environment, based on the open source product TAO Testing, which can be used for both summative and formative testing. The testing environment supports several types of questions, but there is no support for entering mathematical or chemical formulae in answers, although formulae can be used in questions. Entering computer source code is possible in a free text field, but not in a manner which resembles the computer program development environments people are used to nowadays. So, in general, questions which require free text or multiple choice answers are currently supported. Images can be used in questions and it is possible to let the student make and upload a drawing (using a basic tool available on the desktop such as Windows Paint) as (part of) their answer. This feature was used in a real life digital test and functioned properly, although it is not ideal. All in all this means that at the moment the environment can only be used for a limited set of our courses. Additional features must be implemented for the environment to become a general purpose digital testing facility for the Faculty of Science as a whole.

The environment consists of four parts, all of which are web-based.

  1. A “database” environment in which lecturers can create and manage their own collection of exam questions and answers.
  2. An “authoring” environment in which lecturers can create exams from questions from the database.
  3. A “testing” environment in which tests can be performed. The tests take place on the computer lab PCs managed by C&CZ in a so called Secure Exam Browser environment.
  4. A “grading” environment in which the answers that were handed in can be reviewed and graded.

At this moment the grading environment does not exist yet. Instead the results of the test are exported from the testing environment into a spreadsheet for the lecturer to review and grade the answers. For multiple choice type questions automatic grading is already supported. The other three parts of the environment do exist and are operational.

Advantages and disadvantages

Our digital testing environment was used successfully for about a dozen exams. The advantages of digital testing are big.

  1. Correcting/grading, especially for large numbers of participants, can be done much faster.
    1. Answers to open questions are typed in, solving the poor handwriting problem.
    2. Automatic grading of multiple-choice questions is possible.
  2. As the database of exam questions grows it becomes easier for lecturers to create tests.
  3. For most students typing and/or clicking is much easier than writing.
  4. For courses in Computing Science, especially computer programming, the possibility to type and modify code instead of writing code on paper is a major improvement.
  5. Functionality like what is offered by Versatest (digital microscopy) is only possible in a digital environment (but it has not yet been integrated in TAO Testing).
  6. We have integrated the course survey (Alice) at the end of the digital test which has led to a vast increase of the survey response percentage.

There are also disadvantages:

  1. Digital testing introduces new cheating risks. It may be difficult to eliminate all of them.
  2. Digital testing places a burden on the available PCs for students. This problem increases as the use of digital testing grows.
  3. It may be necessary to schedule digital tests in the evening due to the previous issue. Currently this is not possible because IT support cannot be guaranteed outside office hours.
  4. The PCs in the computer labs are not shielded from a major power outage. If this happens the exam can only be cancelled.
  5. The current solution can not be used for exam questions where the answer requires the use of mathematical or chemical formulae, reaction equations, diagrams, in general any substantial amount of free format “drawing” by the student.