The aim of this study is to examine and formalize important design principles in the development of an evaluation system in the context of assessing the quality and efficiency in virtual reality training. This study is based on previous research and theories in evaluation systems and training programs for work-based learning. Qualitative data has been collected through several semi-structured interviews with key individuals who participated in a VRtraining project at the Swedish railway company SJ. This study has applied an action design research approach through iterative cycles to build, test and assess evaluation systems in close collaboration with participants from SJ. The results that emerged from this study were six different design principles that have been developed through an analysis based on the case study as well as criteria for evaluation systems, training programs and evaluation. Lastly, a discussion about the methods of the various principles has been conducted in order to ensure the organization’s evaluation process.

Syftet med studien är att undersöka och formalisera viktiga designprinciper vid utveckling av ett utvärderingssystem i kontexten av att bedöma kvalité och effektivitet av utbildning i virtuell verklighet. Studien bygger på tidigare forskning samt teorier inom utvärderingssystem och träningsprogram för arbetsförlagd träning. Kvalitativa data har samlats in genom flera semistrukturerade intervjuer med de nyckelpersoner som ingick i tågbolaget SJ:s VR-projekt. Studien har tillämpat action design research som forskningsansats genom iterativa cykler för att bygga, testa och utvärdera utvärderingssystem i nära samarbete med aktörer från SJ. Studien har resulterat i sex olika designprinciper som har utvecklats genom en analys som bygger på fallstudien samt kriterier för utvärderingssystem, träningsprogram och utvärdering. Slutligen har en diskussion förts om de olika principernas tillvägagångssätt i syfte att säkerhetsställa verksamhetens utvärderingsprocess.