Analytical solutions are extensively designed to support students and enhance learning, while teachers have equal needs but often lack adequate teaching analytics (TA) tools to support their teaching practices. Although there is an initial effort to develop TA solutions for teachers, existing TA solutions are not yet sufficiently advanced for practical use. These solutions become scarcer for small datasets, represented by courses for employed adult learners in professional development and lifelong learning, where the number of students per course is small (fewer than fifty students) due to the courses’ specialized disciplines. Implementing TA solutions in real-world settings requires both technical and human knowledge to effectively create impacts on teaching and learning. However, this aspect has not gained sufficient research. This thesis bridges these gaps by conducting an interdisciplinary project to explore how to support teachers in enhancing their practices using TA within small-scale courses.

Using the design science research process and the co-design approach, a valuesensitive TA process framework was developed and evaluated in practice. To operate this framework, a value-sensitive teacher-facing dashboard was developed and embedded in real-time courses. This dashboard assists teachers in timely monitoring student progress, improving learning design, and making in-time interventions.

This dissertation advances knowledge in TA methods for small datasets, insights into online learning design for employed adult learners, practical experiences in implementing value-sensitive teacher-facing dashboards, and offers a valuesensitive TA process framework to guide teachers in using TA to enhance their practices responsibly and ethically. Value-sensitive design emerged as a significant finding to address practical issues related to human values during the TA implementation. This framework is a socio-technical system in which humans and technology are intertwined for impactful results.

Eftersom allt fler människor söker möjligheter till professionell utveckling och livslångt lärande är det nödvändigt att utforma kurser som möter vars och ens unika behov. Arbetetmed att förstå dessa behov och skapa lämpliga kurser har dock inte hållit jämna steg med den ökande efterfrågan. Detta gäller särskilt nätbaserat lärande, som erbjuder studenterna flexibilitet mellan studier och övriga förhållanden.

Kurser för yrkesarbetande studenter tenderar att vara mycket specialiserade, vilket leder till att antalet studenter per kurs är litet -färre än 50 studenter. För att bättre stödja dessa studenter i en online-miljö utforskar denna avhandling hur man kan hjälpa lärare att använda undervisningsanalys för att förbättra sina undervisningsmetoder. Data från undervisningsanalys ger användbar insikt om studenters och lärares aktiviteter. Denna insikt kan leda till förbättring av undervisningen och ge snabb support till de studerande. Implementeringen av undervisningsanalys i verkliga kurser kräver inte bara teknologisk kompetens utan också mänsklig kunskap för att effektivt påverka undervisning och lärande. Därför stannar denna avhandling inte vid teoretiska bidrag utan tillför även praktiska resultat.

Genom intimt samarbete med lärare i en designprocess kallad “design science research” har en processram för undervisningsanalys och lärarinriktade instrumentpaneler skapats och testats under kurserna.

Avhandlingen bidrar med tre nyckelområden: metoder för analys av små datamängder, insikt i design av onlinekurser för yrkesarbetande studenter och praktisk erfarenhet av att skapa lärarinriktade instrumentpaneler. Slutligen ger avhandlingen ett omfattande ramverk som hjälper lärare att självständigt använda undervisningsanalysverktyg, med målet att förbättra undervisningen och inlärningen.