Evaluierung des KI-basierten Chatbots der Lern-App «Brian» – Eine empirische Studie auf der Sekundarstufe II in der Schweiz
Type
conference paper
Date Issued
2025
Author(s)
Abstract
Einleitung
Seit der Einführung von ChatGPT ist Künstliche Intelligenz (KI) ein wesentlicher Bestandteil der Bildungslandschaft. Schülerinnen und Schüler nutzen diesen Chatbot für eine Vielzahl von Aufgaben wie das Verfassen von Texten, zur Erklärung von Inhalten oder Unterstützung bei Essays und Recherchen. Dies ermöglicht es den Lernenden, Wissenslücken eigenständig zu schliessen und Aufgaben effizient zu bearbeiten. Gleichzeitig besteht jedoch das Risiko, dass essenzielle Kompetenzen wie kritisches Denken und das Vertiefen von Fachwissen vernachlässigt werden (Lo, 2023).
Die Lernplattform «Brian» verfolgt den Ansatz, Lehrpersonen und Lernende in einer integrierten Lernumgebung zusammenzubringen und dort Lerninhalte mithilfe von KI zu vermitteln. Um die kritische Auseinandersetzung und Reflexion mit Lerninhalten zu fördern, wurde ein KI-basierter Chatbot mit zwei Nutzungsmodi integriert: Im «Teacher-Led» Modus entwickeln Lehrkräfte anhand vorgegebener Templates («Promptings») Aufgaben in Form von KI-Dialogen für Lernende. Im «Student-Led» Modus erhalten Lernende Zugang zum Sprachmodell (ChatGPT), wobei die Interaktion mit dem Chatbot in Richtung sokratischer Dialog entwickelt ist.
Forschungsfragen
In der Studie werden spezifische Merkmale des KI-Chatbots in «Brian» evaluiert, mit dem Ziel, Lernprozesse und Lernergebnisse der Lernenden zu verbessern. In der formativen Evaluation im Frühjahr 2025 fokussieren wir uns auf das kognitive, emotionale und behaviorale Student Engagement (Gunuc & Kuzu, 2015; Tang & Hew, 2023) und die Qualität der KI-Dialoge. Folgende Forschungsfragen werden dabei untersucht:
1. Wie wird der KI-Chatbot genutzt (z.B. «Teacher-Led», «Student-Led», Aufgabenstellungen nach Fachbereichen, kategorisiert nach Lernzieltaxonomiestufe (Krathwohl, 2002), etc.)?
2. In welchem Masse funktionieren die KI-Dialoge?
3. Wie nehmen die Lernenden den KI-Chatbot wahr?
4. Welche Faktoren beeinflussen die Akzeptanz des KI-Chatbots?
Methode
Das Forschungsprojekt wird als Design-Based Research Ansatz (DBR) umgesetzt, um zum einen Design-Prinzipien und relevante Adoptionsfaktoren für KI-basierte Dialoge zu ermitteln (theoretischer Beitrag) sowie auch Rückschlüsse für ein Re-Design von «Brian» (praktischer Beitrag) ziehen zu können. Das methodische Verfahren des DBR-Projektes für die Evaluation eines ersten Entwicklungszyklus umfasst ein Mixed-Method-Ansatz:
1. Qualitative Interviews mit Lernenden der Sekundarstufe II Stufe (ca. 10 beteiligte Schulen: Berufsfachschulen und Gymnasien). Die Lernenden werden zu ihren Erfahrungen mit dem KI-Chatbot, sowie Einstellungen und Wahrnehmungen befragt, mit dem Ziel, die quantitative, breite Umfrage zu spezifizieren.
2. Erhebung von quantitativen Daten mittels Online-Umfrage über alle Kurse des Samples.
3. Analyse des Nutzungsverhaltens von Lernenden anhand ausgewählter KI-Dialoge (z.B. Dauer der Promptings).
Ergebnisse und Diskussion
Der Beginn für die Datenerhebung ist für Februar 2025 geplant. Konkrete Ergebnisse und detaillierte Analysen werden erst nach Abschluss der Datensammlung und deren Auswertung vorliegen. Dies ermöglicht eine gründliche Untersuchung der Nutzungsmuster und Effektivität des KI-Chatbots in verschiedenen Lernkontexten auf der Sekundarstufe II. Die Ergebnisse dieser Analyse werden im Sommer 2025 verfügbar sein und einen tieferen Einblick in die Auswirkungen und Potenziale des Einsatzes von KI-Chatbots in Schulen auf der Sekundarstufe II bieten.
Seit der Einführung von ChatGPT ist Künstliche Intelligenz (KI) ein wesentlicher Bestandteil der Bildungslandschaft. Schülerinnen und Schüler nutzen diesen Chatbot für eine Vielzahl von Aufgaben wie das Verfassen von Texten, zur Erklärung von Inhalten oder Unterstützung bei Essays und Recherchen. Dies ermöglicht es den Lernenden, Wissenslücken eigenständig zu schliessen und Aufgaben effizient zu bearbeiten. Gleichzeitig besteht jedoch das Risiko, dass essenzielle Kompetenzen wie kritisches Denken und das Vertiefen von Fachwissen vernachlässigt werden (Lo, 2023).
Die Lernplattform «Brian» verfolgt den Ansatz, Lehrpersonen und Lernende in einer integrierten Lernumgebung zusammenzubringen und dort Lerninhalte mithilfe von KI zu vermitteln. Um die kritische Auseinandersetzung und Reflexion mit Lerninhalten zu fördern, wurde ein KI-basierter Chatbot mit zwei Nutzungsmodi integriert: Im «Teacher-Led» Modus entwickeln Lehrkräfte anhand vorgegebener Templates («Promptings») Aufgaben in Form von KI-Dialogen für Lernende. Im «Student-Led» Modus erhalten Lernende Zugang zum Sprachmodell (ChatGPT), wobei die Interaktion mit dem Chatbot in Richtung sokratischer Dialog entwickelt ist.
Forschungsfragen
In der Studie werden spezifische Merkmale des KI-Chatbots in «Brian» evaluiert, mit dem Ziel, Lernprozesse und Lernergebnisse der Lernenden zu verbessern. In der formativen Evaluation im Frühjahr 2025 fokussieren wir uns auf das kognitive, emotionale und behaviorale Student Engagement (Gunuc & Kuzu, 2015; Tang & Hew, 2023) und die Qualität der KI-Dialoge. Folgende Forschungsfragen werden dabei untersucht:
1. Wie wird der KI-Chatbot genutzt (z.B. «Teacher-Led», «Student-Led», Aufgabenstellungen nach Fachbereichen, kategorisiert nach Lernzieltaxonomiestufe (Krathwohl, 2002), etc.)?
2. In welchem Masse funktionieren die KI-Dialoge?
3. Wie nehmen die Lernenden den KI-Chatbot wahr?
4. Welche Faktoren beeinflussen die Akzeptanz des KI-Chatbots?
Methode
Das Forschungsprojekt wird als Design-Based Research Ansatz (DBR) umgesetzt, um zum einen Design-Prinzipien und relevante Adoptionsfaktoren für KI-basierte Dialoge zu ermitteln (theoretischer Beitrag) sowie auch Rückschlüsse für ein Re-Design von «Brian» (praktischer Beitrag) ziehen zu können. Das methodische Verfahren des DBR-Projektes für die Evaluation eines ersten Entwicklungszyklus umfasst ein Mixed-Method-Ansatz:
1. Qualitative Interviews mit Lernenden der Sekundarstufe II Stufe (ca. 10 beteiligte Schulen: Berufsfachschulen und Gymnasien). Die Lernenden werden zu ihren Erfahrungen mit dem KI-Chatbot, sowie Einstellungen und Wahrnehmungen befragt, mit dem Ziel, die quantitative, breite Umfrage zu spezifizieren.
2. Erhebung von quantitativen Daten mittels Online-Umfrage über alle Kurse des Samples.
3. Analyse des Nutzungsverhaltens von Lernenden anhand ausgewählter KI-Dialoge (z.B. Dauer der Promptings).
Ergebnisse und Diskussion
Der Beginn für die Datenerhebung ist für Februar 2025 geplant. Konkrete Ergebnisse und detaillierte Analysen werden erst nach Abschluss der Datensammlung und deren Auswertung vorliegen. Dies ermöglicht eine gründliche Untersuchung der Nutzungsmuster und Effektivität des KI-Chatbots in verschiedenen Lernkontexten auf der Sekundarstufe II. Die Ergebnisse dieser Analyse werden im Sommer 2025 verfügbar sein und einen tieferen Einblick in die Auswirkungen und Potenziale des Einsatzes von KI-Chatbots in Schulen auf der Sekundarstufe II bieten.
Abstract (De)
Einleitung
Seit der Einführung von ChatGPT ist Künstliche Intelligenz (KI) ein wesentlicher Bestandteil der Bildungslandschaft. Schülerinnen und Schüler nutzen diesen Chatbot für eine Vielzahl von Aufgaben wie das Verfassen von Texten, zur Erklärung von Inhalten oder Unterstützung bei Essays und Recherchen. Dies ermöglicht es den Lernenden, Wissenslücken eigenständig zu schliessen und Aufgaben effizient zu bearbeiten. Gleichzeitig besteht jedoch das Risiko, dass essenzielle Kompetenzen wie kritisches Denken und das Vertiefen von Fachwissen vernachlässigt werden (Lo, 2023).
Die Lernplattform «Brian» verfolgt den Ansatz, Lehrpersonen und Lernende in einer integrierten Lernumgebung zusammenzubringen und dort Lerninhalte mithilfe von KI zu vermitteln. Um die kritische Auseinandersetzung und Reflexion mit Lerninhalten zu fördern, wurde ein KI-basierter Chatbot mit zwei Nutzungsmodi integriert: Im «Teacher-Led» Modus entwickeln Lehrkräfte anhand vorgegebener Templates («Promptings») Aufgaben in Form von KI-Dialogen für Lernende. Im «Student-Led» Modus erhalten Lernende Zugang zum Sprachmodell (ChatGPT), wobei die Interaktion mit dem Chatbot in Richtung sokratischer Dialog entwickelt ist.
Forschungsfragen
In der Studie werden spezifische Merkmale des KI-Chatbots in «Brian» evaluiert, mit dem Ziel, Lernprozesse und Lernergebnisse der Lernenden zu verbessern. In der formativen Evaluation im Frühjahr 2025 fokussieren wir uns auf das kognitive, emotionale und behaviorale Student Engagement (Gunuc & Kuzu, 2015; Tang & Hew, 2023) und die Qualität der KI-Dialoge. Folgende Forschungsfragen werden dabei untersucht:
1. Wie wird der KI-Chatbot genutzt (z.B. «Teacher-Led», «Student-Led», Aufgabenstellungen nach Fachbereichen, kategorisiert nach Lernzieltaxonomiestufe (Krathwohl, 2002), etc.)?
2. In welchem Masse funktionieren die KI-Dialoge?
3. Wie nehmen die Lernenden den KI-Chatbot wahr?
4. Welche Faktoren beeinflussen die Akzeptanz des KI-Chatbots?
Methode
Das Forschungsprojekt wird als Design-Based Research Ansatz (DBR) umgesetzt, um zum einen Design-Prinzipien und relevante Adoptionsfaktoren für KI-basierte Dialoge zu ermitteln (theoretischer Beitrag) sowie auch Rückschlüsse für ein Re-Design von «Brian» (praktischer Beitrag) ziehen zu können. Das methodische Verfahren des DBR-Projektes für die Evaluation eines ersten Entwicklungszyklus umfasst ein Mixed-Method-Ansatz:
1. Qualitative Interviews mit Lernenden der Sekundarstufe II Stufe (ca. 10 beteiligte Schulen: Berufsfachschulen und Gymnasien). Die Lernenden werden zu ihren Erfahrungen mit dem KI-Chatbot, sowie Einstellungen und Wahrnehmungen befragt, mit dem Ziel, die quantitative, breite Umfrage zu spezifizieren.
2. Erhebung von quantitativen Daten mittels Online-Umfrage über alle Kurse des Samples.
3. Analyse des Nutzungsverhaltens von Lernenden anhand ausgewählter KI-Dialoge (z.B. Dauer der Promptings).
Ergebnisse und Diskussion
Der Beginn für die Datenerhebung ist für Februar 2025 geplant. Konkrete Ergebnisse und detaillierte Analysen werden erst nach Abschluss der Datensammlung und deren Auswertung vorliegen. Dies ermöglicht eine gründliche Untersuchung der Nutzungsmuster und Effektivität des KI-Chatbots in verschiedenen Lernkontexten auf der Sekundarstufe II. Die Ergebnisse dieser Analyse werden im Sommer 2025 verfügbar sein und einen tieferen Einblick in die Auswirkungen und Potenziale des Einsatzes von KI-Chatbots in Schulen auf der Sekundarstufe II bieten.
Seit der Einführung von ChatGPT ist Künstliche Intelligenz (KI) ein wesentlicher Bestandteil der Bildungslandschaft. Schülerinnen und Schüler nutzen diesen Chatbot für eine Vielzahl von Aufgaben wie das Verfassen von Texten, zur Erklärung von Inhalten oder Unterstützung bei Essays und Recherchen. Dies ermöglicht es den Lernenden, Wissenslücken eigenständig zu schliessen und Aufgaben effizient zu bearbeiten. Gleichzeitig besteht jedoch das Risiko, dass essenzielle Kompetenzen wie kritisches Denken und das Vertiefen von Fachwissen vernachlässigt werden (Lo, 2023).
Die Lernplattform «Brian» verfolgt den Ansatz, Lehrpersonen und Lernende in einer integrierten Lernumgebung zusammenzubringen und dort Lerninhalte mithilfe von KI zu vermitteln. Um die kritische Auseinandersetzung und Reflexion mit Lerninhalten zu fördern, wurde ein KI-basierter Chatbot mit zwei Nutzungsmodi integriert: Im «Teacher-Led» Modus entwickeln Lehrkräfte anhand vorgegebener Templates («Promptings») Aufgaben in Form von KI-Dialogen für Lernende. Im «Student-Led» Modus erhalten Lernende Zugang zum Sprachmodell (ChatGPT), wobei die Interaktion mit dem Chatbot in Richtung sokratischer Dialog entwickelt ist.
Forschungsfragen
In der Studie werden spezifische Merkmale des KI-Chatbots in «Brian» evaluiert, mit dem Ziel, Lernprozesse und Lernergebnisse der Lernenden zu verbessern. In der formativen Evaluation im Frühjahr 2025 fokussieren wir uns auf das kognitive, emotionale und behaviorale Student Engagement (Gunuc & Kuzu, 2015; Tang & Hew, 2023) und die Qualität der KI-Dialoge. Folgende Forschungsfragen werden dabei untersucht:
1. Wie wird der KI-Chatbot genutzt (z.B. «Teacher-Led», «Student-Led», Aufgabenstellungen nach Fachbereichen, kategorisiert nach Lernzieltaxonomiestufe (Krathwohl, 2002), etc.)?
2. In welchem Masse funktionieren die KI-Dialoge?
3. Wie nehmen die Lernenden den KI-Chatbot wahr?
4. Welche Faktoren beeinflussen die Akzeptanz des KI-Chatbots?
Methode
Das Forschungsprojekt wird als Design-Based Research Ansatz (DBR) umgesetzt, um zum einen Design-Prinzipien und relevante Adoptionsfaktoren für KI-basierte Dialoge zu ermitteln (theoretischer Beitrag) sowie auch Rückschlüsse für ein Re-Design von «Brian» (praktischer Beitrag) ziehen zu können. Das methodische Verfahren des DBR-Projektes für die Evaluation eines ersten Entwicklungszyklus umfasst ein Mixed-Method-Ansatz:
1. Qualitative Interviews mit Lernenden der Sekundarstufe II Stufe (ca. 10 beteiligte Schulen: Berufsfachschulen und Gymnasien). Die Lernenden werden zu ihren Erfahrungen mit dem KI-Chatbot, sowie Einstellungen und Wahrnehmungen befragt, mit dem Ziel, die quantitative, breite Umfrage zu spezifizieren.
2. Erhebung von quantitativen Daten mittels Online-Umfrage über alle Kurse des Samples.
3. Analyse des Nutzungsverhaltens von Lernenden anhand ausgewählter KI-Dialoge (z.B. Dauer der Promptings).
Ergebnisse und Diskussion
Der Beginn für die Datenerhebung ist für Februar 2025 geplant. Konkrete Ergebnisse und detaillierte Analysen werden erst nach Abschluss der Datensammlung und deren Auswertung vorliegen. Dies ermöglicht eine gründliche Untersuchung der Nutzungsmuster und Effektivität des KI-Chatbots in verschiedenen Lernkontexten auf der Sekundarstufe II. Die Ergebnisse dieser Analyse werden im Sommer 2025 verfügbar sein und einen tieferen Einblick in die Auswirkungen und Potenziale des Einsatzes von KI-Chatbots in Schulen auf der Sekundarstufe II bieten.
Language
German
Keywords
Künstliche Intelligenz
KI-Chatbot
KI-gestütztes Lernen
KI-Dialoge
Student Engagement
Publisher
Schweizerische Gesellschaft für Bildungsforschung (SGBF)
Start page
1
End page
1
Pages
1
Event Title
Jahreskongress 2025 der Schweizerischen Gesellschaft für Bildungsforschung (SGBF) und der Schweizerischen Gesellschaft für Lehrerinnen- und Lehrerbildung (SGL)
Event Location
Pädagogische Hochschule Luzern, Schweiz
Event Date
02.-04.07.2025
Additional Information
Proceedings noch nicht publiziert.