Skill Assessments: Wie wir mit Data Science Ihre Skills ermitteln

Wirksame Skill Assessments erfordern ein wenig Hilfe von cleveren Data Science Methoden. Hier ist eine kurze Einführung, wie wir das bei edyoucated machen.

Eine Einführung in die Data Science hinter Skill Assessments

Hallo zusammen!
Willkommen zurück zum zweiten Teil unserer Blogserie über Skill Assessments. Diesmal werden wir etwas technischer, aber keine Sorge, wir sind für Sie da.  Wenn Sie den ersten Teil noch nicht gelesen haben, sollten Sie vielleicht zuerst dorthin zurückkehren. Wenn Sie aber gleich mit den Details beginnen möchten, bleiben Sie einfach hier.

Unsere Herausforderung: Ihren genauen Wissensstand herausfinden

In diesem Beitrag befassen wir uns mit der Datenwissenschaft, die hinter atomaren Skill Assessments steht. Zur Erinnerung: Atomare Fertigkeiten sind sehr kleine Wissenseinheiten, und ein Lernthema (z. B. Microsoft Excel) kann bis zu ein paar hundert davon enthalten. Um Ihnen einen optimalen Einstieg in das Thema zu ermöglichen, müssen wir Sie irgendwie im Thema "verorten".

Unsere Herausforderung besteht also darin, herauszufinden, welche der atomaren Skills Sie bereits beherrschen und welche Ihnen noch unbekannt sind!

Und ja, sie alle. Ohne weitere Intelligenz müssen wir Sie nach jeder einzelnen Fähigkeit fragen. Wie Sie sich vorstellen können, kann das für Sie als Lernenden ziemlich langweilig und frustrierend werden, weshalb wir das auf keinen Fall tun wollen. Aber zumindest kann es als Grundlage für unsere Bewertung dienen: Wir tauschen eine Frage gegen eine Information über Sie. Das ist der schlimmste aller Fälle und schafft keine angenehme Benutzererfahrung, meinen Sie nicht auch?

Voraussetzungen: Wie wir Skill-Atome verbinden und ordnen

Beginnen wir also mit einem einfachen Beispiel, um uns aufzuwärmen und zu sehen, wie wir dies verbessern können. Wenn Lernende uns sagen, dass sie wissen, wie man Pivot-Tabellen in Microsoft Excel erstellt, wie wahrscheinlich ist es dann, dass sie auch wissen, wie man einige Zahlen in ein Arbeitsblatt eingibt? Nahezu 100 %, oder? Ganz einfach, weil Pivot-Tabellen viel fortgeschrittener sind als die Eingabe von Inhalten in Zellen.

Es gibt also eine inhärente Verbindung zwischen den beiden atomaren Skills (Pivot-Tabellen und Zellinhalte): Die Beherrschung des einen hängt von der Beherrschung des anderen ab. Wir nennen die Beziehung zwischen den Atomen in einer solchen Situation (in der eine Skill von der anderen abhängt) eine voraussetzungsvolle Beziehung. In der Sprache der Graphen wird Atom A als Vorfahre von Atom B bezeichnet, und Atom B ist ein Nachfahre von Atom A.

‍

Wie kann uns das helfen?

Eigentlich ist es ganz einfach. Nehmen wir an, Atom A ist eine Voraussetzung für Atom B (siehe oben). Wenn Sie also A nicht kennen, können Sie auch B nicht kennen, und wir brauchen nicht mehr danach zu fragen! Umgekehrt, wenn Sie B bereits beherrschen, dann wissen wir, dass Sie A schon immer gekannt haben müssen. Großartig! Wenn wir diese Information während des Assessments nutzen, können wir uns einige Fragen sparen.

Kaskadierende Voraussetzungen: Assessment von mehreren Atomen mit einer einzigen Frage

Aber wie viele können wir tatsächlich einsparen? Um dies zu veranschaulichen, haben wir im Folgenden eine etwas kompliziertere Situation mit ein paar mehr Atomen und Voraussetzungen vorbereitet. Nehmen Sie sich für den Anfang ein paar Sekunden Zeit und fragen Sie sich: Nach welchem Atom würden Sie unter den gegebenen Voraussetzungen zuerst fragen, um so viele Informationen wie möglich herauszufinden?

Notieren Sie sich Ihre Wahl und lassen Sie uns dies gemeinsam durchgehen. Nehmen wir an, wir fragen dich nach deiner Beherrschung von Atom A und du sagst uns, dass du es nicht kennst. Jackpot! Da A eine Voraussetzung für C, D und E ist, können wir direkt ableiten, dass Sie diese auch nicht kennen können. Für B müssen wir immer noch nachfragen, aber Sie sehen, wie schön diese Kaskade funktioniert:

Wir haben 4 Informationen mit nur einer Frage erhalten!

Was aber, wenn Sie uns sagen, dass Sie tatsächlich A kennen? Dann haben wir nicht wirklich viel gewonnen, wir haben eine Frage gegen eine Information eingetauscht, unser schlimmster Fall. Vielleicht ist A also nicht das beste Atom für den Anfang.

Und wir sind uns ziemlich sicher, dass Sie es inzwischen herausgefunden haben. Überprüfen Sie einfach selbst, ob Atom C tatsächlich der beste Einstieg ist. Und warum? Es gibt uns in jedem Fall 3 Informationen, unabhängig davon, ob du mit Ja oder Nein antwortest. Wir können entweder A und B einschließen oder D und E aus deinem Wissensstand ausschließen.

Für die beiden verbleibenden Atome des linken Teilgraphen (entweder A und B oder D und E) ist es dann eine Fifty-Fifty-Situation, ob wir einmal oder zweimal mehr fragen müssen. Dasselbe gilt für den Teilgraphen, der F und H enthält. Und für G müssen wir sowieso nachfragen, da er überhaupt nicht verbunden ist. Mit dieser Strategie müssen wir höchstwahrscheinlich 5 Fragen stellen (oder 6 im schlimmsten Fall), um Ihr Wissen über 8 Atome herauszufinden.

Wir haben die Anzahl der Atome fast halbiert, das ist doch schon etwas, oder?

Erwarteter Informationsgewinn als intelligente Assessment-Strategie

Mathematisch gesehen kann die von uns verfolgte Strategie so beschrieben werden, dass wir in jedem Schritt das Atom mit dem höchsten erwarteten Informationsgewinn auswählen, wobei wir davon ausgehen, dass die Wahrscheinlichkeit, mit Ja oder Nein zu antworten, in beiden Fällen 50 % beträgt. Wenn Sie eine Formel benötigen, könnte der erwartete Informationsgewinn für jedes Atom wie folgt lauten:

Nehmen wir an, dass die Anzahl (#) der Vorfahren und Nachkommen das Atom selbst zählt. Dann würde das Atom D zum Beispiel einen erwarteten Informationsgewinn von 1(D) = 0,5 * 4 + 0,5 * 2 = 3 ergeben, was ... dasselbe ist wie bei Atom C?

Okay, Sie haben uns erwischt!

Wenn man den erwarteten Informationsgewinn auf diese Weise interpretiert, ist Atom D eigentlich genauso wertvoll wie C. Aber wir würden argumentieren, dass C immer noch einen Vorteil gegenüber D hat, da es gleich gut funktioniert, wenn man mit Ja oder Nein antwortet. Dies ist ein Hinweis darauf, wie wir optimieren können.

Was wäre, wenn wir bessere a-priori-Wahrscheinlichkeiten für die Beantwortung mit Ja oder Nein wüssten? Dann könnten wir die Wahrscheinlichkeiten für die Voraussetzungen und die Vorfahren in der Formel verschieben, was Atom D eventuell einen Vorteil verschaffen könnte, wer weiß? Es gibt noch viel mehr, was wir auf unserer Plattform optimiert haben, um so wenig Fragen wie möglich zu stellen. Was genau? Wir denken, dass zumindest ein kleines Geheimnis für den Moment bleiben sollte! 🤫

Modellierung von Voraussetzungen vs. Lernen aus Daten

Aber halt! Woher kommen eigentlich die vorausgesetzten Beziehungen?

Lösen wir zumindest einen Teil dieses Rätsels. Der einfachste und genaueste, aber zugegebenermaßen zeitaufwändige Weg ist, die Voraussetzungen von Experten modellieren zu lassen. Dafür haben wir bei edyoucated ein ganzes Team, das mit Experten für die jeweiligen Themen zusammenarbeitet und Voraussetzungen und andere Beziehungen zwischen Atomen modelliert, um Ihnen bei Ihrem Assessment-Prozess Zeit zu sparen.

Aber wir haben hier etwas Data Science versprochen, also zeigen wir einen einfachen Weg, diese Beziehungen aus Daten zu lernen. Das folgende Bild zeigt die Assessment-Ergebnisse einiger unserer Lernenden zum Thema Microsoft Excel. Wie Sie sehen können, gibt es eine ganze Reihe von Lernenden ohne Vorkenntnisse zu diesem Thema (alle grauen Spalten), aber auch viele Lernende mit einem ausgefeilteren Wissensstand.

Dies ist die Art von Daten, die wir benötigen, um die Voraussetzungen zu erlernen.

Bedingte Wahrscheinlichkeiten: Der Schlüssel zum Lernen von Voraussetzungen

Lassen Sie uns zunächst den Begriff der Voraussetzung kurz neu interpretieren. Was bedeutet es eigentlich, dass A eine Voraussetzung für B ist? Es bedeutet, dass man, wenn man B kennt, auf jeden Fall auch A kennt. Oder, wenn man B kennt, ist die Wahrscheinlichkeit, dass man A kennt, 100%. Lassen Sie uns das richtig schreiben und vielleicht ein wenig mehr Freiraum geben:

Die bedingte Wahrscheinlichkeit, A zu kennen, wenn B gegeben ist, beträgt mindestens 95 %, klingt doch richtig, oder? Auch wenn Sie kein Mathematiker sind, hoffe ich, dass Sie die Schönheit von Formeln anerkennen können. Sie machen einfach alles viel übersichtlicher! Der umgekehrte Weg funktioniert natürlich auch:

sagt uns, dass es sehr wahrscheinlich ist, dass Sie B nicht kennen, wenn Sie A nicht kennen (das kleine c steht für das komplementäre Ereignis).

Und diese beiden Bedingungen geben uns tatsächlich eine Möglichkeit, die Voraussetzungen aus den obigen Daten zu lernen. Für jedes Atom müssen wir einfach alle Lernenden finden, die B als bekannt markiert haben, und unter diesen den Anteil berechnen, der auch A als bekannt markiert hat. Dies ist eine schöne Schätzung für die obige bedingte Wahrscheinlichkeit, und wir können die andere natürlich auf die gleiche Art und Weise berechnen.

Sobald wir zwei Atome gefunden haben, die beide Bedingungen erfüllen, haben wir eine vorausgesetzte Beziehung gefunden!

Toll, nicht wahr? Durch Anpassen des Schwellenwerts (derzeit 0,95) können wir etwas mehr oder weniger restriktiv vorgehen und je nach Ziel mehr oder weniger Beziehungen finden (wenn wir ihn auf 1 setzen, sind beide Bedingungen tatsächlich gleichwertig, so dass wir nur eine prüfen müssen). Wir haben dies für Sie in Python mit networkx und pyvisausgeführt, um Ihnen einen kleinen Einblick zu geben, wie dies aussieht:

Wir haben den Schwellenwert hier etwas restriktiver gehandhabt und einige Nachbearbeitungen des Diagramms vorgenommen, um die Ergebnisse besser sichtbar zu machen. Wie Sie sehen, sind die "Mathematischen Operatoren" eine Voraussetzung für viele andere Atome oder die "Einführung in Excel-Diagramme" eine Voraussetzung für spezifischere Diagrammatome, andere Atome bleiben unverbunden.

Klingt gut, finden Sie nicht auch?

Eine kleine Randbemerkung, wenn Sie einige Verbindungen finden, die "unintuitiv" sind: Wir müssen bedenken, dass wir es mit empirischen Wahrscheinlichkeiten zu tun haben, die aus manchmal widersprüchlichen Antworten der Lernenden abgeleitet wurden, daher muss alles mit ein wenig Vorsicht genossen werden. In der Praxis ist die ganze Sache noch viel komplizierter, aber lassen wir diese unser Problem sein. Für heute geht es nur um die Idee.

Was aber, wenn wir eine falsche Voraussetzung modellieren oder lernen?

Es gibt noch eine letzte Sache, die wir in diesem Beitrag ansprechen wollen. Was ist, wenn wir einen Fehler machen, d. h. eine falsche Vorraussetzungsbeziehung modellieren oder lernen? In diesem Fall könnten die Vorhersagen für Ihren Wissensstand ebenfalls falsch sein.

Natürlich stellen wir sicher, dass wir alle unsere Algorithmen testen, damit sie so wenig Fehler wie möglich machen. Aber wir alle wissen, dass Daten manchmal unordentlich, verrauscht und fehlerhaft sein können, so dass uns zwangsläufig einige Fehler unterlaufen werden. Deshalb lassen wir Sie als Lernende unsere Vorhersagen am Ende immer überprüfen. Nur um sicherzustellen, dass Sie nichts verpassen, was Sie noch lernen können. Apropos lernen, warum probieren Sie es nicht selbst aus und lernen dabei etwas Neues?

Das war's dann auch schon für heute! Wir sehen uns im nächsten Teil unserer Serie wieder, in dem wir ein ausgefeilteres Vorhersagemodell für unser Problem in Angriff nehmen werden, das auf bedingten Wahrscheinlichkeiten mit mehreren Bedingungen basiert.

Bleiben Sie dran!

Und während Sie warten: Es geht oft nicht nur darum, herauszufinden, was man lernen sollte, sondern auch  wann!

Referenzen

Wenn Sie etwas lesen wollen, das in einem engen Zusammenhang steht, hier ist es:

Askar, P., & Altun, A. (2009). CogSkillnet: An ontology-based representation of cognitive skills. Link

Doignon, J.-P., & Falmagne, J.-C. (2012). Knowledge spaces. Springer Science & Business Media. Link

Falmagne, J.-C., & Doignon, J.-P. (2011). Knowledge Structures and Learning Spaces. In Learning Spaces: Interdisciplinary Applied Mathematics (S. 23–41). Berlin, Heidelberg: Springer Berlin ·Heidelberg. Link

McGaghie, W. C., Adler, M., & Salzman, D. H. (2015). Mastery learning. William C. McGaghie Jeffrey H. Barsuk, 71. Link

Reich, J. R., Brockhausen, P., Lau, T., & Reimer, U. (2002). Ontology-based skills management: goals, opportunities and challenges. J. UCS, 8, 506–515. Link

West, M., Herman, G. L., & Zilles, C. (2015). Prairielearn: Mastery-based online problem solving with adaptive scoring and recommendations driven by machine learning. age, 26, 1.
Link