Otwarta nauka i badania
Problemy:
- Coraz powszechniejsza jest opinia, że oszustwo naukowe jest powszechne.
- Dobra nauka wymaga powtarzalności. Aby zrozumieć i powtórzyć wynik typowego badania technologii edukacyjnej, może być wymagany dostęp do:
- Tego samego środowiska programowego, w którym uruchomiono technologię edukacyjną.
- Materiałów dydaktycznych, z których korzystali uczniowie.
- Łatwo jest przypadkowo prowadzić złą naukę. Na przykład, jeśli przeprowadzisz 50 badań i znajdziesz 2 istotne wartości z p=0,05, prawdopodobnie wyjdą one przypadkowo dodatnie.
- Zeszyty laboratoryjne, które kiedyś służyły do przechowywania archiwalnych zapisów procesu naukowego, wyszły z mody.
Rozwiązanie? Przejrzystość! (i konkretnie otwarta nauka)
Przez resztę tej sesji będziesz aktywistą otwartej nauki. Uważasz, że:
- Badania potwierdzające powinny być wstępnie zarejestrowane.
- Badania potwierdzające powinny mieć miejsce, zanim pula danych zostanie zanieczyszczona badaniami eksploracyjnymi.
- Cały kod źródłowy technologii edukacyjnej powinien być darmowym oprogramowaniem typu open source, dzięki czemu będziesz mógł zrozumieć kontekst, w którym przeprowadzono badanie, i je powtórzyć.
- Wszystkie materiały dydaktyczne powinny być otwarte, ponownie, na powtarzalność i zrozumienie badania.
- Wszystkie analizy przeprowadzane w ramach badania powinny być nie tylko otwarte (na powtarzalność), ale także rejestrowane, aby zapobiec polowaniu na wartość p.
Omów, czego można oczekiwać od repozytorium. Kilka tarć:
- Masz szczególną alergię na żądania „prawa do bycia zapomnianym”, ponieważ utrata danych uniemożliwia replikację naukową.
- Rzeczywiście uważasz, że dane badawcze powinny być szeroko udostępniane.
- Oprogramowanie własnościowe uniemożliwia replikację (np. dane z systemu ed-tech Pearson)
- Modele uczenia maszynowego mogą mieć setki gigabajtów i mogą ewoluować (nawet w sposób ciągły!)
- Dane szkoleniowe mogą być jeszcze większe!
- Dane edukacyjne mogą obejmować dane audio-wideo, szczegółowe dane strumienia kliknięć itp.
- Nie można odtworzyć wielu klasycznych wyników technologii edukacyjnych z lat 1960-2000, ponieważ te komputery już nie istnieją lub nie działają, a programy zostały utracone.
- Nie można odtworzyć wyników na podstawie usług sieciowych z lat 2000., które już nie istnieją (lub nawet tych, które uległy znacznym zmianom, takich jak Khan Academy).
- Dane bez kontekstu i możliwości interpretacji są bezużyteczne.
- Możliwość odkrycia. Jak ludzie znajdują potrzebne im dane? * W związku z powyższym, jaki inny kontekst jest potrzebny do znalezienia i wykorzystania danych?
Omów, czego oczekujesz od repozytorium danych i jak je rozbudować, aby wspierać otwartą naukę, integralność badań i przejrzystość badań.
Dobrym, szerszym zestawem wytycznych, których chcielibyśmy przestrzegać, jest IES SEER