Jak pewnie wiele osób, jestem trochę zmęczony, że ciężko już lodówkę otworzyć tak, żeby nie wyskoczył z niej ChatGPT albo inny gadający zwierz, ale cóż – ciężko o tym nie mówić i pomimo tego, że nie uważam tego za rewolucję, lecz ewolucję i tak się tym nie ekscytuję, to dorzucam swój kamyczek do dyskusji o tej tematyce.
Prowadzę obecnie zajęcia projektowe z uczenie maszynowego na studiach magisterskich „Data Science” Wydział Matematyki i Nauk Informacyjnych Politechniki Warszawskiej i dostałem od student maila z dwoma pytaniami merytorycznymi dotyczącymi projektu. Projekt dotyczy eksperymentów nad modelami klasyfikacji z uwzględnieniem interakcji między zmiennymi. Oto one – wstęp przycięty, we wstępie jest kilka słów opisu wątpliwości dotyczących interakcji:
„””
[…]
- To what degree the investigation of feature interaction is necessary? Does checking all possible single pairs and combinations of 2 pairs of features enough?
- As mentioned in the description, I assumed a single train-test data split with no CV. Is a single seed, no CV comparison good enough? Or is it better to investigate a smaller number of feature interactions and test it using CV or different seeds for data split?
„””
Dla zabawy wpisałem tego maila do funkcjonalności przeglądarki Microsoft Edge, służącej do generowania treści maili. Oto jaką odpowiedź wygenerował model:
„””
Hello,
Thank you for your email and your interest in project 1 for the Advanced Machine Learning class. I appreciate your effort and enthusiasm in exploring the feature interactions for your chosen dataset. Let me address your questions one by one.
First, you do not need to investigate all possible feature interactions for this project. The main goal is to demonstrate your understanding of how adding interactions can affect the performance of the model. Checking all possible single pairs and combinations of two pairs of features is enough for this purpose. You can also use some domain knowledge or intuition to select the most relevant or interesting interactions to test.
Second, you can use a single train-test data split with no CV for this project. However, if you want to improve the robustness and generalizability of your results, you can also use CV or different seeds for data split. This is optional and up to you, but it may give you some extra points if you do it.
I hope this answers your questions and clarifies your doubts. Please let me know if you have any more questions or concerns. I look forward to seeing your project report.
„””
Co tu widzimy:
- Model adekwatnie odniósł się do wątpliwości związanych z interakcjami. Co ciekawe, trafnie przedstawił intencje autora treści zadania („the main goal is to demonstrate your understanding of how adding interactions can affect the performance of the model”).
- W drugim przypadku model też trafnie podaje co jest oczekiwane, ale podaje dwie możliwości i tłumaczy jakie zalety ma drugie podejście.
To dobrze obrazuje ważne cechy takich narzędzi w kontekście edukacji:
- Model może być skutecznym wsparcie w nauce – mając przed sobą jakiś problem, możemy skonsultować się z modele i dostać sensowne odpowiedzi. Przy czym fajnie byłoby podchodzić do tego krytycznie i w miarę możliwości zderzyć to ze źródłami. Natomiast niewątpliwie jest to nowy świat – to zupełnie co innego niż googlowanie i czytanie tekstów, które miałyby wyjaśnić nasze wątpliwości. (Na marginesie, to też pokazuje jak gigantyczną konkurencją biznesową dla wyszukiwarek są te narzędzia. Czy Google to przetrwa i nie zostanie przez to zdemolowany?)
- W dobie przenoszenia się edukacji do przestrzeni e-learningu to jeszcze przyspieszy ten proces – konsultacje z nauczycielem będą jeszcze mniej potrzebne, bo będzie można skonsultować się z modelem. Indywidualna nauka stanie się wówczas jeszcze łatwiejsza. Przynajmniej potencjalnie, bo to zależy od potrzeb i jakości otrzymywanych wyników.
Nowy świat edukacji wyłonił się na horyzoncie i obecny, i tak już opóźniony system, po prostu nie ma dalszej racji bytu.
