Trzy AI piszą maturę z historii. Jedno zmyśliło bitwę pod Wiedniem.

Budujemy platformę do matury z historii opartą na AI. Pierwszą rzecz, którą musieliśmy zrobić, to sprawdzić, jak AI radzi sobie z maturą z historii. Nikt tego wcześniej nie zrobił. Polonistki miażdżą ChatGPT od trzech lat, matematycy narzekają na błędy w zadaniach. Historycy milczeli.

Więc wzięliśmy prawdziwy arkusz CKE z maja 2026, dwa autorskie zestawy testów i daliśmy je trzem modelom językowym. Bez taryfy ulgowej, bez podpowiedzi, z zakazem sięgania do klucza odpowiedzi. Czwarty model, Gemini, odmówił rozwiązywania arkusza, powołując się na „zasady bezpieczeństwa”. O tym też za chwilę.

Co właściwie testowaliśmy

Dwa oddzielne eksperymenty.

Eksperyment 1: prawdziwa matura. Arkusz historii z 18 maja 2026, formuła 2023, zadania 1-25 (45 punktów, bez wypracowania). Trzy modele: ChatGPT 5.6, Grok (xAI, tryb ekspercki) i Claude Fable 5 (Anthropic). Każdy dostał identyczny arkusz i identyczne polecenie. Przeprowadziliśmy dwie rundy: jedną z dostępem do klucza CKE, drugą bez. Porównanie rund mówi więcej niż sam wynik.

Eksperyment 2: autorskie klasówki. Dwa zestawy testów z naszego banku pytań (384 pytania, weryfikowane przez historyków): II wojna światowa na świecie oraz walka o granice i początki II RP. Testy zgodne z podstawą programową do matury, wyeksportowane z edytora jako PDF. Te same trzy modele, to samo polecenie.

Dlaczego dwa eksperymenty? Arkusz CKE jest publicznie dostępny. Modele mogły go „widzieć” w danych treningowych. Nasze testy nie istnieją w internecie. Jeśli model radzi sobie dobrze na obu, to nie dlatego, że coś zapamiętał.

Wyniki w tabelach

Matura 2026, runda 2 (bez klucza CKE):

Autorskie klasówki (86 punktów, dwa zestawy łącznie):

Na pierwszy rzut oka: wszyscy zdali. Na drugi: różnice nie są w punktach. Są w tym, jak się mylą.

Trzy sposoby na pomyłkę

Każdy model popełnia inny typ błędu. I każdy typ jest pouczający.

Grok odpowiada z pamięci, nie ze źródła. Plan bitwy pod Chocimiem (1673) zidentyfikował jako odsiecz wiedeńską. Dwukrotnie, w obu rundach, z identyczną konfabulacją: „husaria Sobieskiego, obóz wezyra Kara Mustafy”. Na naszej klasówce było gorzej. Wykres strat tonażowych na Atlantyku odczytał nie z wykresu, a z tego, co „wiedział” o bitwach morskich. Plakat bolszewicki z cyrylicą, ośmieszający Polskę jako tresowaną przez Francję świnię, uznał za polski plakat propagandowy. A kiedy w teście brakowało danych (lista wydarzeń nie wyeksportowała się do PDF), wymyślił listę i odpowiedział na nią, jakby była prawdziwa.

Ten ostatni błąd jest najgroźniejszy. Uczeń, który dostanie zmyśloną odpowiedź na puste pytanie, nie ma szansy zauważyć, że coś jest nie tak. Odpowiedź wygląda poprawnie. Brzmi pewnie. Jest fałszywa.

ChatGPT kalibruje się kluczem, kiedy może. W rundzie z dostępem do odpowiedzi CKE zdobył 45/45. Bez klucza: 44/45. Spadek o dokładnie jedno zadanie, i to takie, w którym model musiał zidentyfikować plan bitwy. W rundzie z kluczem napisał „Dniestr” (tak jak w odpowiedziach CKE). Bez klucza ten sam plan uznał za Wiedeń. Na naszych klasówkach osiągnął najwyższy wynik (99%), z najlepszym wyczuciem „co nauczyciel chce zobaczyć w odpowiedzi”. Jako jedyny jawnie poprawił błąd w imieniu Rommla (test pisał „Edwin” zamiast „Erwin”). Wniosek: świetny model, ale jego 100% na arkuszu CKE było zawyżone. Realna zdolność to 97-99%.

Claude Fable czyta tekst zbyt rygorystycznie. Najlepsza praca źródłowa: odczytał wartości ze słupków wykresu, rozpoznał, z której wojny pochodzi plakat-dystraktor (1917, nie 1920), jawnie zgłosił błąd merytoryczny w teście (zdanie sugerowało, że to alianci kontrolowali Indochiny, zamiast Japończyków). Punkty traci paradoksalnie przez nadmiar precyzji. W odezwie „Ojczyzna w niebezpieczeństwie!” odrzucił argument o obronie Europy, bo tekst formalnie informuje Europę, a nie wzywa do jej obrony. Interpretacja obronna, ale prawie na pewno niezgodna z kluczem.

A Gemini? Gemini odmówił napisania matury. W rundzie z kluczem rozwiązał arkusz (44/45), ale kiedy poprosiłem o powtórzenie bez klucza, powołał się na „zasady bezpieczeństwa zabraniające rozwiązywania formalnych arkuszy egzaminacyjnych”. Arkusz z maja 2026. Publicznie dostępny. Z opublikowanym kluczem. Dla platformy edukacyjnej to wada gorsza niż halucynacja: model, który w losowym momencie odmawia współpracy, jest bezużyteczny w jakimkolwiek pipeline.

Ile kosztuje prawda

Tu zaczyna się część, o której maturzysta raczej nie myśli.

Najlepszy wynik na maturze (45/45) uzyskał Claude Fable 5. To model Anthropic, którego cena wynosi 10 dolarów za milion tokenów na wejściu i 50 dolarów za milion na wyjściu. Dla porównania: Claude Sonnet 5 (ten, który będzie napędzał naszego AI tutora) kosztuje 2-3 dolary za milion na wejściu. ChatGPT 5.6, z którego korzystaliśmy, to też wersja płatna. Darmowy ChatGPT, ten, z którego korzysta większość maturzystów, to jeszcze inna liga.

Przetestowaliśmy najdroższe dostępne modele. Celowo. Chcieliśmy wiedzieć, ile kosztuje 100% na maturze z historii, żeby nie obiecywać czegoś, czego nie da się dostarczyć.

Paradoks wygląda tak: modele, które radzą sobie najlepiej, są droższe niż to, z czego korzysta przeciętny maturzysta. Większość uczniów sięga po darmową wersję ChatGPT, a to zupełnie inny silnik niż płatny model, który testowaliśmy, nie da się z tabeli wyników wprost przełożyć na to, czego doświadcza uczeń korzystający za darmo. Badanie PBC ze stycznia 2026 mówi, że 46% odpowiedzi chatbotów po polsku zawiera co najmniej jeden istotny błąd. Na maturze z historii jeden błędny fakt to jeden stracony punkt. A punkty to progi rekrutacyjne.

Dlaczego historia jest najgorszym testem dla AI

Wszystkie modele mają kompletną wiedzę faktograficzną z zakresu polskiej matury. Daty, nazwiska, sekwencje chronologiczne, traktaty. Problem nie leży tutaj.

Problem leży w ikonografii: planach bitew, mapach z legendą, karykaturach, plakatach propagandowych, wykresach. Sto procent utraconych punktów w naszych testach (poza jednym wyjątkiem) dotyczy zadań, w których model musiał pracować ze źródłem wizualnym. A na maturze z historii takie zadania stanowią istotną część arkusza.

ChatGPT na naszej klasówce nie zauważył, że prawa kolumna w dopasowaniach nie wyeksportowała się do PDF. Odpowiedział, jakby ją widział. Grok dwukrotnie, niezależnie od siebie, „zobaczył” Konstantynopol zamiast Akki i Wiedeń zamiast Chocimia. To nie losowe pomyłki. To systematyczny deficyt.

Dochodzi do tego coś, o czym Ethan Mollick i Guy Levi piszą od roku: zjawisko, które badacze Shaw i Nave (2026) nazwali Cognitive Surrender, oddaniem krytycznego myślenia w ręce AI. Chatbot brzmi pewnie. Uczeń mu wierzy. A na maturze z historii, gdzie połowa arkusza to analiza źródła, wiara bez weryfikacji to przepis na katastrofę. Pisałem o tym szerzej na Substacku, w kontekście tego, co AI robi z naszą zdolnością do samodzielnego myślenia.

Co z tego wynika?

Nie piszę tego, żeby straszyć. Piszę, żeby postawić sprawę jasno.

AI radzi sobie z historią lepiej, niż większość ludzi sądzi. ChatGPT 5.6 zdobył 99% na naszej klasówce. To lepiej niż wielu maturzystów. Problem nie w tym, że AI „jest głupie”. Problem w tym, że nie wiesz, kiedy się myli, bo myli się pewnym tonem.

Dlatego w Korepy.ai każdy materiał przechodzi przez nauczyciela lub historyka, zanim trafi do ucznia. AI generuje szkic, ekspert weryfikuje i poprawia, system porównuje wynik z wymaganiami CKE. To się nazywa HITL (Human in the Loop, człowiek w pętli weryfikacji) i to jedyny sposób, żeby powiedzieć „AI, które nie zmyśla” i móc to obronić.

Zrobiliśmy testy na najdroższych modelach, żeby maturzysta nie musiał tego rozstrzygać sam.

Korepy.ai startuje jesienią 2026. Jeśli chcesz zobaczyć, jak wygląda nauka historii z AI, które sprawdził historyk, zostaw e-mail. Damy znać, kiedy wystartujemy.

Źródła

Badanie PBC: Blisko połowa odpowiedzi AI zawiera co najmniej jeden istotny problem - Instytut Wydawniczy Polskiego PEN Clubu / PBC, styczeń 2026. Replikacja międzynarodowego badania BBC/EBU: 46% odpowiedzi chatbotów w języku polskim z co najmniej jednym istotnym błędem. 3 modele × 60 zapytań.

Badanie BBC/EBU: dokładność chatbotów AI - CRN.pl / European Broadcasting Union, październik 2025. Badanie globalne: 45% odpowiedzi z problemami, 18 krajów, 14 języków, ponad 3000 odpowiedzi.

Shaw, Nave (2026): Cognitive Surrender - cytowane w przeglądzie MedKharbach. Uczniowie oddają krytyczne myślenie AI bez weryfikacji. Zjawisko nieobecne w literaturze sprzed ery ChatGPT.

ChatGPT na maturze 2024 z polskiego: 6/35 punktów - Interia Wydarzenia, maj 2024. Wypracowanie maturalne: brak kreatywności, szablonowe słownictwo, nieistniejące lektury.

Matura 2026 z matematyki: nauczyciel o AI - Interia Wydarzenia, marzec 2026. Piotr Surmacz (Matematyczny Guru): „Na pięć zadań AI cztery zawierały poważne błędy”.

Oxford Internet Institute / Nature: Training language models to be warm can reduce accuracy - kwiecień 2026. Cieplejsze chatboty popełniają więcej błędów faktycznych i częściej potwierdzają fałszywe przekonania.