Gárdonyi mindössze 4 évig (1882-1886) volt tanító; Karádon, Devecseren, Sárvárott és Dabonyban. E négy év azonban meghatározó volt életében. A négy év alatt megismerte a tanítók nehéz anyagi helyzetét – pontosabban nyomorát –, kiszolgáltatottságát, esetenként embertelenül nehéz munkáját. Pedagógiai szemléletének alapja a gyermekek szeretete, a humanizmus volt.
Egyik életrajzírója, Hegedűs András, így ír erről:
„Minél szegényebb, minél elesettebb sorsú volt valamelyik tanítványa, annál nagyobb szeretettel, óvóbb, védőbb kézzel nyúlt utána. Ezért szerette nagyon Ábrist, a vak koldus unokáját, aki nagyapjával tizenöt faluban könyörgi, énekli össze a mindennapi kenyeret. Ezért neki nagyon kedves a kis Laci, az apa nélkül élő cigánygyerek. Ezekre különösképpen vigyázott. Tudta, hogy az ilyen gyerekeknek különösen érzékeny lelkületük van. Másoknak is megtiltotta, hogy durva, sértő szavak jégesőjét zúdítsák ezekre a gyerekekre…
… Ezért írta a gyerekek közé induló tanítóknak:
„S ha látsz közöttük rútat, rongyosat,
gyermek arccal búbánatosat,
ismerd meg benn' a korán szenvedőt,
s öleld magadhoz, és csókold meg őt.”
Gárdonyi azt kívánta, hogy a nevelő és a növendék viszonyát az igazságosság, a humanizmus és a szeretet hassa át.” (Hegedűs András i.m.)
Itt említjük meg, hogy a segédtanító élete mai szemmel szinte eléképzelhetetlenül rossz volt. Egyik helyen a tanteremben - mely egyben lakása is volt - kotlósok és kiscsirkék voltak a lakótársai.
Igaz, hogy csak három száma jelent meg, de jellemző Gárdonyira, hogy nyomora ellenére kiadta a Karádi Köpönyeget.
Tanítói évei nem csak mély nyomokat hagytak benne, hanem írói próbálkozásai is egyre határozottabb formát öltöttek. E próbálkozásaival párhuzamosan Sárváron például franciául, angolul és németül tanult, s ebben az időben fordította angolról magyarra Shakespeare Julius Cézárját.
Jellemző epizód életében, hogy hivatali parancsra az évzáró ünnepélyen a császárhimnuszt kellett orgonán eljátszania. Gárdonyi ezt megtette, de egy hirtelen futammal átcsapott a Jaj, de huncut a német hazafias nótára. Növendékei mesterükkel együtt énekelték a szöveget.
Az „epizód” eredménye, hogy távoznia kellett Sárvárról.
1884-ben Dobronyba került kántortanítónak. Ekkor már rendszeresen publikált a Vasmegyei Lapokba, a Dunántúlba, majd a Hazánkba.
Barabás György – Gárdonyi jó ismerőse – halálának egy éves évfordulója alkalmával írt megemlékezésében így foglalta össze pedagógiai szemléletét:
Az embernevelés munkáját senki sem tudta szebben magasztalni és az oktatás nemes voltát s művészetét oly színekkel festeni, mint ő. (Barabás György i.m. 19.)