Pożary niszczyły najważniejsze budynki we wsi. Można jednak powiedzieć, że takie historie dotykały wiele miejscowości. Potok Wielki w gminie Jędrzejów wyróżnia jednak szczególna historia. Przez 14 lat drewniany barak przywieziony z obozu koncentracyjnego w Oświęcimiu pełnił tu funkcję szkoły.

W północnej części wsi znajdował się kiedyś dwór. Zapiski podają, że był bardzo ładny. Zbudowany z modrzewiowego drewna, piętrowy, na jego końcach wystawały skrzydła, na wzór obronnych zamków. Rysunek dworu odszukał regionalista: Marek Godlewski. Sam dwór spłonął prawdopodobnie w 1902. Po pożarze znaleziono ponoć belkę z datą 1630.

Pożary dotykały także innych budynków znajdujących się w wiosce. W 1907 roku wybudowano tu szkołę, ale budynek w tym samym roku spłonął. Zbudowano nowy budynek, ale po wojnie okazało się, że dzieci się w nim nie mieszczą. Ówczesny kierownik szkoły, Henryk Wojciechowski, wpadł więc na pewien pomysł. Z obozu koncentracyjnego w Oświęcimiu sprowadzono drewniany barak, który spełniał funkcję szkoły przez 14 lat!