Der Film zeigt nun die Vereinigten Staaten vor dem Amerikanischen Bürgerkrieg am Beispiel zweier Familien. Auf der einen Seite der Norden, vertreten durch die Familie Stoneman, die in Washington, D.C. und einem Landhaus in Pennsylvania leben. Die Familie besteht aus dem mächtigen abolitionistischen Kongressabgeordneten Austin Stoneman (historisches Vorbild: Thaddeus Stevens), außerdem seinen zwei Söhnen Phil und Tod und seiner Tochter Elsie. Phil und Tod Stoneman sind befreundet mit den Camerons, die den Süden vertreten: In Piedmont, South Carolina bewirtschaften sie eine Baumwollplantage, wo zahlreiche Sklaven arbeiten, die gegenüber ihren Herren fröhlich und unterwürfig aufgelegt sind.

Der Film besteht aus vier ineinander verwobenen Handlungssträngen, die jeweils durch das Thema der menschlichen Intoleranz verbunden sind. Es wird gezeigt, welche schrecklichen Folgen die Intoleranz in allen Formen in der Menschheitsgeschichte schon von jeher hatte. Die einzelnen Zeiten sind symbolisch durch die Gestalt einer „ewigen Mutter“, nach einer Vorlage von Walt Whitman, die beständig eine Wiege schaukelt, verknüpft. Immer schneller wird im Verlaufe des Filmes zwischen den einzelnen Episoden des Filmes gewechselt.