Der Film zeigt nun die Vereinigten Staaten vor dem Amerikanischen Bürgerkrieg am Beispiel zweier Familien. Auf der einen Seite der Norden, vertreten durch die Familie Stoneman, die in Washington, D.C. und einem Landhaus in Pennsylvania leben. Die Familie besteht aus dem mächtigen abolitionistischen Kongressabgeordneten Austin Stoneman (historisches Vorbild: Thaddeus Stevens), außerdem seinen zwei Söhnen Phil und Tod und seiner Tochter Elsie. Phil und Tod Stoneman sind befreundet mit den Camerons, die den Süden vertreten: In Piedmont, South Carolina bewirtschaften sie eine Baumwollplantage, wo zahlreiche Sklaven arbeiten, die gegenüber ihren Herren fröhlich und unterwürfig aufgelegt sind.

Der Film besteht aus vier ineinander verwobenen Handlungssträngen, die jeweils durch das Thema der menschlichen Intoleranz verbunden sind. Es wird gezeigt, welche schrecklichen Folgen die Intoleranz in allen Formen in der Menschheitsgeschichte schon von jeher hatte. Die einzelnen Zeiten sind symbolisch durch die Gestalt einer „ewigen Mutter“, nach einer Vorlage von Walt Whitman, die beständig eine Wiege schaukelt, verknüpft. Immer schneller wird im Verlaufe des Filmes zwischen den einzelnen Episoden des Filmes gewechselt.

Bill White ist ein Eisenbahningenieur und Alkoholiker, der 1929 wegen übermäßigen Alkoholkonsums und verspäteter Mietzahlungen aus seiner Pension vertrieben wird. Er braucht einen neuen Wohnort und nimmt die Einladung seines langjährigen Freundes und Ingenieurkollegen Jack Kulper an, in sein Haus zu ziehen, wo er glücklich mit seiner Frau Lily wohnt). Diese neue Lebensform bringt im Laufe der Monate Veränderungen in den Beziehungen mit sich. Die eigene Freundschaft von Bill und Lily, die zunächst spielerisch und unschuldig ist, entwickelt sich zu einer leidenschaftlichen Liebe zwischen ihnen.

Durch ein Missgeschick werden Stan und Ollie zur Zeit der Prohibition beim Bierbrauen erwischt und eingesperrt. Es gelingt ihnen aber vorerst, zu fliehen und auf einer Baumwollplantage unterzutauchen. Als Tarnung legen sie Ruß auf, damit sie wie dort tätige Schwarze aussehen. Allerdings wird ihnen die Gutmütigkeit gegenüber dem Gefängnisdirektor und vor allem seiner hübschen Tochter, die zufällig dort vorbeifahren und an genau jener Stelle eine Autopanne haben, zum Verhängnis. Aufgrund eines hohlen Zahnes gibt Stan nach jedem Satz ein merkwürdiges Geräusch von sich, was die beiden auffliegen lässt und zu einer erneuten Inhaftierung führt.

In San Francisco in den 1850er Jahren, einer Stadt, in der die Reeder mit Goldfieber unterbesetzt sind, wird Bat Morgan, ein an Land gekommener Seemann, ausgeraubt und an Bord eines anderen Schiffes beinahe shanghaiert. Es gelingt ihm zu fliehen, er bleibt in der Stadt, um die Verantwortlichen zurückzuzahlen und dann die Aktion im Vize-Distrikt einzuschränken. Er organisiert die verschiedenen Glücksspielhäuser (und andere Formen des Laster, die impliziert sind, aber aus Gründen des Kodex nicht ausdrücklich angegeben werden) in einem konsolidierten Unternehmen in Zusammenarbeit mit einem korrupten Stadtchef, Jim Dailey, und gerät in Konflikt mit einer Kreuzzugszeitung, die von Jean Barrat geführt wird , die Tochter des verstorbenen ermordeten Verlegers, und Charles Ford, der idealistisch-Editor.