煤礦工人勇作（高倉健）失手將一名尋釁滋事的流氓打死后，被判刑入獄，在監(jiān)獄里，他非常想念自己的妻子光枝（倍賞千惠子），卻因害怕耽誤她的生活和前途，主動提出離婚，并真心實意地勸她改嫁。 刑滿釋放前，勇作給光枝寫了一封信，說如果她還沒有與他人結(jié)婚，仍在等待著他的歸去，就在家門前的旗桿上掛上一塊黃手帕，假如他看不到黃手帕，會就此遠(yuǎn)走他鄉(xiāng)。歸家途中，患得患失的勇作碰到一對駕車出行的年輕情侶（武田鐵矢、桃井薰），搭乘他們的車游轉(zhuǎn)了一些地方，之后，他才鼓足勇氣回到家鄉(xiāng)。
