国鉄ローカル線の緩急車はワフ（有蓋緩急車）が使用されていたが、居住性の改善を図るため、および慢性的な緩急車不足に対応するために1962年（昭和37年）から1969年（昭和44年）にかけて製造されたのが本形式である。室内の執務用机や椅子、長椅子も3人分から2人分に減らされている。また、屋根も深いRのカンバス張り屋根を持ったヨ5000形に対し、ヨ6000形はゆるやかなRをもつ浅めの鋼板屋根となり、換気用ベンチレータも1個に減っている。

暖房用ストーブは当初石炭使用のダルマストーブであった。後に石油ストーブに改装された車両も多数存在し、識別のため妻面左右に白線が標記された。塗色は黒である。