江戸時代、小田原宿の小さな旅籠に、みすぼらしい身なりの男がふらりと現れた。気弱な宿の主人が声をかけると、男は「泊まってやる、前金に百両預けよう」と言うが、実際は一文無し。

十日も飲んだくれて寝るばかりの様子に、女房が痺れを切らし「せめて五両でも」と催促させると、男は「金はない」とあっさり白状する。

代金の代わりに何か描くというので、主人は古い衝立を持ち出す。

男は、見事な五羽の雀を描き上げると、「一羽一両、五両の代金代わりだ。ただし決して売るな、必ず戻る」と言い残して立ち去った。
翌朝、雀の絵から本物の雀がチュンチュンと飛び出し、餌をついばむとまた絵の中に戻る。評判が評判を呼び「雀のお宿」として大繁盛。

やがて殿様が千両で買いたいと申し出るが、約束を守り主人は断る。

そこへ初老の武士が訪ね、「雀が休む所がない」と言って鳥かごと止まり木を描き加えた。雀たちは飛び回った後、籠の中に収まり、これがまた評判となり、値は二千両に跳ね上がった。
ほどなくして、最初の絵師が立派な身なりで戻る。衝立を見て顔色を変え、「この鳥かごを描いたのは私の父。親不孝をお許しください」と泣く。

驚く主人に「いいえ、親子二代の名人、立派な親孝行では」と言われるが、絵師は首を振りながら衝立を指し示す――「ご覧なさい、私は大事な親を“かごかき”にしてしまった」。

絵の“鳥かご描き”と、駕籠を担ぐ“駕籠かき”を掛けた洒落がオチとなる。

物語後半では「父子の芸の継承」と「親不孝の罪」が重ねられ、笑いの中に“芸道の厳しさ”と“親への悔い”という深い情が潜む。