ابومعشر در دکان خیاطی به شاگردی مشغول شد و چون برخی بزرگان تابعی همچون محمد بن کعب قرظی، محمد بن قیس و سعیدمقبری به آنجا آمد و شد می‌کردند، وی به کمک حافظه نیرومند خود از آنان احادیث و اخبار می‌شنید.
و آن اندازه مشهور بود که وقتی مهدی خلیفه عباسی (۱۵۸-۱۶۹ق) در آغاز خلافتش به مدینه آمد، او را با خود به عراق برد و گرامی داشت و به ادامه فعالیت علمی تشویق کرد.
