ولد طالباني (وهو ابن الشيخ حسام الدين الطالباني شيخ الطريقة القادرية في كركوك وشمال العراق) في قرية كلكان التابعة لقضاء كوي سنجاق قرب بحيرة دوكان. أنظم إلى الحزب الديمقراطي الكردستاني بزعامة الملا مصطفى البارزاني سنة 1947م، وعندما كان عمره 14 عاما، وبدأ مسيرته السياسية في بداية الخمسينات كعضو مؤسس لاتحاد الطلبة في كردستان داخل الحزب الديمقراطي الكردستاني، وترقى في صفوف الحزب بسرعة حيث أختير عضوا في اللجنة المركزية للحزب في سنة 1951م، أي بعد 4 سنوات فقط من أنضمامه إلى الحزب وكان عمره آنذاك 18 عاما.
ألتحق طالباني بكلية الحقوق سنة 1953م، وبعد أن فشلت محاولاته للألتحاق بكلية الطب نتيجة للعوائق التي وضعت أمامه من قبل السلطات في العهد الملكي في العراق، وبسبب نشاطاته السياسية. وتخرج من كلية الحقوق من إحدى جامعات بغداد سنة 1959م، وألتحق بالجيش بعد تخرجه كجزء من الخدمة العسكرية التي كان من واجب المواطن العراقي أدائها بعد تخرجه من الكلية أو بعد بلوغه 18 عاما. وخدم في الجيش العراقي كمسؤول لكتيبة عسكرية مدرعة. وفي سنة 1961م، شارك في أنتفاضة الأكراد ضد حكومة عبد الكريم قاسم. وبعد الانقلاب على قاسم، قاد الطالباني الوفد الكردي للمحادثات مع رئيس الحكومة الجديد عبد السلام عارف سنة 1963م.
وقد بدأت خلافات جوهرية تظهر بينه وبين زعيم الحزب الديمقراطي الكردستاني، مصطفى البارزاني فأنضم في سنة 1964م، إلى مجموعة أنفصلت عن الحزب الديمقراطي الكردستاني ليشكلوا المكتب السياسي للحزب الديمقراطي الكردستاني والذي كان يتزعمه
