Ο Γιάννης Πουλόπουλος γεννήθηκε στις 29 Ιουνίου του 1941 στην Καρδαμύλη Μεσσηνίας, στην περιοχή της Μάνης. Οι γονείς του, μεσσηνιακής καταγωγής, κατοικούσαν στην Αθήνα, στην περιοχή του Μεταξουργείου και ύστερα μετακόμισαν στο Περιστέρι και συγκεκριμένα στην περιοχή της Αγίας Τριάδας.
Σε ηλικία 5 ετών μένει ορφανός από μητέρα και μεγαλώνει με τον πατέρα του Γιώργο και τον μικρό αδερφό του Βασίλη.
Ο Γιάννης Πουλόπουλος από μικρός είχε κλίση στο τραγούδι. Παρακινημένος από τους φίλους του, που τον άκουγαν να τραγουδάει, αλλά και έχοντας ο ίδιος μεγάλη πίστη στις φωνητικές του ικανότητες, πήγαινε στην εταιρεία Columbia το 1962 κάνοντας προσπάθειες για να πει κάποια τραγούδια που γίνονταν τότε ακροάσεις, ζητώντας να τον ακούσουν, αλλά κανείς δεν του έκλεισε κάποιο ραντεβού.
Ο Γιάννης Πουλόπουλος συνέχιζε να ζητάει ακρόαση σχεδόν καθημερινά, παρ' όλα τα μεροκάματα που έχανε αφού δούλευε τότε σαν ελαιοχρωματιστής και οικοδόμος, ενώ παράλληλα έπαιζε ποδόσφαιρο στον Άγιο Ιερόθεο και στον Ατρόμητο.
Την ίδια χρονική περίοδο φοιτούσε στη νυχτερινή σχολή ΝΤΗΖΕΛ, με ειδικότητα ηλεκτρολόγου. Έτσι μπαίνει στο στούντιο για να ηχογραφήσει το πρώτο του τραγούδι, σε μουσική και στίχους του Μπάμπη Δαλιάνη, με τον τίτλο "Κορμί μου πονεμένο".
Στην πίσω πλευρά του δίσκου 45 στροφών θα έμπαινε το τραγούδι "Στο άδειο προσκεφάλι", που όμως τελικά το πήρε επί πληρωμή ο Στέλιος Καζαντζίδης από τον συνθέτη. Τελικά το τραγούδι δεν κυκλοφορεί και μένει ως δείγμα στην Columbia. Ένας επιπλέον λόγος ήταν ότι ο Πουλόπουλος ακόμα ήταν ανήλικος και απαγορευόταν να εκδοθεί δίσκος με το αναγραφόμενο τραγούδι. Το δεύτερο τραγούδι ήταν ένα συρτοτσιφτετέλι του Πάνου Πετσά με τίτλο "Δως μου την καρδιά μου πίσω".
Κυκλοφορεί σε 45άρι και στην πίσω πλευρά είχε ένα "μπαγιό" του ίδιου του συνθέτη με την Πόλυ Πάνου και τη Βούλα Γκίκα, με τίτλο "Γεννήθηκα να σε αγαπώ". Εκείνη την περίοδο η Columbia, έχοντας στο δυναμικό της μεγάλο αριθμό άγνωστων και ανερχόμενων τραγουδιστών, αποφασίζει να κάνει εκκαθάριση και να κάνει νέες ακροάσεις, από τις οποίες θα κρατούσε 50 άτομα.
Την επιτροπή ακροάσεων αποτελούσαν ο Μίκης Θεοδωράκης, ο Απόστολος Καλδάρας, ο Βασίλης Τσιτσάνης και ο Γιάννης Παπαϊωάννου. Τότε ο Γιάννης Πουλόπουλος διάλεξε να πει δύο δύσκολα τραγούδια: το "Μάνα μου και Παναγιά" και το "Παράπονο". Μόλις τελείωσε, τον πλησίασε ο Μίκης Θεοδωράκης λέγοντας: "Αυτόν εγώ θα τον κάνω τραγουδιστή", και τελικά ήταν ο μόνος που πέρασε από αυτή την ακρόαση.
Ο Μίκης Θεοδωράκης του δίνει να πει τρία τραγούδια στο θεατρικό έργο του Ιάκωβου Καμπανέλλη Η γειτονιά των αγγέλων, που εκείνη τη χρονιά (1963) ανεβαίνει στο θέατρο Ρεξ από τον θίασο Τζένης Καρέζη–Νίκου Κούρκουλου. Τα τραγούδια αυτά ήταν τα "Στρώσε το στρώμα σου για δυο", "Δόξα τω Θεώ" και "Το ψωμί είναι στο τραπέζι". Αυτά είναι και τα πρώτα τραγούδια που ηχογραφεί σε δίσκο ο Πουλόπουλος, τα οποία αργότερα θα δισκογραφήσει στην ίδια εταιρεία και ο Γρηγόρης Μπιθικώτσης. Εκείνη την περίοδο ηχογραφεί το ένα και μοναδικό τραγούδι με τον Σταύρο Ξαρχάκο, το "Πρωινό τραγούδι", σε στίχους Νίκου Γκάτσου, το οποίο επίσης δεν κυκλοφορεί και μένει ως δείγμα και το 1963 συμπεριλαμβάνεται στο διπλό LP Χρυσές επιτυχίες του Σταύρου Ξαρχάκου. Ο χειμώνας του 1963 τον βρίσκει να τραγουδά στο κέντρο Ξημερώματα, στα Άνω Πατήσια, μαζί με την Καίτη Γκρέυ, τον Γιάννη Αγγέλου στο μπουζούκι και τον Γιάννη Μπουρνέλη ως κονφερασιέ. Στην συνέχεια, απομακρύνεται από την Columbia, εξαιτίας του Γρήγορη Μπιθικώτση, ο οποίος έθεσε βέτο στην εταιρεία και στους αδελφούς Λαμπρόπουλους, ότι αυτόν δεν τον ήθελε εκεί. Το 1964 κατατάσσεται φαντάρος και απολύεται το 1966.
Η συνέχεια βρίσκει τον Γιάννη Πουλόπουλο να τραγουδάει σε αρκετές μπουάτ στην Πλάκα (Το στέκι του Γιάννη, Ταβάνια, κ.ά.) Στη Λύρα ηχογραφεί ξανά τα τρία τραγούδια του Μίκη Θεοδωράκη και άλλα δώδεκα του ίδιου συνθέτη, όπως τα "Βράχο βράχο τον καημό μου", "Βρέχει στη φτωχογειτονιά", "Καημός" κ.ά.
Το 1965 τραγουδάει τέσσερα τραγούδια του τότε πρωτοεμφανιζόμενου Μάνου Λοΐζου, ενώ το 1966 θα τραγουδήσει σε πρώτη εκτέλεση το "Ακορντεόν", στην ταινία μικρού μήκους Αθήνα, πόλη χαμόγελο, σε σκηνοθεσία του Λάμπρου Λιαρόπουλου για το φεστιβάλ Θεσσαλονίκης. Σχεδόν παράλληλα κάνει μεγάλη επιτυχία με το "Μη μου θυμώνεις μάτια μου", του επίσης τότε πρωτοεμφανιζόμενου Σταύρου Κουγιουμτζή.
Το 1966 τραγουδά σε συναυλία του Μίκη Θεοδωράκη στο γήπεδο της ΑΕΚ στη Νέα Φιλαδέλφεια, μαζί με τον Γρηγόρη Μπιθικώτση, τη Μαρία Φαραντούρη και τον πρωτοεμφανιζόμενο Δημήτρη Μητροπάνο. Την ίδια χρονιά μπαίνει για τα καλά στη δισκογραφία. Τα 45άρια δισκάκια του κυκλοφορούν σωρηδόν και εμφανίζεται για πρώτη φορά στις κινηματογραφικές ταινίες: Οι στιγματισμένοι (1966), με τον Γιώργο Φούντα και τη Μάρω Κοντού, όπου τραγουδάει μαζί με την Ελένη Κλάδη το "Πολύ αργά" και το "Σ' αγαπώ"· Ο τετραπέρατος (1966), με τον Κώστα Χατζηχρήστο, όπου ερμηνεύει το τραγούδι του Γιώργου Κατσαρού "Στον Πειραιά, στον Πειραιά"· Εκείνος κι εκείνη (1966), με τη Τζένη Καρέζη και τον Φαίδωνα Γεωργίτση, όπου τραγουδάει τη σύνθεση του Γιάννη Μαρκόπουλου "Ξεγυμνώστε τα σπαθιά".
