Γεννήθηκε στην Αθήνα και καταγόταν από τα Βάτικα (σημερινή Νεάπολη) της Λακωνίας. Αδελφός του ήταν ο ζωγράφος Αχιλλέας Βαρβαρέσος. Σπούδασε νομική στο Πανεπιστήμιο Αθηνών και οικονομικά στα πανεπιστήμια του Μονάχου και του Βερολίνου. Εργάστηκε στον δημόσιο τομέα φτάνοντας γρήγορα στη θέση του διευθυντή του υπουργείου γεωργίας, εμπορίου και εργασίας. Το 1916 τοποθετήθηκε γενικός διευθυντής του υπουργείου επισιτισμού, θέση στην οποία παρέμεινε μέχρι το 1918.^[3] Παράλληλα ακολούθησε ακαδημαϊκή καριέρα εκλεγόμενος το 1918 έκτακτος καθηγητής στην έδρα της πολιτικής οικονομίας της νομικής σχολής Αθηνών και το 1924 τακτικός.^[3] Το ίδιο έτος άρχισε να συνεργάζεται με την Εθνική τράπεζα μεταπηδώντας στη συνέχεια στην Τράπεζα της Ελλάδος, της οποίας το 1933 διορίστηκε υποδιοικητής^[4] και το 1939 διοικητής, θέση από την οποία παραιτήθηκε το 1946.^[5] Το 1936 εξελέγη μέλος της ακαδημίας Αθηνών.^[6]

Το 1932 ανέλαβε το υπουργείο οικονομίας τον τρίτο χρόνο της κυβέρνησης Βενιζέλου του 1929^[7], το οποίο διατήρησε στην κυβέρνηση Παπαναστασίου^[8] και στη νέα κυβέρνηση Βενιζέλου το 1932^[9]. Με την κατάληψη της Ελλάδας από τους Γερμανούς, διέφυγε στο εξωτερικό μαζί με την ελληνική κυβέρνηση διατελώντας την περίοδο 1941 - 1943 υπουργός οικονομικών, θέση από την οποία παραιτήθηκε για να ταξιδέψει στις ΗΠΑ και τη Μεγάλη Βρετανία προκειμένου ως απεσταλμένος της ελληνικής κυβέρνησης να διευθετήσει βασικά οικονομικά θέματα και να συμμετάσχει ως επικεφαλής της ελληνικής αντιπροσωπείας στην διάσκεψη του Μπρέτον Γουντς.^[10][11] Στις δύο κυβερνήσεις του Πέτρου Βούλγαρη (Απριλίου 1945 και Αυγούστου 1945) αναλαμβάνει αντιπρόεδρος και υπουργός εφοδιασμού.^[12][13] Η αποτυχία της οικονομικής του πολιτικής όμως τον ανάγκασε να αποσυρθεί από τα πολιτικά δρώμενα και να αναλάβει θέση οικονομικού συμβούλου στη Διεθνή Τράπεζα στις ΗΠΑ, όπου παρέμεινε μέχρι και τον θάνατό του.

Ως βασικό στέλεχος της Τράπεζας της Ελλάδος, ο Βαρβαρέσος διαδραμάτισε σημαντικό ρόλο στην οικονομική πολιτική των ελληνικών κυβερνήσεων. Το 1931 διαφώνησε με τον διοικητή της Τράπεζας της Ελλάδος, Αλέξανδρο Διομήδη, ως προς την παραμονή της δραχμής στον κανόνα χρυσού-συναλλάγματος.^[14] Ως υπουργός οικονομικών στις κυβερνήσεις Βενιζέλου, εγκατέλειψε τον χρυσό κανόνα και ρύθμισε το εξωτερικό δημόσιο και ιδιωτικό χρέος.^[3] Ως διοικητής της Τράπεζας της Ελλάδος, συμμετείχε σε όλες τις διαπραγματεύσεις για την οικονομική ενίσχυση της Ελλάδας καθώς και στην ίδρυση της Διεθνούς Τράπεζας. Από τη θέση του αντιπροέδρου της κυβέρνησης προσπάθησε να επιβάλει πρόγραμμα σταθεροποίησης, το οποίο όμως κατέληξε σε αποτυχία με αποτέλεσμα να παραιτηθεί. Το 1952 υπέβαλε έκθεση στην κυβέρνηση, ύστερα από πρόταση αυτής, προκειμένου να λυθεί το οικονομικό πρόβλημα της χώρας, χωρίς όμως τελικά να γίνει δεκτή.^[3]

Απεβίωσε στην Ουάσινγκτον το 1957 και κηδεύθηκε από τον Ελληνορθόδοξο ναό της Αγίας Σοφίας.^[15]