La rue de Lappe doit son appellation à un maraicher, Gérard de Lappe, qui cultivait des terrains à cet emplacement. Quand elle fut construite la rue de Lappe est devenue la « rue des Auvergnats ». Au début des années 1900, on se presse rue de Lappe pour s’amuser et danser, en 1930 dix-sept bals naissent dans la rue dont au numéro 9 Le Bal Vernet, celui-ci est le plus petit et le moins prestigieux de tous, il ne pouvait concurrencer Le Petit Balcon et surtout Bousca avec deux pistes de danse et des lumières multicolores.

Au 32 rue de Lappe, un certain Jo France, Jo pour les amis, avait créé en 1931 un petit cabaret « Le Bastoche », il est le plus jeune patron de la rue et le seul à ne pas être Auvergnat. Un jour, une femme est découverte assassinée à l’Hôtel Vernet au-dessus du Bal, de ce fait les patrons âgés mettent la clé sous la porte, une aubaine pour Jo France qui obtient un bail pour le local. Jo France qui s’était lié d’amitié à un Breton de la rue Mouffetard, peintre de talent, Henri Mahé ayant déjà décoré quelques maisons closes ainsi que le Rex et qui décorera par la suite Le Moulin Rouge, Jo lui fait appel pour la décoration de l’ex Bal Vernet qui devient le Bal à Jo.

En 1935, le Balajo ouvre ses portes. Jo rachète une fabrique de meubles jouxtant le Balajo afin de l’agrandir et confie toujours la décoration de cette nouvelle partie à Henri Mahé.

En 1936, le "Bal à Jo" avec son volume actuel est inauguré par Mistinguett. Le succès est fulgurant. L’accordéon, instrument populaire et révolutionnaire de la jeunesse de l’époque va atteindre ses lettres de noblesse grâce au Balajo. Le Bal est fréquenté par de nombreuses célébrités parmi lesquelles : Arletty, Marlene Dietrich, Francis Carco, Pierre Lazareff, Abel Gance, Joseph Kessel, Marcel Ayme, Georges Raft, Louis Ferdinand Céline, etc…

A la déclaration de la Guerre en 1939, Le Balajo sera fermé et le restera pendant toute la durée de celle-ci. Il rouvre cinq ans plus tard le 24 Décembre 1944.

Le succès, à nouveau ne se fait pas attendre et les personnalités y affluent : Mistinguett, Maurice Chevalier, Auguste Le Breton, Arletty, Jean Gabin, Marcel Cerdan, Django Reinhart, Gregory Peck, Robert Mitchum, Sophia Loren, Philippe Clay, Rita Hayworth pour laquelle Jo Privat a composé une danse en son honneur, Edith Piaf y fête son mariage avec Jacques Pils, Francis Lemarque natif de la rue écrit la chanson « Rue de Lappe » reprise par Mouloudji, Brigitte Bardot y serait venue  un soir incognito.

​En 1982, Robert Lageat et son fils Jacques, alias Jacky Corn, grand champion de catch prennent les rênes du Balajo et conservent son authentique décor original, ils en font un des lieux les plus à la mode de Paris en y aménageant des platines, une sono et des lights. Le Balajo devient une discothèque.

En 1994, Jacques Lageat aidé par les ex catcheurs Rémy Bayle et Daniel Schmid, prend la relève et confirme le succès du Balajo. C’est dans ces mêmes années 1990 qu’Albert Grintuch di Albert de Paname y organise tous les Lundis une soirée qui devient la Soirée phare du Tout Paris branché et des people, celle-ci a tellement de succès qu’Albert prend les commandes du Balajo également les Jeudis. Les Lundis et Jeudis d’Albert au Balajo étaient incontournables.

​En 2007, Fabien et Nicolas, petits fils de Jacques Lageat prennent la direction du lieu, ils modernisent le son et les lights tout en conservant le décor d’origine d’Henri Mahé et le succès est toujours là.

En 2011 le Balajo remporte les « Trophées de la Nuit » dans la catégorie Institution.

En 2012 et 2013 Paul Wermus et France 3 choisissent le Balajo pour y tourner leurs émissions mensuelles « Wermus prend la Bastille »

En 2015 Régine choisit le Balajo pour y faire un fabuleux retour à la nuit avec ses soirées « La Guinguette de Régine »

Chaque année le Balajo se met à l’heure de la « Fashion Week » avec le renommé créateur styliste Christophe Guillarmé qui y présente ses défilés.