En el año 1977, tras la muerte de Franco, consigue volver a España gracias a un pasaporte legal facilitado por Fernando Morán, cónsul español en Londres. En ese mismo año se casa con Lucía Inés Correa Martínez, una argentina que había conocido en Londres durante su exilio. La ceremonia de enlace, eclesiástica, tuvo lugar el 18 de febrero de 1977.[2] En realidad el enlace se celebra con el único propósito de conseguir el "pase de pernocta" (permiso que se da a los soldados para que puedan ir a dormir a sus casas) en el cuartel durante el servicio militar que se había visto obligado a cumplir en Mallorca tras regresar a España. Esto le permite trabajar en el diario local Última hora.
En 1978 se instala en Madrid con su mujer y consigue editar su primer LP, Inventario. El director de la discográfica CBS, Tomás Muñoz, le había ofrecido su primer contrato con la referencia de su tema "¡Qué demasiao!", que por aquel entonces, interpretada por el cantante "Pulgarcito", sonaba en Popgrama, espacio de Televisión Española presentado por Carlos Tena. De esa forma comenzó a actuar en el circuito de bares madrileños y en los mítines electorales del PSP, UGT, PCE, PSOE y CNT. En esa epoca trabajó como entrevistador de Carta de España. Al año siguiente comienza a cantar junto a Javier Krahe y Alberto Pérez en el sótano del café madrileño La Mandrágora.[4] Uno de los temas que interpretan es "Con su bikini", versión paródica del tema de Bob Dylan "Man Gave Names to All the Animals" que, según parece, el propio autor le prohibió tocar. Al local acude un día el periodista Fernando García Tola, que los invita a su programa de televisión Esta noche, presentado por Carmen Maura.
Tras su primer disco, abandona el perfil prototípico del cantautor, ya que, según él mismo afirma, el uso de ese término le hace sentir como si le pusieran un ladrillo en la cabeza y "poeta" le parece "un traje que le queda demasiado ancho".[5] En 1980 publica su segundo trabajo, Malas compañías, álbum en el que destacan varios temas que se convertirán en clásicos, como "Calle Melancolía" o "¡Qué demasiao!", pero muy especialmente "Pongamos que hablo de Madrid", convertido para muchos en una especie de himno oficioso de la ciudad y que fue grabado primero por Antonio Flores, versión que alcanzó el número 1 en el programa de radio Los 40 Principales. En 1981 aparece La Mandrágora, disco grabado en directo junto con Krahe y Pérez en el que intentan recoger el espíritu de sus actuaciones en el local. Alterna sus conciertos en pubs con la traducción de éxitos de la canción italiana para la discográfica CBS y empieza a componer para otros artistas como Miguel Ríos y Ana Belén. Comienza a actuar con la que sería su primera banda, Ramillete de virtudes y le añade a su viejo repertorio nuevas composiciones cada vez más orientadas hacia el rock y con más ritmo como "Pisa el acelerador" y "Juana la Loca", canciones que, poco después, formarían parte del que sería su tercer elepé (sin contar el disco grabado con La Mandrágora), Ruleta rusa, publicado en 1983.[2] En 1984, escribe para Diario 16 un artículo de bienvenida a Bob Dylan y ese mismo año graba con Gloria van Aerssen, de Vainica Doble, "Con las manos en la masa", la sintonía del programa de cocina homónimo de Elena Santonja en RTVE.
Poco después Sabina y Krahe decidieron separarse artísticamente para evitar repetirse. En 1985 abandonó CBS y se marchó a Ariola a cambio de la libertad artística y algo de dinero. Ese mismo año comienza a trabajar con Viceversa, banda con la que en 1985 saca el álbum Juez y parte y, un año después, el disco en directo Joaquín Sabina y Viceversa en directo, grabado en el Teatro Salamanca de Madrid y que cuenta con la participación como invitados de Javier Gurruchaga y Ricardo Solfa, que interpretan temas de su anfitrión, y de Luis Eduardo Aute, que le dedica la canción "Pongamos que hablo de Joaquín". El álbum es un éxito de ventas y supone su salto al gran público. Participó en las fiestas a favor de un referéndum para la salida de España de la OTAN. Además, estrena Si te he visto no me acuerdo, una canción que glosaba los tres años de gobierno socialista de Felipe González y en las elecciones municipales apoya a su amigo Juan Barranco, candidato a la Alcaldía de la capital.[6] Además, en marzo de ese mismo año publica De lo cantado y sus márgenes, un conjunto de textos que reúne gran parte de los textos que formaron parte de Memorias del exilio y de las canciones de Inventario.[7]
