Jozef Mihalkovič koncom 50. rokov 20. storočia spolu s Ľubomírom Feldekom, Jánom Stachom a Jánom Ondrušom vytvorili základ tzv. Trnavskej skupiny básnikov, alebo tiež konkretistov. Išlo o reakciu na vtedajšiu ideologizáciu umenia – konkretizmus mal, ako sa vyjadril Mihalkovič, odmietnuť ideologické táranie.
Prvé diela začal publikovať v časopisoch Mladá tvorba a Kultúrny život, knižne debutoval v roku 1962 zbierkou básní Ľútosť. Vo svojich dielach sa zameriaval na vecnosť a konkrétnosť vecí, ktoré vytvárajú jeho životný pocit, názor a skúsenosti. Do básní vkladal mnoho autobiografických prvkov, venoval sa opisom rodného kraja, rodiny, svojho pracovného prostredia. Okrem vlastnej tvorby sa tiež venoval prekladom z francúzskej a anglickej literatúry, najmä poézie.