Sukces G3 i powstającej rodziny broni bazujących na tym udanym karabinie, obnażyły brak nowoczesnego pistoletu służbowego w ofercie Hecklera & Kocha. HK4, uwspółcześniony Mauser HSc, nie nadawał się do tej roli, konieczne było więc skonstruowanie czegoś nowego.

Theodor Koch, prezes HK, zlecił 6 lipca 1965 roku to zadanie Alexowi Seidlowi – współweteranowi z Mausera, twórcy HSc, szefującemu działowi konstrukcyjnemu firmy. Szereg krajów, w tym Szwecja, które kupiły od rządu niemieckiego licencję na produkcję karabinów G3, pytało ich producenta, czy nie ma może także w ofercie nowoczesnego pistoletu wojskowego. Rok wcześniej powstała pierwsza w ogóle broń firmy na nabój 9 mm Parabellum – pistolet maszynowy MP9 (wkrótce przemianowany na MP 64, potem na HK54 i w końcu na MP5). Prezes zlecił zbudowanie pistoletu samopowtarzalnego działającego na tej samej zasadzie, co G3, HK33 i MP9 – odrzutu zamka półswobodnego z opóźnieniem otwarcia rolkami.
Dwa tygodnie później, 19 lipca, dział konstrukcyjny przedstawił kierownictwu zarys koncepcyjny projektu, a 30 sierpnia także pierwsze rysunki nowej broni. W konstrukcji użyto części głęboko tłoczonych – płaszcz zamka był jednolitą wytłoczką z grubej blachy, w której osadzono frezowany trzon, z integralnym wsadem ryglowym z iglicą, rozpychającym na boki rolki tłoka zaporowego. Tłok wsuwał się do nasady ryglowej lufy, nieruchomej w czasie strzału. W ścianach nasady wycięte były gniazda rolek, ale podobnie jak w G3 i MP9 ściany gniazd były ukośne, więc rolki nie miały stałego podparcia i zamek nie był w pełni zaryglowany.
To stanowiło zasadniczą różnicę między poprzednio stosowanymi układami rolkowymi znanymi z MG42 i czeskiego pistoletu vz. 52, a rodziną broni HK.