平安时代弘仁7年（816年）初见，一般认为是在此时设置。当初是卫门府的役人兼务。无官位相当。五位以上可成为准许昇殿的殿上人，所以是武士出世的目标。
宽平7年（895年），左右卫门府内设置左右检非违使厅（役所），天历元年（947年），统合在左厅设置检非违使厅。
逐渐掌控管辖司法的刑部省、管辖警察・监察的弹正台和统括京都相关的行政・治安・司法的京职等其他官厅的职掌，检非违使成为握有大权的官职。
平安时代后期，为了刑事事件相关职权行使，所以适用和律令性质相异的“厅例”。
平安时代末期，被院政的军事组织北面武士取代，加上镰仓幕府设置六波罗探题之后权力减弱。室町时代，幕府置于京都，权限被侍所掌握。