可以给予行政处罚，但若构成刑事上的盗窃罪未遂，追究了刑事责任，则不必作出行政处罚。

 第四十九条 盗窃、诈骗、哄抢、抢夺、敲诈勒索或者故意损毁公私财物的，处5日以上10日以下拘留，可以并处500元以下罚款；情节较重的，处10日以上15日以下拘留，可以并处1000元以下罚款。

 第十二条 盗窃未遂，具有下列情形之一的，应当依法追究刑事责任:

(一)以数额巨大的财物为盗窃目标的。

(二)以珍贵文物为盗窃目标的。

(三)其他情节严重的情形。