diff --git "a/reduced_ppl_greedy.json" "b/reduced_ppl_greedy.json"
deleted file mode 100644--- "a/reduced_ppl_greedy.json"
+++ /dev/null
@@ -1,14341 +0,0 @@
-{
-    "original_ppl": 6.907048225402832,
-    "reduced_ppl": [
-        {
-            "layer.0.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.931990146636963
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.912193775177002
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.908556938171387
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.907459735870361
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907202243804932
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9070820808410645
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9070515632629395
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907279014587402
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907331466674805
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907268047332764
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907193183898926
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907151222229004
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906906604766846
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907293796539307
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907280445098877
-                }
-            ]
-        },
-        {
-            "layer.0.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.9280171394348145
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.912103176116943
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909964084625244
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908915996551514
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908158779144287
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907900810241699
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907589912414551
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907557010650635
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907351493835449
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907329559326172
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9072980880737305
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9071831703186035
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9072794914245605
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9072160720825195
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907158374786377
-                }
-            ]
-        },
-        {
-            "layer.0.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.014910697937012
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.934531211853027
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.921298503875732
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914010524749756
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911709785461426
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910130977630615
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909670352935791
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909128189086914
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908350944519043
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908209323883057
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907721996307373
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907790660858154
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907574653625488
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907293796539307
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907329559326172
-                }
-            ]
-        },
-        {
-            "layer.0.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.044562816619873
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.94509220123291
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.923160076141357
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915912628173828
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.914093494415283
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9122138023376465
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9113030433654785
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.910058975219727
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909451484680176
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.909350872039795
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908815860748291
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908536434173584
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.908020973205566
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9077558517456055
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907339572906494
-                }
-            ]
-        },
-        {
-            "layer.0.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.027764797210693
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.934808254241943
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.917125701904297
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913961410522461
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911056041717529
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910192489624023
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909536838531494
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908907413482666
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908297061920166
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908296585083008
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9078803062438965
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907774448394775
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9074482917785645
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907400608062744
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907552242279053
-                }
-            ]
-        },
-        {
-            "layer.0.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.035067558288574
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.935466766357422
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.918035984039307
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.911937713623047
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910062789916992
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908616065979004
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908751010894775
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908257007598877
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907732963562012
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908032417297363
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907680511474609
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907466411590576
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907503604888916
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907175540924072
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907015323638916
-                }
-            ]
-        },
-        {
-            "layer.0.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.145654201507568
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.960110664367676
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.922961711883545
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.917201519012451
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.913552284240723
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9095635414123535
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910071849822998
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908360481262207
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90842342376709
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907479763031006
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907496452331543
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907519340515137
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9077959060668945
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9072346687316895
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906984806060791
-                }
-            ]
-        },
-        {
-            "layer.1.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.965384483337402
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.922662258148193
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.911266803741455
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908208847045898
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9075541496276855
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907725811004639
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907367706298828
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907083988189697
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907355785369873
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.906877517700195
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907246112823486
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907074928283691
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907369136810303
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906964302062988
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907325267791748
-                }
-            ]
-        },
-        {
-            "layer.1.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.959473609924316
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.920718193054199
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.911886215209961
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.910213470458984
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909148216247559
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907993316650391
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.906809329986572
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9071455001831055
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9070725440979
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907095432281494
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9073381423950195
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907236576080322
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907095432281494
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9072346687316895
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9072346687316895
-                }
-            ]
-        },
-        {
-            "layer.1.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.026477336883545
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.942977428436279
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.924587249755859
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914395332336426
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911502361297607
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910717964172363
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910304546356201
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909309387207031
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909028053283691
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908398628234863
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90841007232666
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907942771911621
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90756368637085
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907353401184082
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906885147094727
-                }
-            ]
-        },
-        {
-            "layer.1.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.0619096755981445
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.941558361053467
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.922226905822754
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912944793701172
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912020683288574
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9116950035095215
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909968852996826
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909329414367676
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909329891204834
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908721446990967
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908190727233887
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908116340637207
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907533168792725
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907342910766602
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906691551208496
-                }
-            ]
-        },
-        {
-            "layer.1.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.0391387939453125
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.939301013946533
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.91935920715332
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914172172546387
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911721706390381
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909954071044922
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909141540527344
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908250331878662
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908081531524658
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907741546630859
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9083452224731445
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907543659210205
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907665729522705
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907503604888916
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907912731170654
-                }
-            ]
-        },
-        {
-            "layer.1.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.08500337600708
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.956099987030029
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.930570125579834
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.92029333114624
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9137983322143555
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.912304878234863
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910287857055664
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909788131713867
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908994197845459
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907708644866943
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907634258270264
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907878398895264
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907357692718506
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907483100891113
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906996726989746
-                }
-            ]
-        },
-        {
-            "layer.1.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.106656074523926
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.954023361206055
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.923224925994873
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9153642654418945
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912174701690674
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908304214477539
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908158302307129
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.90880823135376
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908270359039307
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908378601074219
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9075541496276855
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907854080200195
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90718412399292
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907677173614502
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90689754486084
-                }
-            ]
-        },
-        {
-            "layer.2.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.080252170562744
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.947742462158203
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.924149990081787
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914226531982422
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911076068878174
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909919261932373
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909189224243164
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908776760101318
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9084954261779785
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908542156219482
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90789794921875
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907636642456055
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907281875610352
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907379150390625
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9067063331604
-                }
-            ]
-        },
-        {
-            "layer.2.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.314942836761475
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.94040060043335
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9149169921875
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.907618045806885
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.90815544128418
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907487869262695
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9071784019470215
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.906613349914551
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.906535625457764
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.906600475311279
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9066267013549805
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906919956207275
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906601905822754
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906964302062988
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906922817230225
-                }
-            ]
-        },
-        {
-            "layer.2.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.946887493133545
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.924901008605957
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.911896228790283
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.910677909851074
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909199237823486
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907781600952148
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.90847110748291
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9078450202941895
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907940864562988
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907723426818848
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907650947570801
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907476902008057
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907511234283447
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907435417175293
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90759801864624
-                }
-            ]
-        },
-        {
-            "layer.2.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.977211952209473
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.925108432769775
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9114203453063965
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.910080432891846
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909232139587402
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907682418823242
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908252239227295
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9080586433410645
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90800142288208
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907664775848389
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908231258392334
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907509803771973
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907528877258301
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907087802886963
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9075140953063965
-                }
-            ]
-        },
-        {
-            "layer.2.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.029358386993408
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.933478832244873
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.915656089782715
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.910953044891357
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909610271453857
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907492637634277
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9087677001953125
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907405376434326
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907581806182861
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.906561374664307
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907009601593018
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907321453094482
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9068193435668945
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906987190246582
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90683650970459
-                }
-            ]
-        },
-        {
-            "layer.2.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.031790733337402
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.939947605133057
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.91343879699707
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909561634063721
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908377170562744
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9059977531433105
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907159328460693
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.906877517700195
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.906856536865234
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90655517578125
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906522750854492
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906615734100342
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906352996826172
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906699180603027
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906332015991211
-                }
-            ]
-        },
-        {
-            "layer.2.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.067943096160889
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.94655704498291
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9181413650512695
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909202575683594
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.90817403793335
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90952205657959
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907350063323975
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907505035400391
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.906922817230225
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908398628234863
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906985282897949
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907240390777588
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906979560852051
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907269477844238
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907052040100098
-                }
-            ]
-        },
-        {
-            "layer.3.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.963478088378906
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.920114517211914
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.913026809692383
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908355712890625
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908172607421875
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907938003540039
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907632827758789
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907812595367432
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907470703125
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907487869262695
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907125473022461
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907188892364502
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9070024490356445
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907186508178711
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906942844390869
-                }
-            ]
-        },
-        {
-            "layer.3.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.011414527893066
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.958665370941162
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.930364608764648
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.921566486358643
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.915516376495361
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.912558555603027
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910593032836914
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909907817840576
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9093828201293945
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908255577087402
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908093452453613
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907614231109619
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907840728759766
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9075212478637695
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9073262214660645
-                }
-            ]
-        },
-        {
-            "layer.3.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.9770307540893555
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.92273473739624
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.916637420654297
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914961814880371
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911733150482178
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910440444946289
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910408973693848
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909468650817871
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909214496612549
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.909162998199463
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9085516929626465
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908034324645996
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907917022705078
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907323360443115
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907336711883545
-                }
-            ]
-        },
-        {
-            "layer.3.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.988719940185547
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.931074619293213
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.918349742889404
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.90962553024292
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909414768218994
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909306526184082
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908339500427246
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907537937164307
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907560348510742
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907561779022217
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907227039337158
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907275199890137
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906774997711182
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907064914703369
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906952381134033
-                }
-            ]
-        },
-        {
-            "layer.3.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.063677787780762
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.948919773101807
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.921658992767334
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.916079044342041
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911354064941406
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910050868988037
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910398483276367
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908728122711182
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9083251953125
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907515525817871
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9077019691467285
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907738208770752
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907641410827637
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907176494598389
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90692138671875
-                }
-            ]
-        },
-        {
-            "layer.3.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.069693565368652
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.948939800262451
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.920343399047852
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912341594696045
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910383701324463
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909567832946777
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908840179443359
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908382415771484
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908359527587891
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907846927642822
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908402919769287
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907306671142578
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907806396484375
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90715217590332
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907933712005615
-                }
-            ]
-        },
-        {
-            "layer.3.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.070032119750977
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.943642616271973
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.921612739562988
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913483142852783
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912973403930664
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90932035446167
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910254001617432
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909428119659424
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909573078155518
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9081220626831055
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90867280960083
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9077959060668945
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.908421516418457
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9075140953063965
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90802526473999
-                }
-            ]
-        },
-        {
-            "layer.4.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.961235523223877
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.923030376434326
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.912296772003174
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.910195827484131
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909144878387451
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908073902130127
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.90758752822876
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907370090484619
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90744161605835
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907195568084717
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907288551330566
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907137393951416
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907292366027832
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90698766708374
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9072418212890625
-                }
-            ]
-        },
-        {
-            "layer.4.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.970373630523682
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9344964027404785
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.926009178161621
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913519859313965
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.91057014465332
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909524917602539
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9088850021362305
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908304214477539
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907792091369629
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907427787780762
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907452583312988
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907113075256348
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907291889190674
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907078266143799
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907210826873779
-                }
-            ]
-        },
-        {
-            "layer.4.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.969675540924072
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9270124435424805
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.919107913970947
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912379264831543
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911349296569824
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911016464233398
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910663604736328
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908716678619385
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909291744232178
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9088287353515625
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.909020900726318
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908129692077637
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90871000289917
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907535552978516
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907822132110596
-                }
-            ]
-        },
-        {
-            "layer.4.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.976510047912598
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.928829193115234
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.915250301361084
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.911697864532471
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909487247467041
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90840482711792
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907526969909668
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907530784606934
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90740966796875
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9072771072387695
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906832695007324
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9071502685546875
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907318115234375
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907237529754639
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906987190246582
-                }
-            ]
-        },
-        {
-            "layer.4.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.0868754386901855
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.946122169494629
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.920115947723389
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912610054016113
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910382270812988
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909005641937256
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907793045043945
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.90781307220459
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907676696777344
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.906914234161377
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907301902770996
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9073486328125
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907412052154541
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907279014587402
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907082557678223
-                }
-            ]
-        },
-        {
-            "layer.4.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.057493209838867
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9432597160339355
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.920480728149414
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.916340351104736
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910518169403076
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908317565917969
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907904624938965
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908218860626221
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908153057098389
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907543182373047
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907912731170654
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907444477081299
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907621383666992
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907271862030029
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907552242279053
-                }
-            ]
-        },
-        {
-            "layer.4.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.054969787597656
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.951193332672119
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.923913478851318
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913524627685547
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911003589630127
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90930700302124
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908636569976807
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908820152282715
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907886028289795
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908158302307129
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907639503479004
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907412052154541
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907143592834473
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907104015350342
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907166957855225
-                }
-            ]
-        },
-        {
-            "layer.5.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.975397109985352
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.922878265380859
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.912781715393066
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.910853385925293
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909581184387207
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908894062042236
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908113956451416
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908254146575928
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908013343811035
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907662391662598
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907777786254883
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907506465911865
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907288074493408
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907079696655273
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907249927520752
-                }
-            ]
-        },
-        {
-            "layer.5.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.988499641418457
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.932688236236572
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.916193008422852
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.91042947769165
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909054279327393
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908298492431641
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907874584197998
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907629489898682
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907593727111816
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907679080963135
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907461643218994
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907250881195068
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907223701477051
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907074451446533
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907189846038818
-                }
-            ]
-        },
-        {
-            "layer.5.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.966733455657959
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.930693626403809
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.918799877166748
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914317607879639
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911938667297363
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910081386566162
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910395622253418
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909022808074951
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908977508544922
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908592224121094
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907810688018799
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907614231109619
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90762186050415
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9075846672058105
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907217979431152
-                }
-            ]
-        },
-        {
-            "layer.5.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.983314514160156
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.932599067687988
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.918915748596191
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913824558258057
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910881042480469
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90963888168335
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908569812774658
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.90836238861084
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907985210418701
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90778923034668
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9075775146484375
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907505989074707
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907395839691162
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9072160720825195
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907261371612549
-                }
-            ]
-        },
-        {
-            "layer.5.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.040334224700928
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.936123371124268
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9196038246154785
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912895679473877
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910045623779297
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910579204559326
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909228324890137
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909442901611328
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908129692077637
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908148288726807
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9077959060668945
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907797813415527
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907279014587402
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907413482666016
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906955718994141
-                }
-            ]
-        },
-        {
-            "layer.5.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.03515100479126
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.942553997039795
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.919739723205566
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913476943969727
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912459850311279
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909955024719238
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909387111663818
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909087181091309
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9088616371154785
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908474445343018
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908486843109131
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907973289489746
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907867431640625
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907604694366455
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907685279846191
-                }
-            ]
-        },
-        {
-            "layer.5.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.040537357330322
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.956263542175293
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.92106294631958
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915977954864502
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911322116851807
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909080505371094
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909396648406982
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908679962158203
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908668518066406
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908229351043701
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908242702484131
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907858371734619
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907358646392822
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907262325286865
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907454490661621
-                }
-            ]
-        },
-        {
-            "layer.6.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.966634750366211
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.925357341766357
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9120988845825195
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9109039306640625
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9102559089660645
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908910751342773
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908687591552734
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908205986022949
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907902717590332
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907854080200195
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907621383666992
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907589912414551
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907435894012451
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907237529754639
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907262802124023
-                }
-            ]
-        },
-        {
-            "layer.6.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.953537464141846
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.921460151672363
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909873008728027
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908064365386963
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907285213470459
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907010078430176
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.906959056854248
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907042980194092
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907123565673828
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907497406005859
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9073309898376465
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9071455001831055
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907339572906494
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907132148742676
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907402038574219
-                }
-            ]
-        },
-        {
-            "layer.6.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.969988822937012
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.930638790130615
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.919771194458008
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914286136627197
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910737991333008
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910048007965088
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909079551696777
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9093122482299805
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909111022949219
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908706188201904
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908925533294678
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9080657958984375
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.908247947692871
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907683849334717
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907291889190674
-                }
-            ]
-        },
-        {
-            "layer.6.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.995301246643066
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9347310066223145
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.91862154006958
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915557384490967
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912364482879639
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910270690917969
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9094438552856445
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908837795257568
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908803939819336
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907891273498535
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908289909362793
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907700061798096
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.908143520355225
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9073166847229
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907468318939209
-                }
-            ]
-        },
-        {
-            "layer.6.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.020150661468506
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.939055919647217
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.919776439666748
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914678573608398
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911395072937012
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909340858459473
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909256935119629
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908429145812988
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908224105834961
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9078450202941895
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907868385314941
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907794952392578
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907280921936035
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90737247467041
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9070916175842285
-                }
-            ]
-        },
-        {
-            "layer.6.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.024473667144775
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.938831329345703
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.918755054473877
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912784576416016
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910966873168945
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9087677001953125
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908751010894775
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907917022705078
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908185005187988
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908010005950928
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9079060554504395
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907476425170898
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907234191894531
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907148838043213
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907352924346924
-                }
-            ]
-        },
-        {
-            "layer.6.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.030467510223389
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.936219692230225
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.916916847229004
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.911741256713867
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909398555755615
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908877849578857
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908556938171387
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907443046569824
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907140254974365
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9071831703186035
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906931400299072
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906667709350586
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906736850738525
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907072067260742
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906898021697998
-                }
-            ]
-        },
-        {
-            "layer.7.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.964315414428711
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.921219825744629
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.912787437438965
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.910029411315918
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907939434051514
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907866954803467
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907935619354248
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907275199890137
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907496929168701
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907331943511963
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9072489738464355
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907159328460693
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907268524169922
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9071245193481445
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9072771072387695
-                }
-            ]
-        },
-        {
-            "layer.7.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.944979667663574
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.917820453643799
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.91497802734375
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.911879062652588
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911466121673584
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9108567237854
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909835338592529
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.90962553024292
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909278392791748
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.909115791320801
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908731460571289
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908475875854492
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907960414886475
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907729148864746
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907383918762207
-                }
-            ]
-        },
-        {
-            "layer.7.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.971019268035889
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.926301002502441
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.917834758758545
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915216445922852
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911431789398193
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911467552185059
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909976005554199
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909539222717285
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909505844116211
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.909191131591797
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908594131469727
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908517837524414
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.908138275146484
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.908023834228516
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907292366027832
-                }
-            ]
-        },
-        {
-            "layer.7.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.995482921600342
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9360504150390625
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.921062469482422
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914378643035889
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911377906799316
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9098310470581055
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908687114715576
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908401966094971
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907653331756592
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907839298248291
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907373428344727
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907367706298828
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907519340515137
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907358646392822
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907148838043213
-                }
-            ]
-        },
-        {
-            "layer.7.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.0344767570495605
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.943413257598877
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.921960353851318
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915449142456055
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.91142463684082
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910419464111328
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909255027770996
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908626556396484
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908326625823975
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907938003540039
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907641410827637
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907548904418945
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907435417175293
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9072442054748535
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907369136810303
-                }
-            ]
-        },
-        {
-            "layer.7.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.010562896728516
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.939712047576904
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9173479080200195
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.91404914855957
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911431789398193
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909096717834473
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908849239349365
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908751964569092
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908102989196777
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907732963562012
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907240390777588
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907677173614502
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907196998596191
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907197952270508
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907019138336182
-                }
-            ]
-        },
-        {
-            "layer.7.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.027820587158203
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.946230888366699
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.920037746429443
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914144515991211
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911065578460693
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909851551055908
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909726142883301
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9088335037231445
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908487796783447
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9075093269348145
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908085823059082
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907614231109619
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907320022583008
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907134056091309
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907110214233398
-                }
-            ]
-        },
-        {
-            "layer.8.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.959736347198486
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.92282247543335
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.913491725921631
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909369945526123
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908071994781494
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907591819763184
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907932281494141
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907752990722656
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9075846672058105
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9073872566223145
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907399654388428
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907229423522949
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907204627990723
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907144546508789
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907193183898926
-                }
-            ]
-        },
-        {
-            "layer.8.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.94169282913208
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.919989109039307
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.911964416503906
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.910747528076172
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.90947961807251
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90914249420166
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908915996551514
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9084858894348145
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908443450927734
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907999038696289
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908113956451416
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.90781831741333
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907870769500732
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907363414764404
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9075493812561035
-                }
-            ]
-        },
-        {
-            "layer.8.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.9694504737854
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.927297592163086
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9166083335876465
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913750648498535
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910387992858887
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908914566040039
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909303188323975
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9086012840271
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908487796783447
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908081531524658
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90828800201416
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907846927642822
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9077019691467285
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907367706298828
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907619476318359
-                }
-            ]
-        },
-        {
-            "layer.8.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.015966892242432
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.944742679595947
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.923358917236328
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.917198657989502
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912625312805176
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911031246185303
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910257816314697
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909205913543701
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909512996673584
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90848445892334
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9085845947265625
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908153057098389
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907870769500732
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907608509063721
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907703399658203
-                }
-            ]
-        },
-        {
-            "layer.8.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.005594730377197
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9352498054504395
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.919464111328125
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912816047668457
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911102294921875
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910166263580322
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908636569976807
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908488750457764
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908330917358398
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90789794921875
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9075775146484375
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9076714515686035
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907425403594971
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907197952270508
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907240390777588
-                }
-            ]
-        },
-        {
-            "layer.8.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.005624294281006
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.936917304992676
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.922224044799805
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914896488189697
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9127960205078125
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911390781402588
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910084247589111
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909718036651611
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90882682800293
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908611297607422
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908451080322266
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907758712768555
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907688617706299
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907505989074707
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90756893157959
-                }
-            ]
-        },
-        {
-            "layer.8.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.011799335479736
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.943898677825928
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.921384334564209
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915756702423096
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912452220916748
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910672187805176
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909247875213623
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9088287353515625
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908259868621826
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908121109008789
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9075493812561035
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907919406890869
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907153129577637
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906989574432373
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906928062438965
-                }
-            ]
-        },
-        {
-            "layer.9.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.958330154418945
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.919362545013428
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.911993503570557
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908884048461914
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9083452224731445
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907422065734863
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907537937164307
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.90737771987915
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9073591232299805
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907318115234375
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907312393188477
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907308578491211
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9072585105896
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907092571258545
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907130241394043
-                }
-            ]
-        },
-        {
-            "layer.9.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.945456504821777
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.925421237945557
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.916987895965576
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914661407470703
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.913592338562012
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.912720203399658
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.912092685699463
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.91119909286499
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.910773277282715
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.910053253173828
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9094367027282715
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908540725708008
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.908205986022949
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907802104949951
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907173156738281
-                }
-            ]
-        },
-        {
-            "layer.9.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.954606533050537
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9215922355651855
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909464359283447
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.90958833694458
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.906893730163574
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907740116119385
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907835483551025
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907374382019043
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907385349273682
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90723991394043
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907016754150391
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907280445098877
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907321453094482
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90720272064209
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907158374786377
-                }
-            ]
-        },
-        {
-            "layer.9.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.011478900909424
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.944166660308838
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.917726993560791
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912417888641357
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911012172698975
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909390926361084
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909142971038818
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908503532409668
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9082932472229
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907928943634033
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907813549041748
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907705783843994
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907196044921875
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9072489738464355
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907225608825684
-                }
-            ]
-        },
-        {
-            "layer.9.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.013587474822998
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.938987731933594
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.917421817779541
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912566184997559
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910486221313477
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909576416015625
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9083075523376465
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908204078674316
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908042907714844
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907721996307373
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907614231109619
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907295227050781
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906989097595215
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907104015350342
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907315731048584
-                }
-            ]
-        },
-        {
-            "layer.9.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.006000518798828
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.940859317779541
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.921349048614502
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913704872131348
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911437511444092
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910538673400879
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909080505371094
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9091877937316895
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908347129821777
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908044338226318
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907954692840576
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907618999481201
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907317638397217
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907332897186279
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907110214233398
-                }
-            ]
-        },
-        {
-            "layer.9.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.01280403137207
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.939004898071289
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.919327735900879
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.91433572769165
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912436008453369
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910113334655762
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9096360206604
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9090576171875
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908917427062988
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908268451690674
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907862663269043
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907980442047119
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907841205596924
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907689571380615
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907273769378662
-                }
-            ]
-        },
-        {
-            "layer.10.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.946394920349121
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.916759014129639
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.910472393035889
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908041954040527
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907059669494629
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907100677490234
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907227516174316
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907088279724121
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.906816005706787
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.906815052032471
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9070916175842285
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907054424285889
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906870365142822
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907020092010498
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9069294929504395
-                }
-            ]
-        },
-        {
-            "layer.10.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.937425136566162
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.917097568511963
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909533500671387
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9082560539245605
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907812595367432
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907570838928223
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907841205596924
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907320022583008
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907632350921631
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907413482666016
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907435417175293
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907290458679199
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907186031341553
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907199382781982
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906960964202881
-                }
-            ]
-        },
-        {
-            "layer.10.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.957238674163818
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9239888191223145
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9150190353393555
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9115309715271
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9098219871521
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90920877456665
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908675670623779
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9081549644470215
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908376693725586
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907745838165283
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908144474029541
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907690525054932
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907813549041748
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90772008895874
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907390594482422
-                }
-            ]
-        },
-        {
-            "layer.10.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.980575084686279
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9303297996521
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.918142318725586
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913064479827881
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910457134246826
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909796237945557
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9094085693359375
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908391952514648
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908311367034912
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90809440612793
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907973289489746
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907742977142334
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907528877258301
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907436847686768
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907169818878174
-                }
-            ]
-        },
-        {
-            "layer.10.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.984806537628174
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.934997081756592
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.919228553771973
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912957668304443
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909720420837402
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908958911895752
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908431053161621
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908021450042725
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908090591430664
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907596588134766
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907571792602539
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907361030578613
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906977653503418
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9072136878967285
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907184600830078
-                }
-            ]
-        },
-        {
-            "layer.10.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.9887471199035645
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.937447547912598
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9189581871032715
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.911034107208252
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910843372344971
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909618377685547
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908492565155029
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908279895782471
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907589912414551
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9080586433410645
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907050132751465
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907774448394775
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9070725440979
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907189846038818
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906916618347168
-                }
-            ]
-        },
-        {
-            "layer.10.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.002862930297852
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.939756393432617
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.921283721923828
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915790557861328
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912105560302734
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909941673278809
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.90949821472168
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908869743347168
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908661365509033
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90812873840332
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907815456390381
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9074578285217285
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907453536987305
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907336711883545
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907187461853027
-                }
-            ]
-        },
-        {
-            "layer.11.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.966915130615234
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.922346591949463
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.914064407348633
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908430099487305
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908279895782471
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907840728759766
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.90785551071167
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907453536987305
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907683849334717
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907418727874756
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907169342041016
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907236099243164
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907165050506592
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90714168548584
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907005786895752
-                }
-            ]
-        },
-        {
-            "layer.11.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.960155963897705
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.925835132598877
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.914386749267578
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9116740226745605
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910224437713623
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909523010253906
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909092903137207
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9087371826171875
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908458232879639
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9081645011901855
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907987594604492
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.90759801864624
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907613754272461
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907426834106445
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907331466674805
-                }
-            ]
-        },
-        {
-            "layer.11.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.957300186157227
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.923711776733398
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.913101673126221
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.910182952880859
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908229827880859
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908156871795654
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907842636108398
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907435417175293
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907642364501953
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907392501831055
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907351493835449
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907198905944824
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907403469085693
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907450199127197
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907207012176514
-                }
-            ]
-        },
-        {
-            "layer.11.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.015512943267822
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.946231365203857
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.925772190093994
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914693355560303
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912227153778076
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90991735458374
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908884048461914
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908465385437012
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90813684463501
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908570766448975
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907705307006836
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.90755033493042
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907135963439941
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906981945037842
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906888484954834
-                }
-            ]
-        },
-        {
-            "layer.11.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.983408451080322
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.93247652053833
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.915494441986084
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9111480712890625
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909240245819092
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908271789550781
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907995223999023
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907667636871338
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907619476318359
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90756368637085
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907230854034424
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907169818878174
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907156944274902
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907114028930664
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907008647918701
-                }
-            ]
-        },
-        {
-            "layer.11.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.995302200317383
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9368414878845215
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.915616989135742
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912140369415283
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9101948738098145
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908605575561523
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.90817403793335
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9080119132995605
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907832145690918
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907491207122803
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906896591186523
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907258987426758
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907015323638916
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907214164733887
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907007217407227
-                }
-            ]
-        },
-        {
-            "layer.11.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.006147384643555
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.941705703735352
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9186553955078125
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913187026977539
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911653995513916
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909708499908447
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908917427062988
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908478736877441
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908209323883057
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907719612121582
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907770156860352
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907526969909668
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907532215118408
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907320499420166
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907100677490234
-                }
-            ]
-        },
-        {
-            "layer.12.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.9605488777160645
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9226884841918945
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.912997245788574
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909914016723633
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908546447753906
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9076828956604
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907876491546631
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907509803771973
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907614231109619
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907526969909668
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907469272613525
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907293796539307
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907261371612549
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90716028213501
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90712308883667
-                }
-            ]
-        },
-        {
-            "layer.12.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.95311975479126
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.919551849365234
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9138312339782715
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9101033210754395
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908917427062988
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9083147048950195
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908017635345459
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.90772008895874
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907564163208008
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9075117111206055
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907352924346924
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907292366027832
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906981468200684
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907184600830078
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907083988189697
-                }
-            ]
-        },
-        {
-            "layer.12.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.975134372711182
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.930717945098877
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.917546272277832
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912031173706055
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910531520843506
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909502983093262
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908774375915527
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909019947052002
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908663749694824
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908533096313477
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908402919769287
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907925128936768
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907870292663574
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907301902770996
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907129764556885
-                }
-            ]
-        },
-        {
-            "layer.12.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.018739700317383
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.946774959564209
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.924125671386719
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915462493896484
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.91222620010376
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910754203796387
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909905910491943
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909255027770996
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908613204956055
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908646106719971
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907883644104004
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907785892486572
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907331466674805
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9072675704956055
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9069671630859375
-                }
-            ]
-        },
-        {
-            "layer.12.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.007345199584961
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.935422420501709
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.916929721832275
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.911884784698486
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909837245941162
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908679962158203
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908596992492676
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.90772008895874
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9079365730285645
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907634258270264
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907351970672607
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907431602478027
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907169818878174
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9072136878967285
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907166957855225
-                }
-            ]
-        },
-        {
-            "layer.12.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.001620769500732
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.935822486877441
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.917064189910889
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912613391876221
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909993648529053
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909416198730469
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908966064453125
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908623695373535
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908308029174805
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908071517944336
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907654285430908
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907561779022217
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9073262214660645
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907106399536133
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907258987426758
-                }
-            ]
-        },
-        {
-            "layer.12.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.007962226867676
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.937081336975098
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9163923263549805
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.911865711212158
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908999919891357
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908718585968018
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907878398895264
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907476425170898
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907222747802734
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9071173667907715
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906998634338379
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906936168670654
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906561374664307
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907054424285889
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906924247741699
-                }
-            ]
-        },
-        {
-            "layer.13.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.972347259521484
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.922604084014893
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.911953926086426
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9095563888549805
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9081315994262695
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907555103302002
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907464981079102
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907227516174316
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907312870025635
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907046318054199
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906989574432373
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907197952270508
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906857013702393
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90709114074707
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906931400299072
-                }
-            ]
-        },
-        {
-            "layer.13.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.949282646179199
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.921837329864502
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.912108898162842
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.910897731781006
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909185886383057
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908652305603027
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908397197723389
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9078874588012695
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908023834228516
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907591819763184
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90750789642334
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907459735870361
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907158374786377
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907032489776611
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907042980194092
-                }
-            ]
-        },
-        {
-            "layer.13.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.983006477355957
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.931331157684326
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.915266990661621
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.911116123199463
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909924030303955
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908542156219482
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908430099487305
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908294200897217
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9078850746154785
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90775203704834
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907303333282471
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907358646392822
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90709924697876
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90722131729126
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906869411468506
-                }
-            ]
-        },
-        {
-            "layer.13.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.036205291748047
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.953654766082764
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.927280426025391
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.917819023132324
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.914304733276367
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911779880523682
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909724712371826
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.910125255584717
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909219264984131
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908783912658691
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908259868621826
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9080657958984375
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907614231109619
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9076828956604
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907284736633301
-                }
-            ]
-        },
-        {
-            "layer.13.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.000394821166992
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.939315319061279
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9190673828125
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913375377655029
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910648345947266
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909316062927246
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908795356750488
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908520221710205
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908064842224121
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907612323760986
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907780170440674
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907383918762207
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907461643218994
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907399654388428
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907137393951416
-                }
-            ]
-        },
-        {
-            "layer.13.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.006436347961426
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.936176776885986
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.919865608215332
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912413597106934
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909541606903076
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90923547744751
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908367156982422
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907931804656982
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907865524291992
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9074225425720215
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907500743865967
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907312870025635
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906979084014893
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907019138336182
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907299995422363
-                }
-            ]
-        },
-        {
-            "layer.13.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.019692897796631
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.941712856292725
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.920233249664307
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913673400878906
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910421371459961
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909174919128418
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909023761749268
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908024787902832
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908102989196777
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907656669616699
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907512187957764
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907342910766602
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9071044921875
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907245635986328
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906693935394287
-                }
-            ]
-        },
-        {
-            "layer.14.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.993968486785889
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.926333427429199
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.912565231323242
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9103193283081055
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9090094566345215
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908230304718018
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907578468322754
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907318115234375
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907529830932617
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907277584075928
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907230854034424
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907257080078125
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9072442054748535
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907100677490234
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906946182250977
-                }
-            ]
-        },
-        {
-            "layer.14.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.993002414703369
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.94692325592041
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.925703048706055
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.921879291534424
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.916995048522949
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.914490699768066
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.912483215332031
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.911320686340332
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90995979309082
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.909328460693359
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908514022827148
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.90812873840332
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907567501068115
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907407760620117
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9071550369262695
-                }
-            ]
-        },
-        {
-            "layer.14.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.974170207977295
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.926226615905762
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.915766716003418
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.911798477172852
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9101481437683105
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9090704917907715
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908851623535156
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908097743988037
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908090114593506
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907751560211182
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907677173614502
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907473087310791
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907483100891113
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90740442276001
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9071455001831055
-                }
-            ]
-        },
-        {
-            "layer.14.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.018784523010254
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.948335647583008
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.924655437469482
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915652275085449
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911731719970703
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.91081428527832
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909835338592529
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.90924596786499
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908573627471924
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908348560333252
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907861232757568
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907556056976318
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907290458679199
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90708589553833
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906991004943848
-                }
-            ]
-        },
-        {
-            "layer.14.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.013440132141113
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.937041759490967
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.920026779174805
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913033485412598
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910246849060059
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908968448638916
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908871173858643
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908140659332275
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907892227172852
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907677173614502
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907725811004639
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907436847686768
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907339572906494
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907253265380859
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907193183898926
-                }
-            ]
-        },
-        {
-            "layer.14.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.026480197906494
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.94376277923584
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.919627666473389
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913144111633301
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910528659820557
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909180641174316
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.90848445892334
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908294677734375
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907740592956543
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907873153686523
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907355308532715
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907398700714111
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90747594833374
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906964302062988
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907109260559082
-                }
-            ]
-        },
-        {
-            "layer.14.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.035057067871094
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.951529026031494
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.924476146697998
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914943218231201
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912930965423584
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910227298736572
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908859729766846
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908245086669922
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908594608306885
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907872676849365
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907722473144531
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907454490661621
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907426834106445
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906989097595215
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907120704650879
-                }
-            ]
-        },
-        {
-            "layer.15.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.952977657318115
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.917017459869385
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.911571502685547
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908918380737305
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908101558685303
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907682418823242
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907723426818848
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907616138458252
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9072442054748535
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907238960266113
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907120704650879
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907245635986328
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90703010559082
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907193660736084
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907151222229004
-                }
-            ]
-        },
-        {
-            "layer.15.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.955711841583252
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.923399448394775
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.917269706726074
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912118911743164
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910264015197754
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909984588623047
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909085273742676
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9085612297058105
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90812873840332
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90777587890625
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9075093269348145
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907468318939209
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907214164733887
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907286643981934
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90708589553833
-                }
-            ]
-        },
-        {
-            "layer.15.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.968155860900879
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.925310134887695
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.914463043212891
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912537574768066
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910101890563965
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90894889831543
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908276081085205
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908271789550781
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908071517944336
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907999038696289
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9076457023620605
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907632827758789
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907496452331543
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90725564956665
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907175064086914
-                }
-            ]
-        },
-        {
-            "layer.15.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.000899314880371
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.938839435577393
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.917362213134766
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912939548492432
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911706924438477
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909344673156738
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908027172088623
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9082465171813965
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907711982727051
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907670497894287
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907453536987305
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9075093269348145
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90725564956665
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907160758972168
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907209873199463
-                }
-            ]
-        },
-        {
-            "layer.15.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.026077747344971
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.943546772003174
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.922010898590088
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913605690002441
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910897731781006
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909609794616699
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909238338470459
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907989978790283
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907932281494141
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90767765045166
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907883167266846
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907336711883545
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9076104164123535
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907314300537109
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907346725463867
-                }
-            ]
-        },
-        {
-            "layer.15.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.032474994659424
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.946815490722656
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.923553466796875
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913417816162109
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910263538360596
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909818172454834
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9088053703308105
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908556938171387
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908139228820801
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90777063369751
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907642364501953
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907571792602539
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907321453094482
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907421112060547
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907158374786377
-                }
-            ]
-        },
-        {
-            "layer.15.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.0651631355285645
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.958115100860596
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.928354740142822
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915690898895264
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.913299083709717
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9111528396606445
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910707473754883
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9093852043151855
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908812046051025
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908570766448975
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908497333526611
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907573223114014
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.908252716064453
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907451629638672
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90777063369751
-                }
-            ]
-        },
-        {
-            "layer.16.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.952966213226318
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.91652250289917
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909141540527344
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.907939434051514
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908017635345459
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907650947570801
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907534599304199
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907442569732666
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907402038574219
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907257080078125
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907444477081299
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.90725564956665
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907214164733887
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9071831703186035
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90715217590332
-                }
-            ]
-        },
-        {
-            "layer.16.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.94820499420166
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9172821044921875
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.910026550292969
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909322261810303
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908195972442627
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908009052276611
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907576560974121
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907293796539307
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907181262969971
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9073615074157715
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9072065353393555
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907234191894531
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907279014587402
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907067775726318
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907145977020264
-                }
-            ]
-        },
-        {
-            "layer.16.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.972620964050293
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.926289081573486
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.914215087890625
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912391662597656
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910468101501465
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9104695320129395
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909939765930176
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909550189971924
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909345626831055
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908856391906738
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908802509307861
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908152103424072
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.908367156982422
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9079437255859375
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907642364501953
-                }
-            ]
-        },
-        {
-            "layer.16.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.981510162353516
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.929528713226318
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9183855056762695
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.911612510681152
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910070419311523
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90915584564209
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908605575561523
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908706188201904
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908201217651367
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907927989959717
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907352924346924
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907222747802734
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9071807861328125
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907318592071533
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9068603515625
-                }
-            ]
-        },
-        {
-            "layer.16.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.057985305786133
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9555745124816895
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9268999099731445
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.918006420135498
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.913938045501709
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.912098407745361
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9108452796936035
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.910114288330078
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909492492675781
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908942699432373
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908340930938721
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908000946044922
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9078874588012695
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907540321350098
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907618045806885
-                }
-            ]
-        },
-        {
-            "layer.16.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.05007266998291
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.948495864868164
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.921380043029785
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.91494083404541
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909694194793701
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90952205657959
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9081549644470215
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907945156097412
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907716751098633
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9073967933654785
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906983852386475
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907180309295654
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906682014465332
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907077789306641
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906576156616211
-                }
-            ]
-        },
-        {
-            "layer.16.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.0843658447265625
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.966854095458984
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.932039260864258
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9197678565979
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.915894031524658
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.91198205947876
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.911538600921631
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909243106842041
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909593105316162
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908633232116699
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908856391906738
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908019542694092
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9077324867248535
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907442569732666
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907418727874756
-                }
-            ]
-        },
-        {
-            "layer.17.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.95090913772583
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.916799068450928
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.910394191741943
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908296585083008
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907414436340332
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.906881809234619
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907079696655273
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907092571258545
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907114028930664
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.906985282897949
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906942844390869
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907222747802734
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906985282897949
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9070634841918945
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90696907043457
-                }
-            ]
-        },
-        {
-            "layer.17.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.943302154541016
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.91501522064209
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.910938739776611
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908899307250977
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908499717712402
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908502578735352
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908330917358398
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908308982849121
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9081549644470215
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90807580947876
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907978057861328
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907586574554443
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907374382019043
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907204627990723
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907237529754639
-                }
-            ]
-        },
-        {
-            "layer.17.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.964376449584961
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.930154323577881
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.918712615966797
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.913811206817627
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911828517913818
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.91056489944458
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9099836349487305
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909371852874756
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9092864990234375
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9087300300598145
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908439636230469
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907975196838379
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.908010005950928
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907688140869141
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907522678375244
-                }
-            ]
-        },
-        {
-            "layer.17.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.976729393005371
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.928918838500977
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.917222499847412
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912372589111328
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910774230957031
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909280776977539
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908742904663086
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908326625823975
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908267021179199
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907984256744385
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907675266265869
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9077324867248535
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907569408416748
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907459735870361
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907022476196289
-                }
-            ]
-        },
-        {
-            "layer.17.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.050207614898682
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.948244094848633
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.924304485321045
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.916257858276367
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912550449371338
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9109930992126465
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909984588623047
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9095563888549805
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908941745758057
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908304691314697
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908306121826172
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907865047454834
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907939434051514
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907484531402588
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907214164733887
-                }
-            ]
-        },
-        {
-            "layer.17.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.057972431182861
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.952666759490967
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.924962520599365
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9151105880737305
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911395072937012
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909782409667969
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9100823402404785
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908699989318848
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9088897705078125
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908219814300537
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90809965133667
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907383441925049
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907731533050537
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907130241394043
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907315731048584
-                }
-            ]
-        },
-        {
-            "layer.17.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.111059188842773
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.973154544830322
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.934875011444092
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.921761512756348
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.916841983795166
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.913702964782715
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.912163734436035
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9109110832214355
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.910109043121338
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.909173011779785
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908487796783447
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908279895782471
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907639503479004
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907913684844971
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906975746154785
-                }
-            ]
-        },
-        {
-            "layer.18.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.960502624511719
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.918755054473877
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9106526374816895
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909064769744873
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908108711242676
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90785551071167
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907665729522705
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907488822937012
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907424449920654
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907276153564453
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907374382019043
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907230854034424
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907161712646484
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907158374786377
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906978130340576
-                }
-            ]
-        },
-        {
-            "layer.18.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.939817428588867
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.91408109664917
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.910537242889404
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908656120300293
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907835483551025
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9076642990112305
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907543659210205
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907166957855225
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9073872566223145
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907242298126221
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9072675704956055
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907122611999512
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907229423522949
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9071431159973145
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907154560089111
-                }
-            ]
-        },
-        {
-            "layer.18.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.952226161956787
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.920492649078369
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.913150310516357
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909955978393555
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909200668334961
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908476829528809
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908088684082031
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.90796422958374
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907588005065918
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907454490661621
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907424449920654
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907163619995117
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906949520111084
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907193660736084
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906931400299072
-                }
-            ]
-        },
-        {
-            "layer.18.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.959722518920898
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.924865245819092
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.915128707885742
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.91188383102417
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910674095153809
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9091267585754395
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909008026123047
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9081645011901855
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908340930938721
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907896518707275
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907928943634033
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907702922821045
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907496452331543
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907393932342529
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907435894012451
-                }
-            ]
-        },
-        {
-            "layer.18.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.054673671722412
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.950739860534668
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.925943851470947
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.916950702667236
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912942886352539
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.91079044342041
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910181045532227
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9091596603393555
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908774375915527
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9084601402282715
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907835483551025
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907548904418945
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907604694366455
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907331466674805
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907197952270508
-                }
-            ]
-        },
-        {
-            "layer.18.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.057826042175293
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.952958583831787
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.925288677215576
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914985179901123
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912632942199707
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910624980926514
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909472465515137
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908675670623779
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908473014831543
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908102989196777
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907934188842773
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907569885253906
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907342910766602
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907306671142578
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907047271728516
-                }
-            ]
-        },
-        {
-            "layer.18.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.083240509033203
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.964761734008789
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.933438777923584
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.921369552612305
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.91547155380249
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.912583827972412
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.91084623336792
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9105448722839355
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909445285797119
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9089555740356445
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908475399017334
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908079624176025
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907798767089844
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907500267028809
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907379150390625
-                }
-            ]
-        },
-        {
-            "layer.19.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.932953357696533
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.913538932800293
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909063339233398
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908214569091797
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.90773868560791
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9076385498046875
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907407283782959
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907199382781982
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9071879386901855
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907161712646484
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907011032104492
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907232761383057
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907055854797363
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907288074493408
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907092571258545
-                }
-            ]
-        },
-        {
-            "layer.19.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.937614917755127
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.920400619506836
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9152350425720215
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.91393518447876
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.913095474243164
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.912875175476074
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.912036418914795
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.911675453186035
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.911314487457275
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.910661220550537
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.910243511199951
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9091973304748535
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9085164070129395
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90774393081665
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907398700714111
-                }
-            ]
-        },
-        {
-            "layer.19.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.933762550354004
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.916628837585449
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.911888122558594
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.910793781280518
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9099297523498535
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9088921546936035
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908672332763672
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908222675323486
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90809965133667
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907878398895264
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907558441162109
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907766342163086
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9074387550354
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907390594482422
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907115459442139
-                }
-            ]
-        },
-        {
-            "layer.19.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.94011116027832
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9159770011901855
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.910317420959473
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908620834350586
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.90801477432251
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907973289489746
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.90781307220459
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9073662757873535
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907511234283447
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907375812530518
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907323360443115
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907271862030029
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907120704650879
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907104015350342
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907100200653076
-                }
-            ]
-        },
-        {
-            "layer.19.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.0516533851623535
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.954370498657227
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.926494121551514
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9184370040893555
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.913527965545654
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911411285400391
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910397052764893
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909698009490967
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909433364868164
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908660888671875
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908495903015137
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908181667327881
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907718181610107
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907560348510742
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907522678375244
-                }
-            ]
-        },
-        {
-            "layer.19.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.055551528930664
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.950240612030029
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.924323558807373
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9151434898376465
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911622524261475
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910067558288574
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909008979797363
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908493518829346
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908018112182617
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908125877380371
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907841205596924
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907714366912842
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9072585105896
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907454490661621
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907189846038818
-                }
-            ]
-        },
-        {
-            "layer.19.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.093417644500732
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.965074062347412
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.931361198425293
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.917965412139893
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.913150310516357
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911891460418701
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910222053527832
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909553050994873
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908839225769043
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908257484436035
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907874584197998
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907891273498535
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907500743865967
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907258987426758
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906858921051025
-                }
-            ]
-        },
-        {
-            "layer.20.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.930357933044434
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.913707733154297
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909332752227783
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908064365386963
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907285213470459
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907364845275879
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907336711883545
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907273292541504
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907041549682617
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907175540924072
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9071173667907715
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9070892333984375
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906912803649902
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907004356384277
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907069206237793
-                }
-            ]
-        },
-        {
-            "layer.20.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.932499885559082
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.911152362823486
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.908248424530029
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.907431602478027
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907347679138184
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9070725440979
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907134056091309
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907005310058594
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9071550369262695
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9072442054748535
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907187461853027
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907063007354736
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907000541687012
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907270431518555
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907004356384277
-                }
-            ]
-        },
-        {
-            "layer.20.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.921886444091797
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.912119388580322
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.908558368682861
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908336162567139
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.90784215927124
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907813549041748
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907591819763184
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907212257385254
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907280445098877
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907015800476074
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907303810119629
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907291889190674
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907295227050781
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9070634841918945
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907054424285889
-                }
-            ]
-        },
-        {
-            "layer.20.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.9270477294921875
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.91269063949585
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.908030986785889
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908047676086426
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907193183898926
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907140254974365
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907159328460693
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907262325286865
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907295227050781
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9072160720825195
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907026767730713
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907265663146973
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907010078430176
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9071197509765625
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9071550369262695
-                }
-            ]
-        },
-        {
-            "layer.20.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.049570560455322
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.948861598968506
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.921802043914795
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9147844314575195
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9117817878723145
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.91018533706665
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.90934419631958
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909253120422363
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908566474914551
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908426761627197
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9075541496276855
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9077630043029785
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90737247467041
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907271862030029
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907167911529541
-                }
-            ]
-        },
-        {
-            "layer.20.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.046164512634277
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.948585510253906
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.922710418701172
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.912786483764648
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911365032196045
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909748554229736
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907942771911621
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908111095428467
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907649993896484
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907790184020996
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907612323760986
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907419204711914
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907332897186279
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907399654388428
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906951427459717
-                }
-            ]
-        },
-        {
-            "layer.20.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.077714920043945
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.957942962646484
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.929318428039551
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.919206142425537
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.913806915283203
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911496639251709
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910892486572266
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9099602699279785
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909247875213623
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908306121826172
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9083251953125
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907859802246094
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907552242279053
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907608509063721
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906836986541748
-                }
-            ]
-        },
-        {
-            "layer.21.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.939321517944336
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.914133548736572
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.90976619720459
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908367156982422
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907866954803467
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90744161605835
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.90731143951416
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907212257385254
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907325744628906
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907369136810303
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907000541687012
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9071044921875
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907193183898926
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90709924697876
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907116889953613
-                }
-            ]
-        },
-        {
-            "layer.21.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.92751407623291
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.913321495056152
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909212112426758
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908357620239258
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.90777587890625
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9071550369262695
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907196044921875
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.90714168548584
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907280445098877
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907098293304443
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907037734985352
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906955242156982
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907148838043213
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907125473022461
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9071831703186035
-                }
-            ]
-        },
-        {
-            "layer.21.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.934073448181152
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9154815673828125
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909948825836182
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908862590789795
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907792568206787
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90778112411499
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907334804534912
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907134056091309
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907103061676025
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907094955444336
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907097339630127
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907138347625732
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906993865966797
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90706205368042
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907044887542725
-                }
-            ]
-        },
-        {
-            "layer.21.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.939395427703857
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.91824197769165
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.912394046783447
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9097113609313965
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.90883207321167
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907981872558594
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9080305099487305
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907632827758789
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907738208770752
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907333850860596
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907383918762207
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907245635986328
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907290458679199
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907140254974365
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907258987426758
-                }
-            ]
-        },
-        {
-            "layer.21.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.05898904800415
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.953630447387695
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.925538539886475
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.917053699493408
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912772178649902
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910886287689209
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909952640533447
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909306526184082
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908566474914551
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908514022827148
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907695293426514
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907586574554443
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907474517822266
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907224178314209
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907047271728516
-                }
-            ]
-        },
-        {
-            "layer.21.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.056881427764893
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.950476169586182
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.923274993896484
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.91597318649292
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.913018226623535
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911218166351318
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909869194030762
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908945560455322
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908756256103516
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908063888549805
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907957077026367
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907402038574219
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907773494720459
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9074015617370605
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90740442276001
-                }
-            ]
-        },
-        {
-            "layer.21.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.089489459991455
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.968841075897217
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.932963848114014
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.918282985687256
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.913527488708496
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911417484283447
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9106340408325195
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9090495109558105
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9091715812683105
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908635139465332
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908250331878662
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907937526702881
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9077019691467285
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9073591232299805
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907008647918701
-                }
-            ]
-        },
-        {
-            "layer.22.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.937241077423096
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.915877342224121
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909003734588623
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908282279968262
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.90808629989624
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907731533050537
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907684803009033
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907605171203613
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907455921173096
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907430171966553
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907137393951416
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907262802124023
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907046318054199
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907282829284668
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907100200653076
-                }
-            ]
-        },
-        {
-            "layer.22.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.922306060791016
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.910336017608643
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.90906286239624
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908026695251465
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907197952270508
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907066345214844
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.906918048858643
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907161712646484
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9071502685546875
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.906937122344971
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907059192657471
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906976222991943
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907163619995117
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906903266906738
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90709924697876
-                }
-            ]
-        },
-        {
-            "layer.22.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.928454399108887
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.914661407470703
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9112701416015625
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909182071685791
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908669471740723
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907940864562988
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907738208770752
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907688617706299
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90744161605835
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90744686126709
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9073381423950195
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9071550369262695
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90714168548584
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907067775726318
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906959056854248
-                }
-            ]
-        },
-        {
-            "layer.22.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.933450222015381
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9160380363464355
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.911282539367676
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909422874450684
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908675670623779
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908100605010986
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908190727233887
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908084392547607
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907648086547852
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90748929977417
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907342910766602
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9074859619140625
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907210350036621
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907277584075928
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907063007354736
-                }
-            ]
-        },
-        {
-            "layer.22.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.056826591491699
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.954971790313721
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.924765110015869
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.916177272796631
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912527561187744
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910472393035889
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909446716308594
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908556938171387
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908268451690674
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908120155334473
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907366752624512
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9075093269348145
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907071113586426
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907336711883545
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907074451446533
-                }
-            ]
-        },
-        {
-            "layer.22.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.039992809295654
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.944224834442139
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.921268939971924
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9125285148620605
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909161567687988
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909409046173096
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908477306365967
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907559871673584
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907769680023193
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907647609710693
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907595157623291
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907262325286865
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907357692718506
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9071197509765625
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907180309295654
-                }
-            ]
-        },
-        {
-            "layer.22.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.069446563720703
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.963918685913086
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9326605796813965
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.91847038269043
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.915015697479248
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911763668060303
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910990238189697
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909673690795898
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909329891204834
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908679962158203
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908452987670898
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9077558517456055
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90767765045166
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907383441925049
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907337188720703
-                }
-            ]
-        },
-        {
-            "layer.23.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.933138370513916
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.912789344787598
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.908950328826904
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.907381534576416
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907246112823486
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907337188720703
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907210350036621
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907281875610352
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.906989097595215
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907120704650879
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907262325286865
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907047271728516
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907135963439941
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9069905281066895
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907011032104492
-                }
-            ]
-        },
-        {
-            "layer.23.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.920588970184326
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.909984588623047
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.907850742340088
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.906981468200684
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.906947612762451
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.906843185424805
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907242298126221
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9072418212890625
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907184600830078
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907013416290283
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907143592834473
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907212734222412
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907153129577637
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907085418701172
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907050132751465
-                }
-            ]
-        },
-        {
-            "layer.23.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.924921989440918
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.912412166595459
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909291744232178
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9081926345825195
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907798767089844
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907526969909668
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907268524169922
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907402038574219
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907214164733887
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907230854034424
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907037734985352
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907137393951416
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906955242156982
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90714168548584
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9071807861328125
-                }
-            ]
-        },
-        {
-            "layer.23.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.929304599761963
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.914205551147461
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.91121244430542
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909527778625488
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908255577087402
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907460689544678
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9076361656188965
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907505035400391
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9073381423950195
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907425880432129
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907323360443115
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907249927520752
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907061576843262
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907107353210449
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907048225402832
-                }
-            ]
-        },
-        {
-            "layer.23.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.046758651733398
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.950512409210205
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9256415367126465
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.91680383682251
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912652969360352
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911559104919434
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910165309906006
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909047603607178
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908633708953857
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908436298370361
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907914161682129
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907858371734619
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907443046569824
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907364368438721
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907052040100098
-                }
-            ]
-        },
-        {
-            "layer.23.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.047696590423584
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.951465129852295
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.927139759063721
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.917463302612305
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912722110748291
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911163806915283
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910528659820557
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909601211547852
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909106731414795
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908154010772705
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908306121826172
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907843112945557
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9076972007751465
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907354354858398
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907193183898926
-                }
-            ]
-        },
-        {
-            "layer.23.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.068139553070068
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.957744598388672
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.92781400680542
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.916078567504883
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.913599967956543
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911377429962158
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909928321838379
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909387588500977
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908856391906738
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908930778503418
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90814208984375
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907887935638428
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90785026550293
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907524108886719
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907444477081299
-                }
-            ]
-        },
-        {
-            "layer.24.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.917222499847412
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9058990478515625
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9058427810668945
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.905313968658447
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.905481338500977
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.906135082244873
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.906318664550781
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.906228065490723
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9065656661987305
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9066314697265625
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906769752502441
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906875133514404
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9068922996521
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907085418701172
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9070868492126465
-                }
-            ]
-        },
-        {
-            "layer.24.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.9124274253845215
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.907443046569824
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.906858921051025
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.906068801879883
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.906959056854248
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90687370300293
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9070281982421875
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.906822204589844
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.906883239746094
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.906933307647705
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907135486602783
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907087802886963
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907031536102295
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9069952964782715
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907128810882568
-                }
-            ]
-        },
-        {
-            "layer.24.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.909801959991455
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.908019542694092
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.907312870025635
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.90708589553833
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9072160720825195
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907121181488037
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907238960266113
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907114028930664
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90720272064209
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907193183898926
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906987190246582
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906965255737305
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907354354858398
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907001495361328
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907122611999512
-                }
-            ]
-        },
-        {
-            "layer.24.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.913161277770996
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.909133434295654
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.906736850738525
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9071831703186035
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.906909465789795
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.906932830810547
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907232761383057
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.906795501708984
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907065391540527
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9070024490356445
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90681791305542
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907076835632324
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907047271728516
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906972885131836
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907110214233398
-                }
-            ]
-        },
-        {
-            "layer.24.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.038510799407959
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.948526382446289
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.92305850982666
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9156694412231445
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.91173791885376
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910175800323486
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.90981912612915
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908560276031494
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908641338348389
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9080586433410645
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907580375671387
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907717704772949
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907418727874756
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907336711883545
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90702486038208
-                }
-            ]
-        },
-        {
-            "layer.24.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.046243667602539
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.949731349945068
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.927574157714844
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.918219566345215
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912844181060791
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911386966705322
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.91014289855957
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909246921539307
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909124851226807
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90854024887085
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90806245803833
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907805442810059
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90759801864624
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907589435577393
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907323837280273
-                }
-            ]
-        },
-        {
-            "layer.24.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.052663803100586
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.952380180358887
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.924846649169922
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.916393756866455
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911806583404541
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9105682373046875
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909550189971924
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908705711364746
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908774375915527
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90836238861084
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908244609832764
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907492637634277
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907690525054932
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907310962677002
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907546520233154
-                }
-            ]
-        },
-        {
-            "layer.25.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.929329872131348
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.910577774047852
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9086503982543945
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.907303333282471
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.90733528137207
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.906866550445557
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9069905281066895
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907039165496826
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90701150894165
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907054424285889
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907102584838867
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9071173667907715
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907011032104492
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906918048858643
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907110214233398
-                }
-            ]
-        },
-        {
-            "layer.25.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.932445049285889
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.915203094482422
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.910821437835693
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908575057983398
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907896995544434
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907077789306641
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9075140953063965
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.90733528137207
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907390594482422
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907109260559082
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907153129577637
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907264232635498
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907176494598389
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906937122344971
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9071526527404785
-                }
-            ]
-        },
-        {
-            "layer.25.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.924654960632324
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.913636684417725
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9091620445251465
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.907098293304443
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907933712005615
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907197952270508
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907074928283691
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907262802124023
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907181262969971
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90708589553833
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907132148742676
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907173156738281
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907242298126221
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907094478607178
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907153129577637
-                }
-            ]
-        },
-        {
-            "layer.25.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.928104877471924
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9142165184021
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.910525321960449
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909356594085693
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.90875244140625
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908120155334473
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907591819763184
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907827377319336
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907589435577393
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907390594482422
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907230854034424
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907290458679199
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90715217590332
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907134532928467
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907122611999512
-                }
-            ]
-        },
-        {
-            "layer.25.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.038175582885742
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.945939540863037
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.924032211303711
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915865421295166
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912660598754883
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.91068172454834
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909761428833008
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909515380859375
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908962249755859
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908435821533203
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907845973968506
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907874584197998
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907492637634277
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907468318939209
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906919956207275
-                }
-            ]
-        },
-        {
-            "layer.25.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.030877113342285
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.945224285125732
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.923782825469971
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9163923263549805
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912700653076172
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910221099853516
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909631252288818
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908779144287109
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9087677001953125
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908326148986816
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908125400543213
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907693862915039
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907688617706299
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907214164733887
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907283306121826
-                }
-            ]
-        },
-        {
-            "layer.25.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.035676002502441
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.948622226715088
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.924526214599609
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915775299072266
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912109851837158
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910489082336426
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909357070922852
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908621788024902
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908320903778076
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908573627471924
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9075751304626465
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907766342163086
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9072065353393555
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9072442054748535
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907095432281494
-                }
-            ]
-        },
-        {
-            "layer.26.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.940285682678223
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.914034843444824
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909297943115234
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9081597328186035
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907354354858398
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907430171966553
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907204627990723
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907288551330566
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90708065032959
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907233238220215
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907110214233398
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907057762145996
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906998157501221
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906949520111084
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907097339630127
-                }
-            ]
-        },
-        {
-            "layer.26.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.929540157318115
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9114789962768555
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9097065925598145
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908249855041504
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907383918762207
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907671928405762
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9075541496276855
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907604694366455
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907375812530518
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907427787780762
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907441139221191
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9072980880737305
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907329559326172
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907252788543701
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907171726226807
-                }
-            ]
-        },
-        {
-            "layer.26.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.9247965812683105
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.912186145782471
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.908988952636719
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9078874588012695
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907228469848633
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907328128814697
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.906693458557129
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907052993774414
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90680456161499
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9071044921875
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906789779663086
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906944274902344
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90687894821167
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9071269035339355
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906906604766846
-                }
-            ]
-        },
-        {
-            "layer.26.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.934667587280273
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.914782524108887
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.911897659301758
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909586429595947
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908661842346191
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908440589904785
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907845973968506
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907893180847168
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90778923034668
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9075212478637695
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90739107131958
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9073381423950195
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907193183898926
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907201290130615
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9069294929504395
-                }
-            ]
-        },
-        {
-            "layer.26.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.038879871368408
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.949726104736328
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.926266193389893
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.916315078735352
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912520885467529
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911322593688965
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9101033210754395
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909506320953369
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909012794494629
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908644199371338
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908330917358398
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.908042907714844
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907797813415527
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907442569732666
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907496452331543
-                }
-            ]
-        },
-        {
-            "layer.26.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.024093151092529
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9449005126953125
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.922309875488281
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914787292480469
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9115400314331055
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909714698791504
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909471035003662
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908308982849121
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908151626586914
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9076361656188965
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9078049659729
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907306671142578
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907664775848389
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907137393951416
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90706729888916
-                }
-            ]
-        },
-        {
-            "layer.26.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.034774303436279
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9444260597229
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9241461753845215
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915075778961182
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.910811901092529
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910140037536621
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909265995025635
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909041881561279
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908641338348389
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907904624938965
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907900333404541
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907496452331543
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907578945159912
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907355308532715
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9071502685546875
-                }
-            ]
-        },
-        {
-            "layer.27.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.9474005699157715
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.916080474853516
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9098944664001465
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.907581806182861
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907130241394043
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907243251800537
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907334804534912
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907060146331787
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.906786918640137
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.906916618347168
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906977653503418
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9068403244018555
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906948566436768
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907005310058594
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907145977020264
-                }
-            ]
-        },
-        {
-            "layer.27.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.946597576141357
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.915050983428955
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.910464286804199
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908629417419434
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907670497894287
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908029556274414
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907538890838623
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907469272613525
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907268047332764
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.90740966796875
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90743350982666
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907214164733887
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907175540924072
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907223701477051
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90708065032959
-                }
-            ]
-        },
-        {
-            "layer.27.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.931404113769531
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.913908958435059
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9109578132629395
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908852577209473
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908542633056641
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90761137008667
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907487869262695
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9074482917785645
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907373428344727
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907175064086914
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907069206237793
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906946182250977
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907079696655273
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9070563316345215
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906824111938477
-                }
-            ]
-        },
-        {
-            "layer.27.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.943591594696045
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9202961921691895
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.913924217224121
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9109039306640625
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9087300300598145
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908567905426025
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908038139343262
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907981872558594
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907532215118408
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907560348510742
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907201290130615
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907505989074707
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907257080078125
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90720272064209
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906947612762451
-                }
-            ]
-        },
-        {
-            "layer.27.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.044796466827393
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.951893329620361
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.92292594909668
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.91531229019165
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9122467041015625
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910373210906982
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909595966339111
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908488750457764
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908430099487305
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9078497886657715
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907754898071289
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907526016235352
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907165050506592
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907234191894531
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906952381134033
-                }
-            ]
-        },
-        {
-            "layer.27.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.058875560760498
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.950908660888672
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9242262840271
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9147210121154785
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912652969360352
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910441875457764
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909631252288818
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908994674682617
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908812046051025
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9083709716796875
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907871246337891
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9078450202941895
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90748929977417
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907448768615723
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907181262969971
-                }
-            ]
-        },
-        {
-            "layer.27.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.028936386108398
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.945138931274414
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.922292709350586
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914155960083008
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912214279174805
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909593105316162
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9089250564575195
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908556938171387
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9078803062438965
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907998561859131
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90755033493042
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907601356506348
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907343864440918
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907224178314209
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907422065734863
-                }
-            ]
-        },
-        {
-            "layer.28.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.934839725494385
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.912323951721191
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909435272216797
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9079155921936035
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9073309898376465
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907297611236572
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907392501831055
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907200813293457
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907259941101074
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907044887542725
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907158374786377
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906923770904541
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906989097595215
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907022953033447
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907128810882568
-                }
-            ]
-        },
-        {
-            "layer.28.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.930853843688965
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.913384914398193
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909946918487549
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908731460571289
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908527374267578
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908112049102783
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908106803894043
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907710075378418
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907642364501953
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907711982727051
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907530784606934
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907450199127197
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907329082489014
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907392501831055
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907160758972168
-                }
-            ]
-        },
-        {
-            "layer.28.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.927802562713623
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.913031578063965
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909641742706299
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9080657958984375
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907975196838379
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907688617706299
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9073591232299805
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9073381423950195
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907280921936035
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907230854034424
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907112121582031
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907163619995117
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906899929046631
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907123565673828
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906909465789795
-                }
-            ]
-        },
-        {
-            "layer.28.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.931463718414307
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.916525363922119
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909796714782715
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908626079559326
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908283233642578
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908018112182617
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907899856567383
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.90761137008667
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907511234283447
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907160758972168
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907268524169922
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907005310058594
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.90706729888916
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907238960266113
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907001972198486
-                }
-            ]
-        },
-        {
-            "layer.28.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.060307025909424
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.955368518829346
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.92480993270874
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.917084217071533
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.914159297943115
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911604881286621
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910606861114502
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909528732299805
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.909345626831055
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908616065979004
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908434867858887
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9078803062438965
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907556056976318
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907393932342529
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907164096832275
-                }
-            ]
-        },
-        {
-            "layer.28.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.023012638092041
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.942111015319824
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.920825481414795
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.911758899688721
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.909757614135742
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908088207244873
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908261299133301
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907774448394775
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908166408538818
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907400608062744
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907807350158691
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907203674316406
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907357692718506
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90746545791626
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90714168548584
-                }
-            ]
-        },
-        {
-            "layer.28.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.019020080566406
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.943629264831543
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.92184591293335
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.914566516876221
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911359786987305
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.90968656539917
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909297466278076
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908447742462158
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908194541931152
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908006191253662
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907616138458252
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9076642990112305
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907007694244385
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907288074493408
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906989574432373
-                }
-            ]
-        },
-        {
-            "layer.29.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.9747819900512695
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.917455196380615
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.910060882568359
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908592700958252
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907586574554443
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907323360443115
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907392501831055
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907634258270264
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907265663146973
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907351493835449
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90743350982666
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907187461853027
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907163619995117
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906940937042236
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907077789306641
-                }
-            ]
-        },
-        {
-            "layer.29.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.939979076385498
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.915400981903076
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9115400314331055
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908222198486328
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907805442810059
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907395839691162
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907463073730469
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907461643218994
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.906922817230225
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.906975746154785
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906781196594238
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906998157501221
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906980514526367
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907122611999512
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907114028930664
-                }
-            ]
-        },
-        {
-            "layer.29.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.94117546081543
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9170942306518555
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.911249160766602
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908544540405273
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.90814733505249
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907711982727051
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907792091369629
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907499313354492
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907463073730469
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907153129577637
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907362937927246
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907012939453125
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907227039337158
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907149314880371
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90714693069458
-                }
-            ]
-        },
-        {
-            "layer.29.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.952365398406982
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.919198989868164
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.912762641906738
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.910340785980225
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908229827880859
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908190727233887
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9078240394592285
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907797813415527
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9072346687316895
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907474040985107
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9073381423950195
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907297611236572
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907303333282471
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906973838806152
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907198905944824
-                }
-            ]
-        },
-        {
-            "layer.29.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.065993785858154
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.9539103507995605
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.926266193389893
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915529251098633
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912110805511475
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.911247730255127
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.9097676277160645
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909141540527344
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908571720123291
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908372402191162
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908038139343262
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907919406890869
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907358646392822
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907569885253906
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907161712646484
-                }
-            ]
-        },
-        {
-            "layer.29.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.046431541442871
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.949927806854248
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.925477504730225
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.930258274078369
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.911519527435303
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.909984588623047
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908881187438965
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908586502075195
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9081902503967285
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9083075523376465
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90808629989624
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907593250274658
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9074859619140625
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907375812530518
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9072136878967285
-                }
-            ]
-        },
-        {
-            "layer.29.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.0393242835998535
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.945905685424805
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.922667503356934
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915036201477051
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912715435028076
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.91091775894165
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910280704498291
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909024238586426
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.90877103805542
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9081034660339355
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.908156871795654
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907827377319336
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9076642990112305
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9074578285217285
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907369136810303
-                }
-            ]
-        },
-        {
-            "layer.30.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.926141738891602
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.913669109344482
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909153938293457
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.907398700714111
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.90718412399292
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907217979431152
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907120704650879
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907282829284668
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.906795978546143
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907105922698975
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907039165496826
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.9072065353393555
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906926155090332
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906991004943848
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90695333480835
-                }
-            ]
-        },
-        {
-            "layer.30.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.9311299324035645
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.913502216339111
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.910942077636719
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909637928009033
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.908851623535156
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.908298969268799
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908202171325684
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908036708831787
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907744407653809
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907524108886719
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907412052154541
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907407760620117
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907259941101074
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9072160720825195
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907138347625732
-                }
-            ]
-        },
-        {
-            "layer.30.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.9366960525512695
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.914239883422852
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909647464752197
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.907866954803467
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907496452331543
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907466411590576
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.906914710998535
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907064914703369
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9066596031188965
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.906810760498047
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906639099121094
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906710624694824
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906951427459717
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906842231750488
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906815052032471
-                }
-            ]
-        },
-        {
-            "layer.30.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.9369354248046875
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.916863441467285
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.910765647888184
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909008979797363
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907909393310547
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907323837280273
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.907247543334961
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907655715942383
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907007217407227
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907312393188477
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90722131729126
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907114028930664
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906959056854248
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907153129577637
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907067775726318
-                }
-            ]
-        },
-        {
-            "layer.30.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.163942337036133
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.970335006713867
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.927790641784668
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.9160566329956055
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9124555587768555
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910745143890381
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.909553050994873
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908487796783447
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908108711242676
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.9077606201171875
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90742826461792
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907430171966553
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907064914703369
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907156944274902
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.9071736335754395
-                }
-            ]
-        },
-        {
-            "layer.30.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.1519246101379395
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.979912281036377
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.937510967254639
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.921688556671143
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.915266513824463
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.912492752075195
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.910431385040283
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.909204959869385
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908209323883057
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.908348560333252
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907846927642822
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907430171966553
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907674789428711
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907250881195068
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90692138671875
-                }
-            ]
-        },
-        {
-            "layer.30.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.124197959899902
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.965266704559326
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.9272356033325195
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.915039539337158
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.912327766418457
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.910129547119141
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.908884048461914
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.908803939819336
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.908019542694092
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907989978790283
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.907827854156494
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.907416820526123
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907526016235352
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907217025756836
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.90717077255249
-                }
-            ]
-        },
-        {
-            "layer.31.self_attn.q_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.951844692230225
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.915441989898682
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909141540527344
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.907656669616699
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9070210456848145
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907138347625732
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.906916618347168
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9069952964782715
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.906948566436768
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.906836986541748
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.90703010559082
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906963348388672
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906978130340576
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907042503356934
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906933307647705
-                }
-            ]
-        },
-        {
-            "layer.31.self_attn.k_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 6.95280122756958
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.915663719177246
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.909312725067139
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.908035755157471
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907050132751465
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.906479835510254
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.906866550445557
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.906753063201904
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.907015800476074
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907036781311035
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.906981468200684
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.90708065032959
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907045364379883
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.90696907043457
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906951427459717
-                }
-            ]
-        },
-        {
-            "layer.31.self_attn.v_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.074445724487305
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.938771724700928
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.915655612945557
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909824371337891
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.907735347747803
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.907369136810303
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.90654182434082
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.906848907470703
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.906642436981201
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.906888484954834
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9066009521484375
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906851768493652
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.906708240509033
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.907187461853027
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906877040863037
-                }
-            ]
-        },
-        {
-            "layer.31.self_attn.o_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.023704528808594
-                },
-                {
-                    "bit": 2,
-                    "ppl": 6.936225414276123
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.916187286376953
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.909587383270264
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.9099249839782715
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9080939292907715
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.90767765045166
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.907303333282471
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.9071455001831055
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.907022953033447
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.9073166847229
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.906933307647705
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.907047271728516
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.906911373138428
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907000541687012
-                }
-            ]
-        },
-        {
-            "layer.31.mlp.gate_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.880674839019775
-                },
-                {
-                    "bit": 2,
-                    "ppl": 7.162163257598877
-                },
-                {
-                    "bit": 3,
-                    "ppl": 6.995767593383789
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.952259063720703
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.932133674621582
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.923571586608887
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.918952941894531
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.915648460388184
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.913786888122559
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.912351608276367
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.910889148712158
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.909519195556641
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.909087657928467
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.908291339874268
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907647609710693
-                }
-            ]
-        },
-        {
-            "layer.31.mlp.up_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 7.988831043243408
-                },
-                {
-                    "bit": 2,
-                    "ppl": 7.200341701507568
-                },
-                {
-                    "bit": 3,
-                    "ppl": 7.020227909088135
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.964024543762207
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.943571090698242
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.930125713348389
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.923565864562988
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.919719219207764
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.916611671447754
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.914859771728516
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.911839485168457
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.911146640777588
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.909188270568848
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.908665180206299
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.906949996948242
-                }
-            ]
-        },
-        {
-            "layer.31.mlp.down_proj": [
-                {
-                    "bit": 1,
-                    "ppl": 8.164628028869629
-                },
-                {
-                    "bit": 2,
-                    "ppl": 7.263692855834961
-                },
-                {
-                    "bit": 3,
-                    "ppl": 7.051300525665283
-                },
-                {
-                    "bit": 4,
-                    "ppl": 6.988273620605469
-                },
-                {
-                    "bit": 5,
-                    "ppl": 6.951361179351807
-                },
-                {
-                    "bit": 6,
-                    "ppl": 6.9371819496154785
-                },
-                {
-                    "bit": 7,
-                    "ppl": 6.929267883300781
-                },
-                {
-                    "bit": 8,
-                    "ppl": 6.9232497215271
-                },
-                {
-                    "bit": 9,
-                    "ppl": 6.919683933258057
-                },
-                {
-                    "bit": 10,
-                    "ppl": 6.915896892547607
-                },
-                {
-                    "bit": 11,
-                    "ppl": 6.914095401763916
-                },
-                {
-                    "bit": 12,
-                    "ppl": 6.911957263946533
-                },
-                {
-                    "bit": 13,
-                    "ppl": 6.9099931716918945
-                },
-                {
-                    "bit": 14,
-                    "ppl": 6.9088053703308105
-                },
-                {
-                    "bit": 15,
-                    "ppl": 6.907323837280273
-                }
-            ]
-        }
-    ]
-}
\ No newline at end of file