Johnny Hughes
2019-02-04 c1f36c28393a7bb126cbf436cd6a4077a5b5c313
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
From 66af385bfaf97865f0e6d9032db896656b58920d Mon Sep 17 00:00:00 2001
From: Khuong Dinh <khuong.dinh@amperecomputing.com>
Date: Tue, 13 Mar 2018 20:45:45 +0000
Subject: [PATCH 03/11] BACKPORT: arm64: locking: Replace ticket lock
 implementation with qspinlock
 
It's fair to say that our ticket lock has served us well over time, but
it's time to bite the bullet and start using the generic qspinlock code
so we can make use of explicit MCS queuing and potentially better PV
performance in future.
 
This patch is required to fix kernel lock up due to new implementation of
queued read write locking from kernel 4.14.
This patch is backported from:
https://git.kernel.org/pub/scm/linux/kernel/git/next/linux-next.git/commit/?h=next-20180913&id=c11090474d70590170cf5fa6afe85864ab494b37
 
Change-Id: I1b019176c2b7ae1b25e609a54d7fa35bd380bd0a
Signed-off-by: Will Deacon <will.deacon@arm.com>
Signed-off-by: Khuong Dinh <khuong.dinh@amperecomputing.com>
---
 arch/arm64/Kconfig                      |   1 +
 arch/arm64/include/asm/Kbuild           |   1 +
 arch/arm64/include/asm/spinlock.h       | 124 +-------------------------------
 arch/arm64/include/asm/spinlock_types.h |  17 +----
 4 files changed, 4 insertions(+), 139 deletions(-)
 
diff --git a/arch/arm64/Kconfig b/arch/arm64/Kconfig
index 651d8d9..fba4bd7 100644
--- a/arch/arm64/Kconfig
+++ b/arch/arm64/Kconfig
@@ -41,6 +41,7 @@ config ARM64
     select ARCH_INLINE_WRITE_UNLOCK_IRQRESTORE if !PREEMPT
     select ARCH_USE_CMPXCHG_LOCKREF
     select ARCH_USE_QUEUED_RWLOCKS
+    select ARCH_USE_QUEUED_SPINLOCKS
     select ARCH_SUPPORTS_MEMORY_FAILURE
     select ARCH_SUPPORTS_ATOMIC_RMW
     select ARCH_SUPPORTS_NUMA_BALANCING
diff --git a/arch/arm64/include/asm/Kbuild b/arch/arm64/include/asm/Kbuild
index e63d0a8..ae621cb 100644
--- a/arch/arm64/include/asm/Kbuild
+++ b/arch/arm64/include/asm/Kbuild
@@ -17,6 +17,7 @@ generic-y += mm-arch-hooks.h
 generic-y += msi.h
 generic-y += preempt.h
 generic-y += qrwlock.h
+generic-y += qspinlock.h
 generic-y += rwsem.h
 generic-y += segment.h
 generic-y += serial.h
diff --git a/arch/arm64/include/asm/spinlock.h b/arch/arm64/include/asm/spinlock.h
index fa1d966..8871cdd 100644
--- a/arch/arm64/include/asm/spinlock.h
+++ b/arch/arm64/include/asm/spinlock.h
@@ -16,130 +16,8 @@
 #ifndef __ASM_SPINLOCK_H
 #define __ASM_SPINLOCK_H
 
-#include <asm/lse.h>
-#include <asm/spinlock_types.h>
-#include <asm/processor.h>
-
-/*
- * Spinlock implementation.
- *
- * The memory barriers are implicit with the load-acquire and store-release
- * instructions.
- */
-
-#define arch_spin_lock_flags(lock, flags) arch_spin_lock(lock)
-
-static inline void arch_spin_lock(arch_spinlock_t *lock)
-{
-    unsigned int tmp;
-    arch_spinlock_t lockval, newval;
-
-    asm volatile(
-    /* Atomically increment the next ticket. */
-    ARM64_LSE_ATOMIC_INSN(
-    /* LL/SC */
-"    prfm    pstl1strm, %3\n"
-"1:    ldaxr    %w0, %3\n"
-"    add    %w1, %w0, %w5\n"
-"    stxr    %w2, %w1, %3\n"
-"    cbnz    %w2, 1b\n",
-    /* LSE atomics */
-"    mov    %w2, %w5\n"
-"    ldadda    %w2, %w0, %3\n"
-    __nops(3)
-    )
-
-    /* Did we get the lock? */
-"    eor    %w1, %w0, %w0, ror #16\n"
-"    cbz    %w1, 3f\n"
-    /*
-     * No: spin on the owner. Send a local event to avoid missing an
-     * unlock before the exclusive load.
-     */
-"    sevl\n"
-"2:    wfe\n"
-"    ldaxrh    %w2, %4\n"
-"    eor    %w1, %w2, %w0, lsr #16\n"
-"    cbnz    %w1, 2b\n"
-    /* We got the lock. Critical section starts here. */
-"3:"
-    : "=&r" (lockval), "=&r" (newval), "=&r" (tmp), "+Q" (*lock)
-    : "Q" (lock->owner), "I" (1 << TICKET_SHIFT)
-    : "memory");
-}
-
-static inline int arch_spin_trylock(arch_spinlock_t *lock)
-{
-    unsigned int tmp;
-    arch_spinlock_t lockval;
-
-    asm volatile(ARM64_LSE_ATOMIC_INSN(
-    /* LL/SC */
-    "    prfm    pstl1strm, %2\n"
-    "1:    ldaxr    %w0, %2\n"
-    "    eor    %w1, %w0, %w0, ror #16\n"
-    "    cbnz    %w1, 2f\n"
-    "    add    %w0, %w0, %3\n"
-    "    stxr    %w1, %w0, %2\n"
-    "    cbnz    %w1, 1b\n"
-    "2:",
-    /* LSE atomics */
-    "    ldr    %w0, %2\n"
-    "    eor    %w1, %w0, %w0, ror #16\n"
-    "    cbnz    %w1, 1f\n"
-    "    add    %w1, %w0, %3\n"
-    "    casa    %w0, %w1, %2\n"
-    "    and    %w1, %w1, #0xffff\n"
-    "    eor    %w1, %w1, %w0, lsr #16\n"
-    "1:")
-    : "=&r" (lockval), "=&r" (tmp), "+Q" (*lock)
-    : "I" (1 << TICKET_SHIFT)
-    : "memory");
-
-    return !tmp;
-}
-
-static inline void arch_spin_unlock(arch_spinlock_t *lock)
-{
-    unsigned long tmp;
-
-    asm volatile(ARM64_LSE_ATOMIC_INSN(
-    /* LL/SC */
-    "    ldrh    %w1, %0\n"
-    "    add    %w1, %w1, #1\n"
-    "    stlrh    %w1, %0",
-    /* LSE atomics */
-    "    mov    %w1, #1\n"
-    "    staddlh    %w1, %0\n"
-    __nops(1))
-    : "=Q" (lock->owner), "=&r" (tmp)
-    :
-    : "memory");
-}
-
-static inline int arch_spin_value_unlocked(arch_spinlock_t lock)
-{
-    return lock.owner == lock.next;
-}
-
-static inline int arch_spin_is_locked(arch_spinlock_t *lock)
-{
-    /*
-     * Ensure prior spin_lock operations to other locks have completed
-     * on this CPU before we test whether "lock" is locked.
-     */
-    smp_mb(); /* ^^^ */
-    return !arch_spin_value_unlocked(READ_ONCE(*lock));
-}
-
-static inline int arch_spin_is_contended(arch_spinlock_t *lock)
-{
-    arch_spinlock_t lockval = READ_ONCE(*lock);
-    return (lockval.next - lockval.owner) > 1;
-}
-#define arch_spin_is_contended    arch_spin_is_contended
-
 #include <asm/qrwlock.h>
+#include <asm/qspinlock.h>
 
 #define arch_read_lock_flags(lock, flags) arch_read_lock(lock)
 #define arch_write_lock_flags(lock, flags) arch_write_lock(lock)
diff --git a/arch/arm64/include/asm/spinlock_types.h b/arch/arm64/include/asm/spinlock_types.h
index 6b85601..a157ff4 100644
--- a/arch/arm64/include/asm/spinlock_types.h
+++ b/arch/arm64/include/asm/spinlock_types.h
@@ -20,22 +20,7 @@
 # error "please don't include this file directly"
 #endif
 
-#include <linux/types.h>
-
-#define TICKET_SHIFT    16
-
-typedef struct {
-#ifdef __AARCH64EB__
-    u16 next;
-    u16 owner;
-#else
-    u16 owner;
-    u16 next;
-#endif
-} __aligned(4) arch_spinlock_t;
-
-#define __ARCH_SPIN_LOCK_UNLOCKED    { 0 , 0 }
-
+#include <asm-generic/qspinlock_types.h>
 #include <asm-generic/qrwlock_types.h>
 
 #endif
-- 
1.8.3.1