d2787b
From 03de45e5fb1c8aa5369848ed9e52abd1365e1d21 Mon Sep 17 00:00:00 2001
d2787b
From: Shwetha K Acharya <sacharya@redhat.com>
d2787b
Date: Wed, 31 Jul 2019 11:34:19 +0530
d2787b
Subject: [PATCH 493/511] geo-rep: Note section is required for ignore_deletes
d2787b
d2787b
There exists a window of 15 sec, where the deletes are picked up
d2787b
by history crawl when the ignore_deletes is set to true.
d2787b
And it eventually deletes the file/s from slave which is/are not
d2787b
supposed to be deleted. Though it is working as per design, a
d2787b
note regarding this is needed.
d2787b
d2787b
Added a warning message indicating the same.
d2787b
Also logged info when the worker restarts after ignore-deletes
d2787b
option set.
d2787b
d2787b
>fixes: bz#1708603
d2787b
>Change-Id: I103be882fac18b4cef935efa355f5037a396f7c1
d2787b
>Signed-off-by: Shwetha K Acharya <sacharya@redhat.com>
d2787b
Upstream patch: https://review.gluster.org/c/glusterfs/+/22702
d2787b
d2787b
BUG: 1224906
d2787b
Change-Id: I103be882fac18b4cef935efa355f5037a396f7c1
d2787b
Signed-off-by: srijan-sivakumar <ssivakum@redhat.com>
d2787b
Reviewed-on: https://code.engineering.redhat.com/gerrit/220757
d2787b
Tested-by: RHGS Build Bot <nigelb@redhat.com>
d2787b
Reviewed-by: Sunil Kumar Heggodu Gopala Acharya <sheggodu@redhat.com>
d2787b
---
d2787b
 cli/src/cli-cmd-parser.c             | 45 ++++++++++++++++++++------
d2787b
 cli/src/cli-cmd-volume.c             | 20 ++++++++----
d2787b
 cli/src/cli.h                        |  3 +-
d2787b
 geo-replication/syncdaemon/gsyncd.py |  2 +-
d2787b
 geo-replication/syncdaemon/master.py |  6 ++++
d2787b
 tests/00-geo-rep/bug-1708603.t       | 63 ++++++++++++++++++++++++++++++++++++
d2787b
 6 files changed, 120 insertions(+), 19 deletions(-)
d2787b
 create mode 100644 tests/00-geo-rep/bug-1708603.t
d2787b
d2787b
diff --git a/cli/src/cli-cmd-parser.c b/cli/src/cli-cmd-parser.c
d2787b
index 5fd05f4..34f17c9 100644
d2787b
--- a/cli/src/cli-cmd-parser.c
d2787b
+++ b/cli/src/cli-cmd-parser.c
d2787b
@@ -2901,7 +2901,8 @@ out:
d2787b
 }
d2787b
 
d2787b
 int32_t
d2787b
-cli_cmd_gsync_set_parse(const char **words, int wordcount, dict_t **options)
d2787b
+cli_cmd_gsync_set_parse(struct cli_state *state, const char **words,
d2787b
+                        int wordcount, dict_t **options, char **errstr)
d2787b
 {
d2787b
     int32_t ret = -1;
d2787b
     dict_t *dict = NULL;
d2787b
@@ -2918,6 +2919,8 @@ cli_cmd_gsync_set_parse(const char **words, int wordcount, dict_t **options)
d2787b
     char *save_ptr = NULL;
d2787b
     char *slave_temp = NULL;
d2787b
     char *token = NULL;
d2787b
+    gf_answer_t answer = GF_ANSWER_NO;
d2787b
+    const char *question = NULL;
d2787b
 
d2787b
     GF_ASSERT(words);
d2787b
     GF_ASSERT(options);
d2787b
@@ -2990,8 +2993,10 @@ cli_cmd_gsync_set_parse(const char **words, int wordcount, dict_t **options)
d2787b
 
d2787b
     if (masteri && gsyncd_url_check(words[masteri]))
d2787b
         goto out;
d2787b
-    if (slavei && !glob && !gsyncd_url_check(words[slavei]))
d2787b
+    if (slavei && !glob && !gsyncd_url_check(words[slavei])) {
d2787b
+        gf_asprintf(errstr, "Invalid slave url: %s", words[slavei]);
d2787b
         goto out;
d2787b
+    }
d2787b
 
d2787b
     w = str_getunamb(words[cmdi], opwords);
d2787b
     if (!w)
d2787b
@@ -3101,16 +3106,36 @@ cli_cmd_gsync_set_parse(const char **words, int wordcount, dict_t **options)
d2787b
     }
d2787b
     if (!ret)
d2787b
         ret = dict_set_int32(dict, "type", type);
d2787b
-    if (!ret && type == GF_GSYNC_OPTION_TYPE_CONFIG)
d2787b
+    if (!ret && type == GF_GSYNC_OPTION_TYPE_CONFIG) {
d2787b
+        if (!strcmp((char *)words[wordcount - 2], "ignore-deletes") &&
d2787b
+            !strcmp((char *)words[wordcount - 1], "true")) {
d2787b
+            question =
d2787b
+                "There exists ~15 seconds delay for the option to take"
d2787b
+                " effect from stime of the corresponding brick. Please"
d2787b
+                " check the log for the time, the option is effective."
d2787b
+                " Proceed";
d2787b
+
d2787b
+            answer = cli_cmd_get_confirmation(state, question);
d2787b
+
d2787b
+            if (GF_ANSWER_NO == answer) {
d2787b
+                gf_log("cli", GF_LOG_INFO,
d2787b
+                       "Operation "
d2787b
+                       "cancelled, exiting");
d2787b
+                *errstr = gf_strdup("Aborted by user.");
d2787b
+                ret = -1;
d2787b
+                goto out;
d2787b
+            }
d2787b
+        }
d2787b
+
d2787b
         ret = config_parse(words, wordcount, dict, cmdi, glob);
d2787b
+    }
d2787b
 
d2787b
 out:
d2787b
     if (slave_temp)
d2787b
         GF_FREE(slave_temp);
d2787b
-    if (ret) {
d2787b
-        if (dict)
d2787b
-            dict_unref(dict);
d2787b
-    } else
d2787b
+    if (ret && dict)
d2787b
+        dict_unref(dict);
d2787b
+    else
d2787b
         *options = dict;
d2787b
 
d2787b
     return ret;
d2787b
@@ -5659,9 +5684,9 @@ cli_cmd_bitrot_parse(const char **words, int wordcount, dict_t **options)
d2787b
     int32_t ret = -1;
d2787b
     char *w = NULL;
d2787b
     char *volname = NULL;
d2787b
-    char *opwords[] = {
d2787b
-        "enable",       "disable", "scrub-throttle", "scrub-frequency", "scrub",
d2787b
-        "signing-time", "signer-threads", NULL};
d2787b
+    char *opwords[] = {"enable",          "disable", "scrub-throttle",
d2787b
+                       "scrub-frequency", "scrub",   "signing-time",
d2787b
+                       "signer-threads",  NULL};
d2787b
     char *scrub_throt_values[] = {"lazy", "normal", "aggressive", NULL};
d2787b
     char *scrub_freq_values[] = {"hourly",  "daily",  "weekly", "biweekly",
d2787b
                                  "monthly", "minute", NULL};
d2787b
diff --git a/cli/src/cli-cmd-volume.c b/cli/src/cli-cmd-volume.c
d2787b
index 72504ca..6f5bf8b 100644
d2787b
--- a/cli/src/cli-cmd-volume.c
d2787b
+++ b/cli/src/cli-cmd-volume.c
d2787b
@@ -2457,6 +2457,7 @@ cli_cmd_volume_gsync_set_cbk(struct cli_state *state, struct cli_cmd_word *word,
d2787b
     rpc_clnt_procedure_t *proc = NULL;
d2787b
     call_frame_t *frame = NULL;
d2787b
     cli_local_t *local = NULL;
d2787b
+    char *errstr = NULL;
d2787b
 #if (USE_EVENTS)
d2787b
     int ret1 = -1;
d2787b
     int cmd_type = -1;
d2787b
@@ -2468,16 +2469,21 @@ cli_cmd_volume_gsync_set_cbk(struct cli_state *state, struct cli_cmd_word *word,
d2787b
 
d2787b
     proc = &cli_rpc_prog->proctable[GLUSTER_CLI_GSYNC_SET];
d2787b
 
d2787b
-    frame = create_frame(THIS, THIS->ctx->pool);
d2787b
-    if (frame == NULL) {
d2787b
-        ret = -1;
d2787b
+    ret = cli_cmd_gsync_set_parse(state, words, wordcount, &options, &errstr);
d2787b
+    if (ret) {
d2787b
+        if (errstr) {
d2787b
+            cli_err("%s", errstr);
d2787b
+            GF_FREE(errstr);
d2787b
+        } else {
d2787b
+            cli_usage_out(word->pattern);
d2787b
+        }
d2787b
+        parse_err = 1;
d2787b
         goto out;
d2787b
     }
d2787b
 
d2787b
-    ret = cli_cmd_gsync_set_parse(words, wordcount, &options);
d2787b
-    if (ret) {
d2787b
-        cli_usage_out(word->pattern);
d2787b
-        parse_err = 1;
d2787b
+    frame = create_frame(THIS, THIS->ctx->pool);
d2787b
+    if (frame == NULL) {
d2787b
+        ret = -1;
d2787b
         goto out;
d2787b
     }
d2787b
 
d2787b
diff --git a/cli/src/cli.h b/cli/src/cli.h
d2787b
index c30ae9c..7b4f446 100644
d2787b
--- a/cli/src/cli.h
d2787b
+++ b/cli/src/cli.h
d2787b
@@ -269,7 +269,8 @@ int32_t
d2787b
 cli_cmd_volume_reset_parse(const char **words, int wordcount, dict_t **opt);
d2787b
 
d2787b
 int32_t
d2787b
-cli_cmd_gsync_set_parse(const char **words, int wordcount, dict_t **opt);
d2787b
+cli_cmd_gsync_set_parse(struct cli_state *state, const char **words,
d2787b
+                        int wordcount, dict_t **opt, char **errstr);
d2787b
 
d2787b
 int32_t
d2787b
 cli_cmd_quota_parse(const char **words, int wordcount, dict_t **opt);
d2787b
diff --git a/geo-replication/syncdaemon/gsyncd.py b/geo-replication/syncdaemon/gsyncd.py
d2787b
index 8940384..215c62d 100644
d2787b
--- a/geo-replication/syncdaemon/gsyncd.py
d2787b
+++ b/geo-replication/syncdaemon/gsyncd.py
d2787b
@@ -315,7 +315,7 @@ def main():
d2787b
 
d2787b
     # Log message for loaded config file
d2787b
     if config_file is not None:
d2787b
-        logging.info(lf("Using session config file", path=config_file))
d2787b
+        logging.debug(lf("Using session config file", path=config_file))
d2787b
 
d2787b
     set_term_handler()
d2787b
     excont = FreeObject(exval=0)
d2787b
diff --git a/geo-replication/syncdaemon/master.py b/geo-replication/syncdaemon/master.py
d2787b
index 08e98f8..98637e7 100644
d2787b
--- a/geo-replication/syncdaemon/master.py
d2787b
+++ b/geo-replication/syncdaemon/master.py
d2787b
@@ -1549,6 +1549,12 @@ class GMasterChangeloghistoryMixin(GMasterChangelogMixin):
d2787b
         data_stime = self.get_data_stime()
d2787b
 
d2787b
         end_time = int(time.time())
d2787b
+
d2787b
+        #as start of historical crawl marks Geo-rep worker restart
d2787b
+        if gconf.get("ignore-deletes"):
d2787b
+            logging.info(lf('ignore-deletes config option is set',
d2787b
+                         stime=data_stime))
d2787b
+
d2787b
         logging.info(lf('starting history crawl',
d2787b
                         turns=self.history_turns,
d2787b
                         stime=data_stime,
d2787b
diff --git a/tests/00-geo-rep/bug-1708603.t b/tests/00-geo-rep/bug-1708603.t
d2787b
new file mode 100644
d2787b
index 0000000..26913f1
d2787b
--- /dev/null
d2787b
+++ b/tests/00-geo-rep/bug-1708603.t
d2787b
@@ -0,0 +1,63 @@
d2787b
+#!/bin/bash
d2787b
+
d2787b
+. $(dirname $0)/../include.rc
d2787b
+. $(dirname $0)/../volume.rc
d2787b
+. $(dirname $0)/../geo-rep.rc
d2787b
+. $(dirname $0)/../env.rc
d2787b
+
d2787b
+SCRIPT_TIMEOUT=300
d2787b
+
d2787b
+##Cleanup and start glusterd
d2787b
+cleanup;
d2787b
+TEST glusterd;
d2787b
+TEST pidof glusterd
d2787b
+
d2787b
+
d2787b
+##Variables
d2787b
+GEOREP_CLI="gluster volume geo-replication"
d2787b
+master=$GMV0
d2787b
+SH0="127.0.0.1"
d2787b
+slave=${SH0}::${GSV0}
d2787b
+num_active=2
d2787b
+num_passive=2
d2787b
+master_mnt=$M0
d2787b
+slave_mnt=$M1
d2787b
+
d2787b
+############################################################
d2787b
+#SETUP VOLUMES AND GEO-REPLICATION
d2787b
+############################################################
d2787b
+
d2787b
+##create_and_start_master_volume
d2787b
+TEST $CLI volume create $GMV0 replica 2 $H0:$B0/${GMV0}{1,2,3,4};
d2787b
+TEST $CLI volume start $GMV0
d2787b
+
d2787b
+##create_and_start_slave_volume
d2787b
+TEST $CLI volume create $GSV0 replica 2 $H0:$B0/${GSV0}{1,2,3,4};
d2787b
+TEST $CLI volume start $GSV0
d2787b
+
d2787b
+##Mount master
d2787b
+TEST glusterfs -s $H0 --volfile-id $GMV0 $M0
d2787b
+
d2787b
+##Mount slave
d2787b
+TEST glusterfs -s $H0 --volfile-id $GSV0 $M1
d2787b
+
d2787b
+#Create geo-rep session
d2787b
+TEST create_georep_session $master $slave
d2787b
+
d2787b
+echo n | $GEOREP_CLI $master $slave config ignore-deletes true >/dev/null 2>&1
d2787b
+EXPECT "false" echo $($GEOREP_CLI $master $slave config ignore-deletes)
d2787b
+echo y | $GEOREP_CLI $master $slave config ignore-deletes true
d2787b
+EXPECT "true" echo $($GEOREP_CLI $master $slave config ignore-deletes)
d2787b
+
d2787b
+#Stop Geo-rep
d2787b
+TEST $GEOREP_CLI $master $slave stop
d2787b
+
d2787b
+#Delete Geo-rep
d2787b
+TEST $GEOREP_CLI $master $slave delete
d2787b
+
d2787b
+#Cleanup authorized keys
d2787b
+sed -i '/^command=.*SSH_ORIGINAL_COMMAND#.*/d' ~/.ssh/authorized_keys
d2787b
+sed -i '/^command=.*gsyncd.*/d' ~/.ssh/authorized_keys
d2787b
+
d2787b
+cleanup;
d2787b
+#G_TESTDEF_TEST_STATUS_NETBSD7=BAD_TEST,BUG=000000
d2787b
-- 
d2787b
1.8.3.1
d2787b