SMFPortal.de

Willkommen !

Autor Thema: [Konverter] Rapid-Forum zu SMF  (Gelesen 73870 mal)

0 Mitglieder und 2 Gäste betrachten dieses Thema.

zerni

  • Mitglied
  • **
  • Beiträge: 3
Re: [Converter] Rapid-Forum zu SMF
« Antwort #30 am: 04. März 2009, 01:18:37 »
leider ist dein skript noch nicht ganz Fehlerfrei.

Es erstellt mr rund 180 Topics mit solchen Werten:
ID_FIRST_MSG ID_LAST_MSG
1000232          1000232

leider gehen meine Posts nur bis ~11000 dementsprechend werde diese topics auch nicht mehr angezeigt im forum

DerDark

  • Mitglied
  • **
  • Beiträge: 7
Re: [Converter] Rapid-Forum zu SMF
« Antwort #31 am: 04. März 2009, 02:57:14 »
Hallo nochmal!

Mein zu konvertierendes Forum hat ca. 750.000 Postings!
Ich bin grad bei Schritt: "Converting posts (this may take some time)... Incomplete" ( Step=1, Substep=11)
und das dauert ewig  :(
für 200 Datensätze ca 250sec.
Ich brauche dementsprechent ca. 10,5 Tage für die konvertierung der postings.

Geht das nich auch nen bischen schneller?
Ich hab schon versucht an den mysql-Server-Einstellungen die Cache-Einstellungen zu erhöhen, bringt aber nichts.

Kann man nich den sql query noch nen bischen tunen oder an den Suchtabellen (Index)?
Mir kommt das so vor als wenn der immer nen full tablescan macht  :'(

Vieleicht hilft es auch das SQL Datensatz-"Limit" im Query von 200 auf einen höheren Wert zu setzten?
Ich steig leider in deinem PHP Script nicht durch, sonst würde ich das selbst mal testen.

Sonst noch ne Idee?


BtW: Kann es sein das dieses Forum hier Buggy ist? Egal ob ich im Profil anklicke "Email nicht anzeigen", seh ich trotzdem meine Email-adresse links unter meinem Namen (das Brief Symbol) Oo?


Edit: So Problem gelöst: Ich hab einfach nen paar Indexe zur tmp_messages hinzugefügt. das hat die sache unheimlich beschleunigt. Vieleicht kannst das ja mal in dein Konvert-Script aufnehmen ;)
« Letzte Änderung: 04. März 2009, 05:33:08 von DerDark »

Ferrika

  • Gast
Re: [Converter] Rapid-Forum zu SMF
« Antwort #32 am: 04. März 2009, 05:45:30 »
BtW: Kann es sein das dieses Forum hier Buggy ist? Egal ob ich im Profil anklicke "Email nicht anzeigen", seh ich trotzdem meine Email-adresse links unter meinem Namen (das Brief Symbol) Oo?

DU kannst Deine Mail-Adresse immer sehen, nur andere nicht.

TE

  • Gast
Re: [Converter] Rapid-Forum zu SMF
« Antwort #33 am: 04. März 2009, 07:45:59 »
@DerDark, kannst du die indizes, die du erstellt hast mal posten, dann nehme ich das ins Script auf..


@zerni: hat der Konverter seine Arbeit mit "Conversion successful" beendet oder ist er zwischendurch stehen geblieben?

DerDark

  • Mitglied
  • **
  • Beiträge: 7
Re: [Converter] Rapid-Forum zu SMF
« Antwort #34 am: 04. März 2009, 13:01:31 »
DU kannst Deine Mail-Adresse immer sehen, nur andere nicht.
ok, dann bin ich ja beruhigt :D

@DerDark, kannst du die indizes, die du erstellt hast mal posten, dann nehme ich das ins Script auf..
in tmp_messages indexe für old_id & old_id_topic
in tmp_topics indexe für old_id_topic & old_id
Also jeweils für die Spalten die im Query in den Joins vergleichen werden (temp.xyz = t.xyz)

Aber ob die erstsellten Indexe jetzt alle Sinn machen, weiß ich nicht ^^'''

---
Außerdem ist bei mir eben noch ein Fehler aufgetreten:
Code
Recalculating forum statistics... Unsuccessful!
This query:

    UPDATE `smf`.topics
    SET ID_FIRST_MSG = '',
    ID_MEMBER_STARTED = '0', ID_LAST_MSG = '',
    ID_MEMBER_UPDATED = '0', numReplies = '-1'
    WHERE ID_TOPIC = 205
    LIMIT 1;

Caused the error:

    Duplicate entry '0-2' for key 'lastMessage'

in Step=2 & Substep = 7

TE

  • Gast
Re: [Converter] Rapid-Forum zu SMF
« Antwort #35 am: 04. März 2009, 14:24:20 »
thx, tauscht du mal den kompletten Block für die Topics aus gegen diesen?

Code
/******************************************************************************/
--- Converting topics...
/******************************************************************************/

TRUNCATE {$to_prefix}topics;
TRUNCATE {$to_prefix}log_topics;
TRUNCATE {$to_prefix}log_boards;
TRUNCATE {$to_prefix}log_mark_read;

ALTER TABLE {$to_prefix}tmp_topics ORDER BY old_id_topic;
ALTER TABLE {$to_prefix}tmp_topics
ADD ID_TOPIC INT( 12 ) NOT NULL AUTO_INCREMENT PRIMARY KEY FIRST;

ALTER TABLE {$to_prefix}tmp_messages ORDER BY old_id_msg;
ALTER TABLE {$to_prefix}tmp_messages
ADD ID_MSG INT( 12 ) NOT NULL AUTO_INCREMENT PRIMARY KEY FIRST ;

ALTER TABLE {$to_prefix}tmp_messages 
ADD INDEX old_id_msg (old_id_msg);

ALTER TABLE {$to_prefix}tmp_messages 
ADD INDEX old_id_topic (old_id_topic);

ALTER TABLE {$to_prefix}tmp_messages 
ADD INDEX old_id_board (old_id_board);

ALTER TABLE {$to_prefix}tmp_messages 
ADD INDEX old_id (old_id);

ALTER TABLE {$to_prefix}tmp_topics 
ADD INDEX old_id_board (old_id_board);

ALTER TABLE {$to_prefix}tmp_topics 
ADD INDEX old_id_topic(old_id_topic);


---* {$to_prefix}topics 200
SELECT
temp.ID_TOPIC AS ID_TOPIC, temp.old_id_board AS ID_BOARD,
MAX(tm.ID_MSG) AS ID_LAST_MSG, t.creator AS ID_MEMBER_STARTED,
t.postings AS numReplies, t.hits AS numViews, '' AS locked, t.prelocked AS locked,
IF(t.priority > 1, 1, 0) AS isSticky, MIN(tm.ID_MSG) AS ID_FIRST_MSG
FROM {$to_prefix}tmp_topics AS temp
INNER JOIN {$from_prefix}topics{$rapid_suffix} AS t ON (t.id = temp.old_id)
LEFT JOIN {$to_prefix}tmp_messages AS tm ON (tm.old_id_topic = temp.old_id_topic)
GROUP BY temp.ID_TOPIC
HAVING ID_FIRST_MSG != 0
AND ID_LAST_MSG != 0;
---*

danach dann erneut konvertieren, sorry hatte leider nur ein kleines Test-Forum (30k posts) und konnte nicht wirklich alles im Detail testen, weil der Zeitdruck für viele ja doch entscheidend war.

cookie

  • Mitglied
  • **
  • Beiträge: 6
Re: [Converter] Rapid-Forum zu SMF
« Antwort #36 am: 04. März 2009, 15:35:47 »
@TE: wenn es Dir hilft, das Tool weiter zu verbessern, darfst Du gerne meinen Dump zum Rumtesten nehmen (das sind etwas über 5000 Postings).

Jorin

  • Gast
Re: [Converter] Rapid-Forum zu SMF
« Antwort #37 am: 04. März 2009, 15:37:09 »
Wenn ich das richtig lese, hatte TE einen Dump mit 30.000 Beiträgen.  ;)

zerni

  • Mitglied
  • **
  • Beiträge: 3
Re: [Converter] Rapid-Forum zu SMF
« Antwort #38 am: 04. März 2009, 15:39:25 »
@zerni: hat der Konverter seine Arbeit mit "Conversion successful" beendet oder ist er zwischendurch stehen geblieben?

er ist ohne Fehler durchgelaufen.

Danach erstellt er mir einfach nur rund ~ 180 topics mit:
id = x
first_msg_id = x + 1000000
last_msg_id = x + 1000000

diese msg_ids gibt es natürlich nicht deshalb werden ganze Topics nicht mehr angezeigt.
« Letzte Änderung: 04. März 2009, 15:41:23 von zerni »

cookie

  • Mitglied
  • **
  • Beiträge: 6
Re: [Converter] Rapid-Forum zu SMF
« Antwort #39 am: 04. März 2009, 15:44:55 »
Oh sorry, ich hatte irgendwie 30kb gelesen und geschätzt, daß es sich dabei wohl um ca. 50-100 Beiträge gehandelt hat (weil ich persönlich ein Board mit 30.000 Postings auch nicht mehr als "klein" bezeichnen würde ;):)

Datenteppich

  • Gast
Re: [Converter] Rapid-Forum zu SMF
« Antwort #40 am: 04. März 2009, 16:09:04 »
Nun habe ich es geschafft den max_allowed_packet -Wert hoch zu setzen, aber nun habe ich das Problem, dass die Datenbank nicht gespeichert wurde. Also im MySQL-Query Browser gibt es keine Datenbank und in der Kommandozeile steht mehrmals:
ERROR 1049 <42000>: unkown database 'forum.44'

zerni

  • Mitglied
  • **
  • Beiträge: 3
Re: [Converter] Rapid-Forum zu SMF
« Antwort #41 am: 04. März 2009, 17:03:35 »
geh mit nem editor in die datei und ersetz "forum40." mit "namedeinerdatenbank."

dr.house-meister

  • Mitglied
  • **
  • Beiträge: 10
Re: [Converter] Rapid-Forum zu SMF
« Antwort #42 am: 04. März 2009, 17:52:09 »
wo nimmt man den namen der db den her ? also geht ja gerade darum die db lokal aufm rechner in die mysql db reinzubkommen..oder?
u da hat man doch gar keinen namen festrgelegt (laut anleitung zumindest ^^)

Datenteppich

  • Gast
Re: [Converter] Rapid-Forum zu SMF
« Antwort #43 am: 04. März 2009, 18:16:18 »
Also bei mir gab es ja die Fehlermeldung ERROR 1049 <42000>: unkown database 'forum.44'. Ich habe einfach mit dem MySQL-Browser ein Schema erstellt, dass dem Forumnamen entsprach, aber ohne den "."(also forum44), dann wurde die Datenbank sauber importiert. Danach konnte ich alle Schritte aus der Anleitung bis zum Schluß ausführen. Leider habe ich nun das Problem, dass das Dump-File 55 Mb groß ist aber ich bei meinem Hoster mit phpmyadmin maximal 10.240 KB importieren darf. Hat jmd einen Tip ?
« Letzte Änderung: 04. März 2009, 18:18:56 von Datenteppich »

dr.house-meister

  • Mitglied
  • **
  • Beiträge: 10
Re: [Converter] Rapid-Forum zu SMF
« Antwort #44 am: 04. März 2009, 18:18:29 »
suuupa wunderbar danke :)
das mit dem schema selber erstellen klapp ^^
jetzt hab ich die db zumindest schonma importiert :D

 

Internes

Nutzungsbedingungen Impressum

Wissenswertes

Hilfe Knowledge Base

Nützliches

Downloads Socialmedia