DACHNUG50 Suchen in Notes.pdf

Suchen und Finden in und
für Notes und Domino
Jürgen Kunert
InformationsTechnologie Effizient Einsetzen

#DACHNUG50, 15. 6. 2023 - juergen.kunert@itee.de 3
15.06.2023

Suchen und Finden in Notes
• im Notes-Client
• im Designer
• Suchen programmieren
• Für den Administrator
• Suchen für Notes
15.06.2023

Suchen und Finden in Notes
• im Notes-Client
• im Designer
15.06.2023

Schnellsuche
• Fokus muss auf der Ansicht sein (also rechts)
• in (sortierter) Ansicht, erste Spalte (das ist meistens der Knackpunkt)
• Oder „Any Column“
• Einfach lostippen
• Ergebnis: erstes Dokument
• intuitiv - bis auf Fokus
• DB muss nicht indiziert sein
15.06.2023

Schnellsuche
• STRG+E (CTRL+F)
• sucht alles, was in der Ansicht angezeigt wird
• Ergebnis: erstes Dokument, dann Weitersuchen: STRG+W (CTRL+G)
• Suche Abbrechen: STRG-Pause
• DB muss nicht indiziert sein
• keine Anhänge, keine RTF
• Schnellsuche geht auch im Arbeitsbereich!
15.06.2023

Volltextindex
• Schnellere Suche
• Suchkriterien einstellbar
15.06.2023

Volltextindex einrichten und konfigurieren
• Anzahl nicht indizierte Dokumente
15.06.2023

In dieser Ansicht suchen: Suchsyntax
• [Firstname] is Michael
• Field Erstelldatum > 12.06.2023
• ([Form] = Information or Field Form = Anmerkung) and(Field
Categories = *Alt**) and (Field Thema = *schulden*) and (Field
GueltigLaender = *Schleswig-Holstein* or Field GueltigLaender =
*Mecklenburg-Vorpommern*)
• Not ([PostedDate] is present)
• Itemnamenslänge <=32
15.06.2023

Suchsyntax
• Notes vs. Internetsyntax
https://help.hcltechsw.com/notes/12.0.2/client/sch_docs_c.html?hl=
which%2Ctype%2Csearch%2Csyntax%2Cshould%2Cuse
• Default: Web Style Syntax
• Begriffe verknüpft mit „and“
• Umstellbar im Hakengrab auf Notes-Syntax
• In Notes-style syntax, multiple terms in a search query will find documents
where those terms appear in the exact order entered in the Search field
• UseFTSyntaxOnly=1
• switch to a Notes-style syntax : /Notes and log
15.06.2023

Suche im Searchcenter
• Historie
• Suche im Mail-Archiv
• Filter
HCL Notes - Advanced Search Bar Improvement in Notes V12
https://www.youtube.com/watch?v=7yOg0ty2LxY
15.06.2023

Suchen in einem Dokument
• STRG-E oder STRG-F (engl.)
15.06.2023

Erweiterte Sucheinstellungen
15.06.2023

Suchmasken
15.06.2023

Leser- und Autorenfelder
• Durch Leser- oder Autorenfelder geschützte Dokumente werden bei
in den Suchergebnissen nicht angezeigt
• https://support.hcltechsw.com/csm?id=kb_article&sysparm_article=K
B0029857
15.06.2023

Highlighted Text
• When viewing the results of a search using a Notes client, the
matching text in the document will be highlighted when viewed.
• The attachment file name will be highlighted if the string is found in
the attachment. However, when the attachment is opened the search
term will not be highlighted within the opened file.
• STRG-+, STRG--
15.06.2023

Troubleshooting Highlighting
• Search results slow to open
• There are times when opening a document from the search results is
very slow. Opening the document normally when not in search results
has no problems. This can be caused by the highlighter parsing
through attachments in the document to see if the attachment should
be highlighted.
• This can be stopped with the NOTES.INI parameter:
FT_LIMIT_HIGHLIGHT_FILTER=1
15.06.2023

Suchen in der Hilfe
• Könnte benutzerfreundlicher sein!
• Performance?
#DACHNUG50, 15. 6. 2023 - juergen.kunert@itee.de Seite 19
15.06.2023

Suchen und finden in Notes
• im Notes-Client
• im Designer
• Was muss der Administrator wissen?
15.06.2023

Suchen im Designer 1
• Filtern für Designelemente
• im Code:
• Suchen in einem Designelement
• Suchen in Datenbank(en)
Schnellsuche im Designer:
15.06.2023

• im Code:
• Suchen in einem Designelement
• Suchen in Datenbank(en)
15.06.2023

• im DXL,
• exportieren,
• dann mit z.B. Notepad++ „find in Files“
• Einstellungen für den Volltextindex:
Items aus dem Index entfernen
15.06.2023

• im Notes-Client
• im Designer
15.06.2023

In welchen Fällen setze ich welche Funktion ein?
• Keyed search of view
view.GetAllDocumentsByKey etc.
• Hardcoded view search
• Full-text search of database
db.FTSearch
• Full-text search of view
view.FTSearch
• Formula search of database
db.Search and NotesNoteCollection.SelectionFormula
• A database does not need to be full-text indexed for FTSearch, FTSearchRange,
UnprocessedFTSearch, and UnprocessedFTSearchRange to work, but the search is
slower. If an index exists, it reflects content at the time of the last update.
15.06.2023

Use when
Technique
This is the generally preferred technique whenever the search criteria permit it. Even if the right view for your search doesn't already exist,
it's often worth-while to create it.
Generally speaking, keyed view searches are only useful when searching for an exact value and simple search expressions; not a range of
values and a complex logical expression. However, if you're clever you can take advantage of view indexes to perform more complex
searches by using a NotesViewNavigator to fetch out a range, or doing searches in different views and combining the results.
Keyed search of view
view.GetAllDocumentsByKey
etc.
You must perform the exact same search every time.
The search is not based on the current date/time (e.g. "all overdue orders"), unless you needed that view anyway for other purposes.
Hardcoded view search
The application is full-text indexed, and
The search criteria are too complex for a keyed view search, and
You expect relatively few matches; less than 5-10% of all documents (and less than whatever limit the administrator has established, 5,000
by default).
Full-text search of database
db.FTSearch
The application is full-text indexed, and
The search criteria are too complex for a keyed view search, and
You expect very few matches; less than 40 or so documents, and
There's reason to believe that a corresponding full-text search of the whole database would be less efficient (because the search
expression becomes much more complex).
Another way of putting that last point is, that the view search criteria are actually needed to narrow down your results. It's a serious waste
of time to use full-text search to search an "all documents" view.
Full-text search of view
view.FTSearch
The expected number of matching documents exceeds 5-10% of all documents, or
You only need to search among documents modified recently (after a specified date/time) or
There is no full-text index, you are not allowed to create one, and the search criteria are too complex for a view keyed search.
Even in cases where a large proportion of the documents are to be processed, it may be more efficient to use a keyed view search if you
can design the view in such a way that the documents you would need to process appear consecutively in the view.
Formula search of database
db.Search and
NotesNoteCollection.Selection
Formula
http://www-10.lotus.com/ldd/ddwiki.nsf/dx/searching_for_documents (Andre Guirard, 2010)
15.06.2023

Volltextindex einrichten und konfigurieren
• Anzahl nicht indizierte Dokumente
15.06.2023

FTI Volltexindex
• Domino Full Text Indexing (FTI) Fundamentals
https://support.hcltechsw.com/csm?id=kb_article&sysparm_article=K
B0105209
• Overview of Full Text Index subdirectory and file layout
B0033058
15.06.2023

Und jetzt kommen DQL und QRP
15.06.2023
!

DQL: Domino Query Language
• Einführung
• Design Catalog
• Local/Remote
• Syntax Querys
• Formelsprache in Querys
• QueryResultsProcessor (QRP)
• contains
• schneller
• Jeden Suchcode umschreiben?
• Suchergebnisse in Ansicht anzeigen aus unterschiedlichen DBs
15.06.2023

DB für DQL vorbereiten / Design Catalog erstellen
• load updall maindatabase.nsf –e
03.06.2023 20:16:09 Remote console command issued by J*: load updall main database.nsf –e
03.06.2023 20:16:10 Index update process started: main database.nsf –e
03.06.2023 20:16:10 Updating views in C:DominoDatamain database.nsf
03.06.2023 20:16:10 Maindatabase.nsf harvested, 0 catalog documents removed, 17 view designs or
aliases cataloged out of 8 total with 4 field-usable columns 18.590 msecs and LastModified of
17.04.2023 09:26:13
03.06.2023 20:16:10 Index update process shutdown
• load updall maindatabase.nsf –d (Update)
15.06.2023

Dokumente mit einer einfachen Query finden
Simpler Ersatz für GetAllDocumentsByKey
Dim dql As NotesDominoQuery
strTempq1 = doc.IBCTypErweitert(0)
strTempq2 = doc.VolumenIBC(0)
dqlTerm = |form = 'ObjektTyp' And Sonstiges = '| + strTempq1 + |' And
Volumen = '| + strTempq2 + |'|
If dbIBC.Isopen Then
Set dql = dbIBC.CreateDominoQuery()
Set collection = dql.Execute(dqlTerm)
MsgBox dql.Explain(dqlTerm)
End If
15.06.2023

dql.Explain
15.06.2023 #DACHNUG50, 15. 6. 2023 - juergen.kunert@itee.de Seite 33
date_origin >= @dt('2016-07-01) and date_origin < @dt('2017-01-01') and
sales_person contains ('Trudi Ayton') and 'all'.ord_status = ('shipping') and order_origin = ‘Detroit’

15.06.2023

DQL Explorer
• Tool für die Unterstützung bei der Erstellung von DQL-Queries
https://github.com/icstechsales/dql-explorer/releases
15.06.2023

QRP: Query Results Processor
• Neu in V12
• Aggregates, computes, sorts, and formats collections of documents
across any set of Domino databases.
• sortierbar
• https://jdcurtis.blog/2021/11/29/the-query-results-processor-part-
one/
15.06.2023

Eine Ansicht (!) mit Suchergebnissen erzeugen
Dim qrp As NotesQueryResultsProcessor
Dim myview As NotesView
Dim strDQLQuery As String
Dim ndqlQuery As NotesDominoQuery
strDQLQuery = "Categories = 'Treo'"
Set ndqlQuery = db.CreateDominoQuery()
Set qrp = db.createQueryResultsProcessor()
' .. AddColumn, AddDominoQuery, AddFormula, etc.
Call qrp.Addcolumn("Column1", "Kategorie", "Categories", SORT_ASCENDING, False, True)
Call qrp.Addcolumn("Column2", "Titel ", "Thema", SORT_ASCENDING, False, False)
Call qrp.AddDominoQuery(ndqlQuery,strDQLQuery,"abc")
Set myview = qrp.executeToView("MyNewResultsView", 2, theReaders(1))
'Die View heißt dann"(MyNewResultsView)"
' or
Set jsonnavigatorobj = qrp.ExecuteToJSON()
15.06.2023

DQL Links
• Domino® Query Language Documentation
https://help.hcltechsw.com/dom_designer/12.0.2/basic/dql_overvie
w.html
• Collabsphere 2021 - INF110: What's new in DQL and Domino core
application capabilities - John Curtis
https://www.youtube.com/watch?v=n_LlicKdx1o
• Oliver Busse:
https://www.youtube.com/watch?v=5yPOHYBM9Jc
• C3UG Video: DQL for Domino V11 and Forward with John Curtis
https://www.c3ug.ca/c3ug-blog/2020/1/15/c3ug-video-dql-for-
domino-v11-and-forward-with-john-curtis
15.06.2023

DQL Links 2
• Blog John Curtis:
https://jdcurtis.blog/2021/11/29/the-query-results-processor-part-
one/
• DQL (Domino Query Language) Developer's Deep Dive (Admincamp
2019)
https://admincamp.de/konferenz/ent2019.nsf/bc36cf8d512621e0c12
56f870073e627/6c2e835120d74a18c1258327003f8d83/$FILE/T3S4-
Demo%20and%20Deep%20Dive%20-
%20Domino%20General%20Query%20Facility%20.pdf
15.06.2023

Performance
• Lt. Aussage John Curtis kann die Suche bei größeren Datenmengen
100 bis 1000 mal schneller sein
• Suche nur alle (ca. 500) Aufträge aus 100.000 mit Status =
Abrechnung
• Diese Ergebnisse kann man sich merken (Named Result Sets)
• und dann auf dieser Zielmenge eine Query nach der
Rechnungsnummer machen
15.06.2023

DQL/QRP Security
• Die Aussagen bzgl. Leser- und Autorenfeldern gelten natürlich immer
noch
• In der Menge der Suchergebnisse könnten Ergebnisse sein, die
Rückschlüsse auf die Daten zulassen:
• Gehalt > 10.000
• Spätestens bei der Anzeige/Ausgabe der Ergebnisse werden diese
Ergebnisse dann entfernt.
15.06.2023

Was machen wir jetzt damit?
• Wenn wir eine Ansicht nur für ein GetDocumentByKey etc.
benötigen, dann kann man ggf. darauf verzichten
• Wenn große Datenmengen zu bearbeiten sind (z.B. in
zeitgesteuerten Agenten) und die Agenten lange Laufzeiten
haben, dann kann man durch intelligente gequeute Queries
schneller werden. Q.e.d.
15.06.2023

Entwicklung mit KI
• ChatGPT
• Prüfung auf geschützten Originalcode
15.06.2023

• im Notes-Client
• im Designer
15.06.2023

Administration
• Volltextindizes replizieren nicht
• Wenn der Index korrupt ist, dann wird er automatisch neu erstellt.
• LOAD UPDALL –X
• Index in anderes Verzeichnis auslagern:
FTBasePath=F:FTI_path
• Sametime11.x und Tika auf einem Server: nicht unterstützt BÖSE!
15.06.2023

Indexer
• KeyView
• Tika
• Version
• Einstellungen in DB
• notes.ini
• Platzbedarf
• Troubleshooting
15.06.2023

Configuring the attachment types that can be
full-text indexed
• Ausschlüsse:
.au,.bqy,.cca,.dbd,.dll,.exe,.gif,.gz,.img,.jar,.jpg,.mov,.mp3,.mpg,.msi,
.nsf,.ntf,.p7m,.p7s,.pag,.pdb,.png,.rar,.sys,.tar,.tif,.wav,.wpl,.z,.zip
• Für alle DBs hinzufügen:
FT_INDEX_FILTER_ATTACHMENT_TYPES=*.<format>,*.<format>
Größenbeschränkung:
FT_INDEX_FILTER_ATTACHMENT_TYPES_MAX_MB=4
• Für einzelne DBs:
FT_INDEX_FILTER_ATTACHMENT_TYPES_<replicaID>=
• z.B. FT_INDEX_FILTER_ATTACHMENT_TYPES_00124866492581EC=*.txt
.au, .bqy, .cca, .dbd, .dll, .exe, .gif, .gz, .img, .jar, .jpg, .mov, .mp3,.mpg, .msi,.nsf, .ntf, .p7m, .p7s,.pag, .pdb, .png, .rar, .sys, .tar, .tif, .wav, .wpl, .z, .zip.
15.06.2023

Tika
• neue Engine zur Extraktion von Text aus Anhängen für die
Volltextindizierung ab Notes/Domino 10 (Client und Server)
• Der Tika-Server ist eine eigenständige Java-basierte Open-Source-
Serverkomponente (http://tika.apache.org/), auf die die Server-
Prozesse über curl-Anfragen zugreifen.
• Tika ist nur eine einzelne jar-Datei, die in einer separaten JVM-Instanz
gestartet wird. Die Kommunikation mit Domino erfolgt über TCP/IP.
• V12.0.2: Tika is upgraded to version 2.4.1
15.06.2023

<progdir>dtikacfg.xml
<?xml version="1.0" encoding="UTF-8"?>

<properties>
<server>
<params>
<id>Domino</id>
<logLevel>info</logLevel>
<returnStackTrace>false</returnStackTrace>
<noFork>false</noFork>
<taskTimeoutMillis>300000</taskTimeoutMillis>
<maxForkedStartupMillis>120000</maxForkedStartupMillis>
<maxRestarts>-1</maxRestarts>
<maxFiles>100000</maxFiles>
<forkedJvmArgs>
<arg>-Xdump:none</arg>
<arg>-Xms256m</arg>
<arg>-Xmx2g</arg>
<arg>-Djava.io.tmpdir=${sys:jt}</arg>
<arg>-Djava.ext.dirs=/hclnull</arg>
<arg>-Dlog4j.configurationFile=${sys:cf}</arg>
<arg>-Dll=${sys:ll}</arg>
</forkedJvmArgs>
<endpoints>
<endpoint>rmeta</endpoint>
</endpoints>
</params>
</server>

</properties>
15.06.2023

Tika notes.ini-Parameter
• TIKA_PORT=9997 - overrides the default TIKA port of 9998. This would be used if there is a port collision
If the informational error keeps on the console, kindly put the debug parameter below to get the output for further review.
• DEBUG_TIKA=1 - Logs curl command to Tika server
DEBUG_TIKA=2 - Logs stream summary
DEBUG_TIKA=3 - Logs stream details
• DEBUG_FILTER_TIMING
DEBUG_FILTER_TIMING=1 - Logs the summary of every attachment filtering including the timing
• DEBUG_TIKA_TIMEOUT
DEBUG_TIKA_TIMEOUT=60000 - This will allow Tika server to spend as much as 60 seconds to return extracted text ( default
is 10 seconds)
• Ersetzen der Tika-Jar-files durch andere, aktuellere Version:
TIKA_JVM_OPTIONS_OVERRIDE=-Xmx1536m -jar "E:DominoExectika-server-2.41.jar"
15.06.2023

Volltextindex
• Domino Full Text Indexing (FTI) Fundamentals
B0105209
• Overview of Full Text Index subdirectory and file layout
B0033058
15.06.2023

Suchen in mehreren DBs
• srchsite.ntf
• Domain Search
https://help.hcltechsw.com/d
omino/12.0.2/admin/conf_do
mainsearch_c.html
15.06.2023

Domain Search: Suchen in Dateien!
• funktioniert das noch?
15.06.2023

Zusatzprogramme mit Suchfunktionen
• Multi DB Search:
https://www.openntf.org/main.nsf/project.xsp?r=project/Multi-
Database%20Search%20Plugin/summary
• Log Analyzer
• NDS Analyzer
• ScanEZ
• All-In-One-Admin-Tool
15.06.2023

• im Notes-Client
• im Designer
15.06.2023

HCL
• Dokumentation, Suche per Suchmaschine nach hcl documentation safelinx
https://help.hcltechsw.com/
• HCL Knowledge Base:
https://support.hcltechsw.com/csm?id=kb_search
• Notes/Domino Fix List
https://ds_infolib.hcltechsw.com/ldd/fixlist.nsf/(Progress)/$First?OpenDocument
• Communities – traut euch, die Community zu befragen
https://hclpnpsupport.hcltech.com
• Cases/Tickets – traut euch, einen Case zu eröffnen
https://hclpnpsupport.hcltech.com
• HCL GITHub
https://github.com/HCL-TECH-SOFTWARE/
• HCL Software U(niversity)
https://id.hcltechsw.com
• Youtube:
https://www.youtube.com/playlist?list=PLEjl4yzB6ckHwwWUS-kWncfAqAjt-AnJr
• Sandbox:
http://voltsandbox.hcltechsw.com/general.nsf/pgHome?open
• HCL Blog
https://blog.hcltechsw.com
15.06.2023

Andere Quellen
• Notes.ini
https://dominocamp.de/notesini/
• Suchtipps von Hogne B. Pettersen
https://domino.elfworld.org/?s=search
• ChatGPT
https://chat.openai.com/
15.06.2023

Suchen im Log, Domlog, AgentLog
• Log Analyzer
15.06.2023

ChatGPT
• bitte erstelle eine lotusscript-funktion, die die api von chatgpt auruft.
Ein Eingabestring strinput soll die Eingabe sein und das Ergebnis soll
als stroutput zurückgeliefert werden.
15.06.2023

Als KI-Modell, das über eine API verfügt, kann ChatGPT über verschiedene Programmiersprachen und Bibliotheken aufgerufen werden.
Hier ist ein Beispiel für eine LotusScript-Funktion, die die API von ChatGPT aufruft:
Function CallChatGPTAPI(strinput As String) As String
Dim http As Variant
Dim url As String
Dim headers As Variant
Dim json As Variant
Dim stroutput As String
'Set the API endpoint URL and API key
url = "https://api.openai.com/v1/engines/davinci-codex/completions"
apiKey = "INSERT_YOUR_API_KEY_HERE"
'Set the headers for the API call
headers = Array("Content-Type: application/json", "Authorization: Bearer " & apiKey)
'Set the parameters for the API call
json = "{""prompt"": """ & strinput & """, ""max_tokens"": 50, ""temperature"": 0.5}"
'Send the API request and retrieve the response
Set http = CreateObject("MSXML2.XMLHTTP")
http.Open "POST", url, False
For Each header In headers
http.setRequestHeader Split(header,":")(0), Split(header,":")(1)
Next
http.send json
'Parse the response and extract the output text
stroutput = Split(Split(http.responseText, """text"": """)(1), """")(0)
'Return the output text
CallChatGPTAPI = stroutput
End Function
Diese Funktion ruft die OpenAI-API auf und verwendet das Modell "Davinci-Codex", um eine Antwort auf die Eingabe in strinput zu generieren.
Die Antwort wird dann als stroutput zurückgegeben. Bitte beachten Sie, dass Sie einen gültigen API-Schlüssel von OpenAI benötigen, um diese Funktion auszuführen.
Außerdem müssen Sie sicherstellen, dass LotusScript mit der richtigen Bibliothek für HTTP-Anfragen konfiguriert ist.
15.06.2023

Bücher?
• Ja, ich bin über 30
• https://www.dominoexpert.at/2023/04/08/buch-hcl-domino-12-
administration-fuer-domino-12-0-2-danube/
15.06.2023

Wo finde ich die Installationsquellen im Flexnet?
• Ersatz angekündigt auf Engage 23
15.06.2023

Dokumentation
• Kommandozeilenbefehle mit -? ausführen
• load dbmt -?
• funktioniert nicht bei allen Kommandos
• C-API-Doku und Dateien
15.06.2023

Dokumentation
• Dokumentation nicht immer vollständig
• Google findet mehr als die Suche auf den HCL Seiten
• Hilfe nicht immer vollständig
• Domino-Ideas/Aha: Hier kann man nachlesen, was es alle noch nicht
gibt.
15.06.2023

Lizenzen
• License Tracking: DLAU = HCL Domino License Analysis Utility
https://opensource.hcltechsw.com/domino-license-analysis-utility-
DLAU/
15.06.2023

Entitlements
• Im PDF mit der Lizenz
• Hoffentlich gibt es bald Vereinfachungen
• Uffe Sörensen: „in CCB ist alles drin“
15.06.2023

Fehlermeldungen übersetzen in Englisch
• Paul Mooney & Thomas Bahn haben eine Anwendung erstellt, mit der
man alle Fehlermeldungen aus dem Code des Notes-Clients
extrahieren kann – in allen Sprachen des Clients
https://www.assono.de/blog/all-texts-from-notes-including-error-
messages
15.06.2023 #DACHNUG50, 15. 6. 2023 - juergen.kunert@itee.de Seite 67

Was finde ich nicht?
• Designer: alle korrupten Stellen einer Ansicht
• Designer: alle korrupten Stellen einer Tabelle
• Übersicht, welche Änderung in der Konfiguration wann wirksam wird
• vollständige Liste aller notes.ini-Einträge
• Dominocamp – ziemlich vollständig
https://www.admincamp.de/notesini
• Wenn ihr Einträge vermisst, bitte an Rudi@Knegt.de melden
15.06.2023

Suchen und Finden in und
für Notes und Domino
Vielen Dank für eure Aufmerksamkeit.
Wenn ihr irgendetwas vermissen solltet,
dann schickt mir bitte einen Hinweis darauf.
juergen.kunert@itee.de
https://www.itee.de

DACHNUG50 Suchen in Notes.pdf

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie DACHNUG50 Suchen in Notes.pdf

Ähnlich wie DACHNUG50 Suchen in Notes.pdf (20)

Mehr von DNUG e.V.

Mehr von DNUG e.V. (20)

DACHNUG50 Suchen in Notes.pdf